分类:work

Nginx限流控制

最近公司给客户做的系统遇到大量爬虫爬取,造成系统资源消耗增高、系统响应降低…… 因为项目时间比较紧,没有更多时间在功能和代码层面上进行修改来上一套反爬虫系统。权衡以后决定使用Nginx提供的请求限流功能来实现一个简单的反爬虫机制。待以后再详细规划、设计反爬虫系统。 我们一直使用的是阿里发布的Nginx重发行版:Tengine,本文也将基于Tengine来介绍Nginx的限流控制。 ngx_http

使用Sphinx撰写电子文档

在日常工作中,写电子文档是个很普遍的事情。之前一直用Microsoft Word、Libreoffice Writer来写,但总感觉不方便,很多的精力都浪费在了调整格式上。而使用 Sphinx 来写电子文档,则可以把你从调整格式的泥潭中解放出来。Sphinx 是一款基于 Python的文档处理工具,Python官方的文档就是使用它来写的。Sphinx 使用reStructuredText 格式来定

我会做的技术选型

Java/Scala:全功能的业务、服务端开发平台。大数据开发:Spark、Scala、Akka Node.js:前端不说了,还有其它更好的选择吗 Go:21世纪的C语言,分布式开发、API开发利器 Python:胶水、灵活的脚本语言。数据科学家的最爱 开门见山,先表明下我的态度吧。以上4个是我的首先,个人认为很不错的技术选型。当然,也不是非此不可,技术选型这个除了从技术本身考虑,很多时候

Linux系统运维常用工具

本文记录一些 Linux 日常运维相关工具使用方法。 (注:未做特殊说明,以下设置均指:Ubuntu Server 14.04,并测试通过。) 系统设置更改系统默认字符集 Ubuntu Server下,需要修改 /etc/default/locale 文件使配置生效(需要重启系统)。也可以在每个用户的登录 .bashrc 或 .bash_profile中设置LANG、LANGUAGE等环境变量。

Nginx(Tengine)使用

用了一段时间Tengine了,主要用于静态资源、后端服务的反向代理、负载均衡方面。也有了一些使用经验,现在将一些配置及心得记录于此。 Tengine的安装Tengine的安装非常简单,就是: 123$ ./configure$ make$ sudo make install 官方有更详细的说明:http://tengine.taobao.org/document_cn/install_cn.htm

写给Python程序员的Scala入门教程

随着业务和数据的需要,我们引入了Spark。Spark对Python的支持还是挺好的,但毕竟它还是使用Scala开发的,且现有的API并没有100%覆盖Python。所以就有了这篇文章,让Python程序员可以接触Scala这门更高(级)、更快(速)、更强(大)的(奥运精神)语言。 Scala兼具Python样的开发效率,但又有Java般的执行性能,真是一不可多得的神器!(当然,鱼和熊不可兼得,S

JVM程序员书单

JVM程序员书单 为什么是JVM程序员书单,因为现在Java已经不再单指Java编程语言了,而是说整个Java生态环境和基于JVM平台的各种虚拟机语言。如:Scala、Clojure、Groovy等。 《软件框架设计的艺术》 这是Netbeans的创始人写的一本很有价值的书,里面的边角细节也很有料。国内市场上没有对这本书给予应给的赞誉。 《Effective Java 第二版》 被称为Java领域

Nginx负载均衡与反向代理

一般在应用部署中都不会直接把Web Server(如:Tomcat、Jetty等)暴露给用户,我们会在Web Server前面再加一个反向代理。这篇文章介绍的就是怎样设置Nginx来做反向代理。 Nginx安装以Ubuntu 14.04为例(其它系统请自行查找安装方法)。官方安装文档在:http://nginx.org/en/download.html 1234567curl http://ng

使用Gatling进行性能测试

Gatling下载是一款开源的性能测试工具,提供简洁、强大的DSL API编写测试套件,支持插件扩展,且自动生成美观、明了的HTML测试报告。 Gatling现在最新版本是:2.1.7。需要scala 2.11支持。 Gatling有多种执行方式,可以使用官话的bundle包,使用gatling.sh脚本执行,也可以使用使用gatling-sbt下载在Sbt工程里执行,也可以集成到如Jenkins

使用 Jenkins

本文简单的记录的 Jenkins 的安装、配置和一些插件的使用。 git: Git Plugin maven: Maven Project Plugin sbt: sbt plugin Install到 https://jenkins-ci.org/ 下载最新版,放到 tomcat/webapp 启动即可。安装非常的简单。 访问 http://localhost:8080/jenkins 目录