主页

Spark小试牛刀

随着项目的运营,收集了很多的用户数据。最近业务上想做些社交图谱相关的产品,但因为数据很多、很杂,传统的数据库查询已经满足不了业务的需求。试着用Spark来做,权当练练手了。 安装Spark因为有Scala的开发经验,所以就不用官方提供的二进制包了,自编译scala 2.11版本。 下载Spark:http://ftp.cuhk.edu.hk/pub/packages/apache.org/spar

Scala实战-通过微信聊天窗口实现应答式点餐 1:连接微信API

当前代码tag: v0.0.1,https://github.com/yangbajing/wechat-meal/tree/v0.0.1 微信公众号提供了详尽的API文档说明,提供了明文和加密两种接入方式。这里,我们选择加密的接入方式微信公众号接入指南。 本此实战的代码部署到了Heroku,读者也可以下载代码尝试部署到Heroku并连接微信公众号。本章末尾讲讲述Heroku的部署及怎样与微信公众

Scala实战-通过微信聊天窗口实现应答式点餐 0

近来学习Play 2和Akka,想着找一个实战性的项目练练手。正好近来公司提供晚餐,每天看着程序媛拿着手机一个一个的找人点餐,耗时多、且容易点漏、又打断了自身的工作……哥觉得小妹儿工作好累啊。作为一个全栈工程师,为公司小妹儿减轻工作负担义不容辞啊。 就在想,就在想……用什么方法可以简化这个点餐流程呢?把玩着手中的微信,看到同事们在公司群里胡吹海吹,Duang!有了,就做一个基于微信公众号的点餐系统

使用Akka Http,ActiveMQ搭建一个邮件发送服务器

代码地址:https://github.com/yangbajing/scala-applications/tree/master/email-server 应用功能是实现一个基于队列的邮件发送服务,每个邮件发送者(使用smtp协议)作为一个sender。多个sender可以在同一个组(group)中,每个组中的sender将串行发送邮件。 邮件内容可以通过REST API提交,以可以使用JMS发

使用Gatling进行性能测试

Gatling下载是一款开源的性能测试工具,提供简洁、强大的DSL API编写测试套件,支持插件扩展,且自动生成美观、明了的HTML测试报告。 Gatling现在最新版本是:2.1.7。需要scala 2.11支持。 Gatling有多种执行方式,可以使用官话的bundle包,使用gatling.sh脚本执行,也可以使用使用gatling-sbt下载在Sbt工程里执行,也可以集成到如Jenkins

Learn Spark - 安装

安装下载 Spark 1.4.1 1wget -c http://www.interior-dsgn.com/apache/spark/spark-1.4.1/spark-1.4.1.tgz 编译Spark,使用 scala 2.11 12./dev/change-version-to-2.11.shmvn -Dscala-2.11 -DskipTests clean package 运行 spa

使用 Jenkins

本文简单的记录的 Jenkins 的安装、配置和一些插件的使用。 git: Git Plugin maven: Maven Project Plugin sbt: sbt plugin Install到 https://jenkins-ci.org/ 下载最新版,放到 tomcat/webapp 启动即可。安装非常的简单。 访问 http://localhost:8080/jenkins 目录

Play 2 示例(种子)项目

项目地址:https://github.com/yangbajing/play-seed play 2 slick 3 slick-pg 0.9 scalatest 2 gulp redis postgresql 9.4 实现了简单的用户认证和session控制功能。采用redis来保存session值。自定义play action和play filter来判断session有效性和重设ses

REST服务下设计AccessToken

REST: https://zh.wikipedia.org/zh/REST Play2: http://playframework.com/ Redis: http://redis.io/ Access Token: https://en.wikipedia.org/wiki/Access_token 最近要设计一套API以提供给接入商使用(以下简称corp),正好可使用Play2对REST

Scala技巧

记录使用Scala开过程中的一些小技巧和陷阱 Future 不要在Future上使用filter方法。

Mac 10.8 下安装Sphinx并支持生成中文PDF

最近一直在用Sphinx撰写文档,但是生成中文PDF时老是失败。今天在网上查了些资料,终于把它弄成功了。现记录如下。 需要用到的软件有: python 2.7 Sphinx 1.2 MacTex 2013 安装Sphinx$ sudo easy_install-2.7 Sphinx 安装MacTex请到 http://www.tug.org/mactex/ 下载,或 点此 下载。安装过程就略了

Scala小题目:001

练手题 题目def strtr(src:String, from:String, to:String):String from 和 to是等长的字符串, 要求将src中值为from(i)的字符转换成to(i)例如: strtr(“abcdaf”, “ac”, “AC”) == “AbCdAf” 先来个Java风格版的代码:def java1(src: String, from: String, t

Mac系统环境变量设置

在Mac系统中,GUI程序并不会像Linux那样继承命令行设置的环境变量。若将在GUI程序中访问自定义环境变量,比如Intellij idea中。需要使用如下命令: $ launchctl setenv XXXXX /tmp/xxx 需要在系统重启和仍然生效,可把设置写入配置文件中/etc/launched.conf: setenv XXXXX /tmp/xxx

Option,Either和Try

scala数据交互 本文介绍在Scala 2.10中怎样使用一种函数式的方式来处理数据交互,包括入参及返回值。 Option: 解决null(空指针)问题 Either: 解决返回值不确定(返回两个值的其中一个)问题 Try: 解决函数可能会抛出异常问题 OptionAPI:http://www.scala-lang.org/api/2.10.0/index.html#scala.Option