主页

PostgreSQL从入门到不后悔

安装 PostgreSQL 10下载 PostgreSQL 10,postgresql-10.1-3-linux-x64-binaries.tar.gz。下载地址:https://get.enterprisedb.com/postgresql/postgresql-10.1-3-linux-x64-binaries.tar.gz。 (注:安装脚本如下(需要有 /opt/local 写权限),可使用

Cassandra备份、恢复

备份和数据恢复关于镜像Cassandra 通过直接保存所有在data目录中的磁盘数据文件(SSTable file)的镜像来备份数据。当系统还在线的时候,你可以保存所有的keyspace数据或者单个keyspace数据,或者某一张表的数据。 使用并行的ssh工具,比如pssh,你可以给整个集群做镜像。这提供一种最终一致性备份。虽然没有一个节点可以在镜像制作过程中保证他和备份节点数据的一致性,Cas

Elasticsearch备份、恢复

迁移注意事项 保证ES集群不再接受新的数据(如果是备份的话,这一点可以不考虑,但是做数据迁移的话,建议这样做). 不建议直接在生产环境做这些操作,最好是先在本地搭建一个和生产环境一样的集群环境,创建一些测试数据,把整个过程先跑一遍,然后再到生产环境操作。 dn126 为要备份的源数据节点,而 localhost 为待恢复的目标数据节点 备份本文使用文件系统作为快照仓库的存储,选择一个节点执行命令

PostgreSQL高可用-主/热备集群

高可用性:数据库服务器可以一起工作, 这样如果主要的服务器失效则允许一个第二服务器快速接手它的任务 负载均衡: 允许多个计算机提供相同的数据 本文使用的主要技术有: CentOS 7 x86_64 PostgreSQL 9.6.5 系统安装、配置CentOS 7 安装12[hldev@centos7-001 ~]$ sudo yum -y install https://download

学习Scala:环境、工具、工程

在本章中,你将学到如何从零使用Sbt来搭建一个Scala工程,如何将Scala工程导入Intellij IDEA集成开发环境。同时,我们将使用scalatest以TDD的方式来编写代码。 本章的要点包括: 下载并使用sbt: http://www.scala-sbt.org/ 使用Intellij IDEA编写Scala:https://www.jetbrains.com/idea/ 使用sca

使用Sphinx撰写电子文档

在日常工作中,写电子文档是个很普遍的事情。之前一直用Microsoft Word、Libreoffice Writer来写,但总感觉不方便,很多的精力都浪费在了调整格式上。而使用 Sphinx 来写电子文档,则可以把你从调整格式的泥潭中解放出来。Sphinx 是一款基于 Python的文档处理工具,Python官方的文档就是使用它来写的。Sphinx 使用reStructuredText 格式来定

Elasticsearch集群设置

Elasticsearch是一个优秀的全文检索和分析引擎,由Shay Banon发起的一个开源搜索服务器项目,2010年2月发布。具有分布式性质和实时功能。 本文基于5.x版本,需要使用 Java 8 update 20或更新版。 配置Elasticsearch使用很方便,默认开箱即用。不过做为一个集群,还是需要稍做一些配置。整个配置都位于 config 目录,可以看到两个文件:elasticse

使用HanLP增强Elasticsearch分词功能

hanlp-ext 插件源码地址:https://github.com/hualongdata/hanlp-ext Elasticsearch 默认对中文分词是按“字”进行分词的,这是肯定不能达到我们进行分词搜索的要求的。官方有一个 SmartCN 中文分词插件,另外还有一个 IK 分词插件使用也比较广。但这里,我们采用 HanLP 这款 自然语言处理工具 来进行中文分词。 Elasticsear

Akka HTTP 快速上手

Akka Http 是Akka社区提供的一个 Http服务端/客户端通用工具包,支持 Http 1.0/1.1标准及WebSocket,现在 Http 2 的支持也在紧锣密鼓的实现中。 这篇文章将介绍Akka HTTP Server,我们将介绍Akka Http的常用功能模块及使用方式。Akka Http提供了一套强大、易用、易扩展的route dsl来构建路由。Akka Http Client因

使用Ambari2.5(HDP2.6)搭建大数据环境

本文介绍在 CentOS 7 环境下使用 Ambari2.5 (HDP2.6) 搭建大数据环境。 推荐使用如下脚本将 Ambari/HDP 相关软件包下到本地后配置 yum 源安装,在线安装速度太慢会经常遇到包找不到情况。 12345wget -c http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.1.0/amb

Cassandra设置

操作系统修改操作系统的TCP keepalive 1sudo /sbin/sysctl -w net.ipv4.tcp_keepalive_time=60 net.ipv4.tcp_keepalive_intvl=60 net.ipv4.tcp_keepalive_probes=5 集群机制一致性哈希 Gossip协议:用于在环内节点之间传播Cassandra状态信息 Snitch:支持多个数据

Linux部署Oracle11G

安装Oracle数据库本文基于RHEL6/Centos6/Neokylin6,其它发行版请注意区别。 安装依赖软件包 1sudo yum install binutils compat-libcap1 compat-libstdc++-33 compat-libstdc++-33.i686 gcc-c++ glibc glibc.i686 glibc-devel glibc-devel.i686

Java/Scala互操作实践 1:基础操作

本文将以Spring Boot为例,介绍下实际工作中的Java/Scala互操作。在提高个人效率、满足自我追求的情况下更多的照顾到团队不同人的实际。同时也是想说明,在同一个工程里混用Java和Scala语言是可能的。 本文源代码在:http://git.oschina.net/hualongdata/spring-starter 对于Scala不熟悉的Java程序员可以先看看:《写给Java程序

Scala开发者的Spring-Boot快速上手指南 02:Scala惯用法

(这是一篇迟来的文章,从3月份计划到成文花了5个月多……以后需要避免这样的低效率。) 之前写第一篇文章时,只是想试试在Spring中使用Scala。但现在随着工作的需要,已经决定在应用层基于Spring boot进行开发。后面的数据服务和数据整合部分将采用Akka。作者是一个Scala粉,但不脑残。鉴于团队、招人及社区生态多方面考虑,整体使用Scala技术栈还是比较困难的。之前就有考虑过把Spri

我的Ubuntu开发环境设置

输入法(fcitx)解决某些软件不能使用问题,如:Idea, Emacs 设置如下环境变量到/etc/bash.bashrc或~/.bashrc配置文件,重启系统或注销后重新登录即可。 1234export XMODIFIERS="@im=fcitx"export QT_IM_MODULE="fcitx"export QT4_IM_MODULE="

About

这里有我的工作体会和生活感悟。 杨景:yangbajing.me Github: yangbajing Weibo: yangbajing Twitter: yangbajing1 微信公众号:yangbajing-garden 技能 擅长Java/Scala编程,熟悉多线程、并发程序设计 熟悉actor(编程模型),可基于JVM/Akka设计分布式、并发应用 可使用ES6/7(Javascr