docker多机通信 overlay + etcd在docker-node1上 12345678910vagrant@docker-node1:~$ wget https://github.com/coreos/etcd/releases/download/v3.0.12/etcd-v3.0.12-linux-amd64.tar.gzvagrant@docker-node1:~$ tar zxvf etcd-v3.0.12-linux-amd64.tar.gzvagrant@docker-node1:~$ cd etcd-v3.0.12-linux-amd64vagrant@docker-node1:~$ nohup ./etcd --name docker-node1 --initial-advertise-peer-urls http://192.168.205.10:2380 \--listen-peer-urls http://192.168.205.10:2380 \--listen-client-urls http://192.168.205.10:2379,http:// ...

kibana配置文件参数注解配置 说明 server.port : 默认值 : 5601 Kibana 由后端服务器提供服务。此设置指定要使用的端口。 server.host : 默认值 : “localhost” 此设置指定后端服务器的主机。 server.basePath : 使您能够指定如果您在代理后运行的 Kibana 的路径。这只影响 Kibana 生成的 URL，您的代理应该在转发请求到 Kibana 之前删除 basePath 值。此设置不能以斜杠（**/**）结尾。 server.maxPayloadBytes : **默认值 : 1048576 **传入服务器请求的最大有效负载大小（以字节为单位）。 server.name : **默认值 : “your-hostname” **用于标识此 Kibana 实例的可读的显示名称。 server.defaultRoute : 默认值 : “/app/kibana” 此设置指定打开 Kibana 时的默认路由。您可以使用此设置在打开 Kibana 时修改登录页。 elasticsearch.ur ...

es准实时运行原理 lucene是倒排索引不可变的，但数据是能更新的，动态索引使用跟多的sgement，跟多的索引来完成变更 lucene会有多个segment，每个segment会在内存缓存包含新的lucene文档，并不是每一个sgement上来就直接落盘，这个时候在内存缓存当中， 数据进来-> 内存buff -> sgement -> 磁盘 -> refresh之后写到磁盘 3个sgment 新数据进来写入内存buff 内存buff refresh之后生成一个新的sgement 同步更新commit文件第四个sgement写入成功 准实时查询原理 刷磁盘: 100个索引，每1m种刷100次磁盘 保证实时搜索，es提供了轻量级的实现方式，提供了文件系统缓存 内存缓存 文件系统缓存 文件在操作系统缓存可以被搜索 lucene允许新的段被写入和打开，在文档未被完整提交时搜索可见 (刷的内存，不是刷的缓存) 刷memory buffer到文件系统缓存时，Trasnlog继续缓存，属于两个独立过程 resfr ...

es数据冷热分离配置elasticsearch.yaml配置文件添加节点属性 热数据节点1node.attr.group: hot 冷数据节点1node.attr.group: cold 配置mapping数据模板写入节点1234567891011post /_template/logstash{ "order": 0, "template": "logstash*", "settings": { "index.routing.allocation.include.group": "hot", "index.refresh_interval": "10s", "index.number_of_replicas": "1", "in ...

Kibana配置文件表 1. Kibana 配置设置配置 说明 server.port : 默认值 : 5601 Kibana 由后端服务器提供服务。此设置指定要使用的端口。 server.host : 默认值 : “localhost” 此设置指定后端服务器的主机。 server.basePath : 使您能够指定如果您在代理后运行的 Kibana 的路径。这只影响 Kibana 生成的 URL，您的代理应该在转发请求到 Kibana 之前删除 basePath 值。此设置不能以斜杠（**/**）结尾。 server.maxPayloadBytes : **默认值 : 1048576 **传入服务器请求的最大有效负载大小（以字节为单位）。 server.name : **默认值 : “your-hostname” **用于标识此 Kibana 实例的可读的显示名称。 server.defaultRoute : 默认值 : “/app/kibana” 此设置指定打开 Kibana 时的默认路由。您可以使用此设置在打开 Kibana 时修改登录页。 elas ...

跨平台编译Go程序首先进入go/src 源码所在目录，执行如下命令创建目标平台所需的包和工具文件。12$ cd /usr/local/go/src$ CGO_ENABLED=0 GOOS=linux GOARCH=amd64 ./make.bash 如果是 Windows 则修改 GOOS 即可。$ CGO_ENABLED=0 GOOS=windows GOARCH=amd64 ./make.bash 现在可以编译 Linux 和 Windows 平台所需的执行文件了。12$ CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build$ CGO_ENABLED=0 GOOS=windows GOARCH=amd64 go build 不过该方式暂时不支持 CGO。以上假定是64位架构，32位，修改GOARCH为386 说明：这里并不是重新编译Go，因为安装Go的时候，只是编译了本地系统需要的东西；而需要跨平台交叉编译，需要在Go中增加对其他平台的支持。所以，有 ./make.bash 这么 ...

strom python实现 zookeeper python 实现 flume实现

HDFS2.0HDFS 2.0的新特性 NameNodeHA NameNodeFederation HDFS 快照 HDFS 缓存 HDFS ACL NameNodeHA 什么问题：Hadoop 1.0中NameNode在整个HDFS中只有一个，存在单点故障风险，一旦NameNode挂掉，整个集群无法使用 解决方法：HDFS的高可用性将通过在同一个集群中运行两个NameNode（active NameNode& standby NameNode）来解决 在任何时间，只有一台机器处于Active状态；另一台机器是处于Standby状态 Active NN负责集群中所有客户端的操作； Standby NN主要用于备用，它主要维持足够的状态，如果必要，可以提供快速的故障恢复。 DN->NN : block -> dataNode file -> block -> dataNode 数据 命名空间 借助NFS文件系统，network File system Hadoop自身提供了一个服务，叫做QJM 存路径结构体系，不存储节点文件 NFS: ...

mysql事物 一个最小不可再分的工作单元 通常一个事务对应一个完整的业务:(如银行转账业务) 而一个完整的业务需要有批量的DML(insert、update、delete)语句共同完成 事务只和DML语句有关系，或者说只有DML语句才有事务 事务具有四个特性 原子性 事务是最小单元，不可再分 一致性 事务要求所有的DML语句操作的时候，必须保证同时成功或同时失败 隔离性 一个事务不会影响其他事务的运行 持久性 在事务完成之后，该事务对数据库的操作的更改将持久地保存在数据库中，并不会被回滚 mysql事务隔离级别 读未提交 Read Uncommitted(级别最低) 事务A和事务B，事务A未提交的数据，事务B可以读取 这里读取到的数据可以叫做脏数据或脏读 Dirty Read 读未提交隔离级别最低，这种级别一般只在理论上存在，数据库默认隔离级别一般都高于该隔离级别 读已提交 Read Committed 可重复读 Repeatable Read 串行化 Serializable 查看会话隔离级别 1select @@global.tx_isolatio ...