Flume简介 Apache软件基金顶级项目 Apache Flume是一个分布式、可信任的弹性系统，用于高效收集、汇聚和移动大规模日志信息从多种不同的数据源到一个集中的数据存储中心（HDFS、HBase） 功能： 支持在日志系统中定制各类数据发送方，用于收集数据 Flume提供对数据进行简单处理，并写到各种数据接收方（可定制）的能力 多种数据源： Console、RPC、Text、Tail、Syslog、Exec等 特点 Flume可以高效率的将多个网站服务器中收集的日志信息存入HDFS/HBase中 使用Flume，我们可以将从多个服务器中获取的数据迅速的移交给Hadoop中 支持各种接入资源数据的类型以及接出数据类型 支持多路径流量，多管道接入流量，多管道接出流量，上下文路由等 可以被水平扩展 Flume Core 外部架构 数据发生器（如：facebook,twitter）产生的数据被被单个的运行在数据发生器所在服务器上的agent所收集，之后数据收容器从各个agent上汇集数据并将采集到的数据存入到HDFS或者HBase中 agent : ...

Hive实战操作mysql配置安装: 安装: mysql / mysql-server 123yum install -y mysqlyum install -y mysql-server/etc/init.d/mysqld start 安装Hive 123wget http://archive.apache.org/dist/hive/hive-0.13.0/apache-hive-0.13.0-bin.tar.gztar -zxvf apache-hive-0.13.0-bin.tar.gzcd /usr/local/src/apache-hive-0.13.0-bin/conf vi conf/hive-site.xml 12345678910111213141516171819202122232425<configuration> <property> <name>javax.jdo.option.ConnectionURL</name> < ...

Spark 分布式通用的计算框架

Kafka 分布式缓存 可理解为消息队列 简介基本组件 Kafka是Linkedin于2010年12月份开源的消息系统 一种分布式的、基于发布/订阅的消息系统 特点： 消息持久化：通过O(1)的磁盘数据结构提供数据的持久化 高吞吐量：每秒百万级的消息读写 分布式：扩展能力强 多客户端支持：java、php、python、c++…… 实时性：生产者生产的message立即被消费者可见 名词解释 Broker：每一台机器叫一个Broker Producer：日志消息生产者，用来写数据 Consumer：消息的消费者，用来读数据 Topic：不同消费者去指定的Topic中读，不同的生产者往不同的Topic中写 Topic话题是一个逻辑概念 Partition：在Topic基础上做了进一步区分分层 物理实现: 以文件夹形式存在 一个topic是由多个partition实现的 Kafka内部是分布式的、一个Kafka集群通常包括多个Broker 负载均衡：将Topic分成多个分区，每个Broker存储一个或多个Partition 多个Producer和Consum ...

Yarn Yarn 外围有很多插件，yarn为各种插件提供一个最基本的服务，来利用底层最基本的设置资源，以尽可能最大利用率的方式调动整体资源。 动态: 动态分配资源分配 Yarn : 集群操作系统 JobTracker :资源管理、作业调度及监控 Yarn: 资源管理:RM 作业调度及监控:AM(ApplicationMaster) RM有一个可以插拔的调度组件Scheduler(纯粹的调度器): 负责运行中的各种应用分配资源，不负责应用程序的监控和状态跟踪 什么是资源:Container —-主要有两类(cpu和内存) AM本质也是一个Container:不是一直处于启动状态 AM利用多态机器的处理能力完成一个作业，为了实现该目标，AM向RM申请资源，资源就是Container，集群以Cotainer的形式运转AM的应用，运行汇报Container的进程，可能是一个map，也可能是一个reducer，Container也得与AM同行，报告任务的状态和健康信息 YARN（Yet Another Resource Negotiator） Hadoop集群的资源管理系统（Reso ...

Hbase常用命令进入命令行 cd /usr/local/src/hbase-0.98.24/bin [root@master bin]# ./hbase shell123HBase Shell; enter 'help<RETURN>' for list of supported commands.Type "exit<RETURN>" to leave the HBase ShellVersion 0.98.0-hadoop1, r1565492, Thu Feb 6 16:20:15 PST 2014 查看服务器状态12hbase(main):001:0> status3 servers, 0 dead, 1.3333 average load 查看hive版本12hbase(main):002:0> version0.98.0-hadoop1, r1565492, Thu Feb 6 16:20:15 PST 2014 DDL操作 创建表: create 表名称, 列名称1,列名称2,列名称N 1 ...

Hive 背景 引入原因: 对存在HDFS上的文件或HBase中的表进行查询时，是要手工写一堆MapReduce代码 对于统计任务，只能由动MapReduce的程序员才能搞定 耗时耗力，更多精力没有有效的释放出来 Hive基于一个统一的查询分析层，通过SQL语句的方式对HDFS上的数据进行查询、统计和分析 Hive是什么？ Hive是一个SQL解析引擎，将SQL语句转译成MR Job，然后再Hadoop平台上运行，达到快速开发的目的。 Hive中的表是纯逻辑表，就只是表的定义等，即表的元数据。本质就是Hadoop的目录/文件，达到了元数据与数据存储分离的目的 Hive本身不存储数据，它完全依赖HDFS和MapReduce。 Hive的内容是读多写少，不支持对数据的改写和删除(0.14版本之后支持，但默认未开启，需手动配置开启) Hive中没有定义专门的数据格式，由用户指定，需要指定三个属性： 列分隔符 : 空格、\t 、\001 行分隔符 : \n 读取文件数据的方法 : TextFile、SequenceFile(二进制) SequenceFile(二进制): 是 ...

python虚拟环境virtualenv安装使用virtualenv 安装虚拟环境的命令如下1pip install virtualenv 创建虚拟环境的命令如下：123virtualenv 虚拟环境名称例：virtualenv py_test 激活虚拟环境1source ./py_test/bin/activate 退出虚拟环境1deactivate virtualenvwrapper 鉴于virtualenv不便于对虚拟环境集中管理，所以推荐直接使用virtualenvwrapper。 virtualenvwrapper提供了一系列命令使得和虚拟环境工作变得便利。它把你所有的虚拟环境都放在一个地方。 安装 1pip install virtualenvwrapp 安装完成后，在source ~/.zshrc写入以下内容 12export WORKON_HOME=~/Envssource /usr/local/bin/virtualenvwrapper.sh　 更新配置source ~/.zshrc 创建虚拟环境 1mkvirtualenv venv　　　　 查看当前虚拟环 ...

DHCP网络设置网络模式: 桥接模式: 公用当前机器ip和网络 NAT模式: 主机内部虚拟出一个局域网络 NAT模式设置 编辑 -> 首选项 移除vm8网络: 新建一条网络(添加网络)选择vm8 VMnet信息 选择NAT模式 选择虚拟机网络设置 切换网络模式:先选择桥接模式初始化，待网络图标亮起后，再切回NAT网络模式 网络配置: 设置静态ip1vi /etc/sysconfig/network-scripts/ifcfg-eth0 重启网络1service network restart