准备

环境

• CDH 5.5.2, Parcel
  • HDFS
  • YARN
  • Zookeeper
  • Kafka
  • Spark (on YARN)

这里收集了各种意见，经验法则和基准测试相关的性能：做这些不同的工作需要多少资源。

Nginx 日志配置格式

log_format  main
        '[$upstream_addr] $remote_addr [$time_local] "$request" $status '
        '"$request_body" $body_bytes_sent "$http_referer" "$http_user_agent" '
        'RESP:$upstream_response_time '
        'REQ:$request_time';

Spark 优化

由于Spark内存计算特性，Spark程序会由集群上的如下因素决定其性能

• CPU
• 网络带宽
• 内存

通常来说，如果配置适当的内存，那么瓶颈就是带宽。但是有些时候，有需要做些优化，比如以序列化的形式存储RDD，从而降低内存的占用。

注：以下代码实验环境均为

➜  ~  python
Python 2.7.10 (default, Oct 23 2015, 18:05:06)
[GCC 4.2.1 Compatible Apple LLVM 7.0.0 (clang-700.0.59.5)] on darwin
Type "help", "copyright", "credits" or "license" for more information.

简介


Oryx2是专注于进行大规模，实时机器学习框架，遵循lambda规则，基于Apache Spark和Apache Kafka构建。

Oryx 不仅是构建应用程序的框架，而且包含 协同过滤，分类，回归和聚类的打包的端到端的应用。

Oryx 2.1.0 系统要求

• Java 7 or later (JRE only is required)
• A Hadoop cluster running the following components:
  • Apache Hadoop 2.6.0 or later
  • Apache Zookeeper 3.4.5 or later
  • Apache Kafka 0.8.2 or later (in 0.8.x line)
  • Apache Spark 1.5.0 or later

Apache-flume NG 配置

简介

Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。

由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。

经过架构重构后，Flume NG更像是一个轻量的小工具，非常简单，容易适应各种方式日志收集，并支持failover和负载均衡。

Apache Kafka消息服务

• 参考地址 http://kafka.apache.org/documentation.html