酷学小栈

还要再走500里

0%

发表于 更新于 本文字数： 1k 阅读时长 ≈ 1 分钟
一年成为Emacs高手（像神一样使用编辑器）
阅读全文 »

发表于 更新于 本文字数： 7k 阅读时长 ≈ 6 分钟
Vagrant 是一个自动化工具，可以在你的电脑的虚拟机里自动搭建一个开发环境。这就意味着你本地开发环境可以完全与生产服务器上保持一致，你的合作小伙伴也可以和你保持高度一致的运行环境。
阅读全文 »

发表于 更新于 本文字数： 3.4k 阅读时长 ≈ 3 分钟

环境需求

  • git, 或者一个支持git的IDE
  • Apache Maven 3.2.1 或者更新版本
  • Java JDK (不能只有JRE) 7 或者更新版本

以上需要已经安装到了你的开发环境中。

阅读全文 »

发表于 更新于 本文字数： 12k 阅读时长 ≈ 11 分钟

准备

环境

  • CDH 5.5.2, Parcel
    • HDFS
    • YARN
    • Zookeeper
    • Kafka
    • Spark (on YARN)
阅读全文 »

发表于 更新于 本文字数： 4.4k 阅读时长 ≈ 4 分钟

运行

注意：你必须已经按照管理员文档中提到的配置好了你的集群。

下载最新的Oryx版本，包括批处理层，实时计算层和服务层的jar文件和sh脚本。

或者，源码编译他们并从deploy/bin/获取最新的脚本。

阅读全文 »

发表于 更新于 本文字数： 3.6k 阅读时长 ≈ 3 分钟

这里收集了各种意见，经验法则和基准测试相关的性能：做这些不同的工作需要多少资源。

阅读全文 »

发表于 更新于 本文字数： 5.2k 阅读时长 ≈ 5 分钟
Java关键字volatile标识一个变量“被存储在主内存中”。更准确的说法是：每次volatile变量会从主内存中读取，而不是从CPU缓存；每次volatile变量的写操作会写入主内存，而不仅仅是CPU缓存。
阅读全文 »

发表于 更新于 本文字数： 2.3k 阅读时长 ≈ 2 分钟

Nginx 日志配置格式

log_format  main
        '[$upstream_addr] $remote_addr [$time_local] "$request" $status '
        '"$request_body" $body_bytes_sent "$http_referer" "$http_user_agent" '
        'RESP:$upstream_response_time '
        'REQ:$request_time';
阅读全文 »

发表于 更新于 本文字数： 6.3k 阅读时长 ≈ 6 分钟

Spark 优化

由于Spark内存计算特性，Spark程序会由集群上的如下因素决定其性能

  • CPU
  • 网络带宽
  • 内存

通常来说，如果配置适当的内存，那么瓶颈就是带宽。但是有些时候，有需要做些优化，比如以序列化的形式存储RDD，从而降低内存的占用。

阅读全文 »

发表于 更新于 分类于 本文字数： 5.1k 阅读时长 ≈ 5 分钟

注：以下代码实验环境均为

➜  ~  python
Python 2.7.10 (default, Oct 23 2015, 18:05:06)
[GCC 4.2.1 Compatible Apple LLVM 7.0.0 (clang-700.0.59.5)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
阅读全文 »