文章列表
http://www.csdn.net/article/2014-01-16/2818162-what-does-it-mean-impala-is-faster-than-hive
在YARN之前，Hadoop仅适用于离线处理场景。基于实时性的需求，各个机构纷纷研发了自己的流处理框架，这次我们说的是两SQL-on-Hadoop项目的对决，同时也是两家知名Hadoop解决方案提供商的比拼——Impala vs. Stinger。
Singer：Stinger最早出现在Hive 0.11中（HDP 1.3），共有3个阶段目标，其中第一和第二阶段已经交付。通过Hortonworks的介绍了解到， ...
折腾了好久好久好久的oozie，
现在暂时算是能够用起来了。
主要讲两点吧：
一，部署相关
二，运行相关
-----------------------------
一，部署相关
oozie用的版本是oozie-3.1.3-incubating，不知道为什么，从3.0起，oozie不支持sqoopAction和HiveAction了。
为了能够执行这两种Action，对他的jar包进行了些修改。
1，编译HiveAction和SqoopAction相关的类。
一共有四个类：HiveAction.java, HiveMain.java, SqoopAction.java, SqoopMain ...
IDG上周发布了2014年大数据企业调查和预测。调查显示，2014年大企业对与大数据有关的项目的平均开支为800万美元。
这项调查还发现，70%的大企业已经部署或者正在计划部署与大数据有关的项目和计划。这里提供的是2014年IDG企业大数据研究报告的要点。这个研究报告的目的包括更好地理解机构大数据计划、投资和战略。这篇报告的要点包括：
70%的大企业机构已经部署或者计划部署大数据项目。而6%的中小企业已经部署或计划部署大数据项目。
2014年大企业将平均投资800万美元用于与大数据有关的项目和计划。
74%的受访者预测，大数据至少在一个业务单位或部门成为主流应用。
推动大数据应用最重要 ...
oozie调sqoop从oracle把数导入到hive中，
用oozie调度会报以下的错，但是直接用sqoop运行脚本就没有问题
51370 [Thread-67] INFO org.apache.sqoop.hive.HiveImport - FAILED: Error in semantic analysis: Line 2:17 Path is not legal ''hdfs://biginsightmaster:9000/user/biadmin/STUDENT'': Move from: hdfs://biginsightmaster:9000/user/biadmin/STUD ...
“点对点”估计会成为今后一段互联网的热点概念。它之前在微博PK门户中示现过一次，当下在电商，未来一定会渗透到每个互联网领域。
张小龙最近对新华社说了这样一段话：微信启动的是点对点的革命，对传统企业是个利好 ...
最近使用hive一个多月下来(终于完成第一期数据分析迁移工作了)，当时使用的0.8的版本（现在最新版本是0.8.1），一个多月下来收获很多。从安装环境、
调试、开发、业务理解、技术攻关、业务实现等，一一都体验了一把！
总的来说，除了目前网上所介绍的常规hive使用和优化外。
因为目前hive只支持0.20的相关版本，所以我们的环境还是使用的0.20版本的hadoop来进行搭建。
使用hive和hadoop是一种综合能力的体现，之前我在使用的过程当中，还涉及到很多系统层面的问题。如果让hive和hadoop结合的更紧密，个人认为是从以下几个角度进行：
第一：hive的类SQL语句本身进行调优 ...
本视频是hadoop课程体系的入门和提高课程，共7天。通过对该课程的学习，学员能够掌握Hadoop、HBase、Hive、Sqoop、Pig等框架的理论知识，掌握它们的伪分布和集群环境的搭建过程，还能够掌握如何在shell和java环境下进行开发。学完本课程，学员可以轻松进入hadoop行业工作，不需要额外的进行二次培训。
观看须知：
(1)需要简单了解Linux操作系统(本课程使用CentOS6.4操作系统)；
(2)需要java基础，因为hadoop是java语言写的，课程中会对hadoop源码进行简析。
视频目录：
第一季视频介绍
(1)课程介绍，介绍本课 ...
Software Components：
Spark runs as a library in your program (1 instance per app)
Runs tasks locally or on cluster
Mesos, YARN or standalone mode
Accesses storage systems via Hadoop InputFormat API
Can use HBase, HDFS, S3
Task Scheduler
General task graphs
Automatically pipelines functions
Data loca ...
OpenVSS - 开放平台的视频监控系统 - 是一个系统级别的视频监控软件视频分析框架（VAF）的视频分析与检索和播放服务，记录和索引技术。它被设计成插件式的支持多摄像头平台，多分析仪模块（OpenCV的集成），以及多核心架构。
What's new on Release 1.0!!!
More features...
Very simple to integrate your image analysis techniques into OpenVSS platform using a source code generator, called “VsAnalyser SDK”. ...
HBase数据迁移（3）-自己编写MapReduce Job导入数据 :
尽管在将文本文件加载入HBase时importtsv工具十分高效，但在许多情况下为了完全控制整个加载过程，你可能更想自己编写MapReduce Job向HBase导入数据。例如在你希望加载其他格式文件时不能使用importtsv工具。
HBase提供TableOutputFormat 用于在MapReduce Job中向HBase的表中写入数据。你也可以使用HFileOutputFormat 类在MapReduce Job中直接生成HBase自有格式文件HFile，之后使用上一篇（迁移2）中提到的completebul ...
HBase提供importtsv工具支持从TSV文件中将数据导入HBase。使用该工具将文本数据加载至HBase十分高效，因为它是通过MapReduce Job来实施导入的。哪怕是要从现有的关系型数据库中加载数据，也可以先将数据导入文本文件中，然后使用imp ...
HBase数据迁移（1）-使用HBase的API中的Put方法
使用HBase的API中的Put是最直接的方法，用法也很容易学习。但针对大部分情况，它并非都是最高效的方式。当需要将海量数据在规定时间内载入HBase中时，效率问题体现得尤为明显。待 ...
在工作生活中，有些问题非常简单，但往往搜索半天也找不到所需的答案，在Hadoop的学习与使用过程中同样如此。这里为大家分享Hadoop集群设置中经常出现的一些问题：
1.Hadoop集群可以运行的3个模式？
单机（本地）模式
伪分布式模式
全分布式模式
2. 单机（本地）模式中的注意点？
在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序，这也是最少使用的一个模式。
3. 伪分布模式中的注意点？
伪分布式（Pseudo）适用于开发和 ...
Extends Spark for doing big data stream processing
Project started in early 2012, alpha released in Spring 2013 with Spark 0.7
Moving out of alpha in Spark 0.9