BigData
Contents
[NOTE] Updated April 11, 2016. This article may have outdated content or subject matter.
BigData
大数据最流行的框架是hadoop.
大部分工具都属于Apache基金会的项目.
MPP
Massive Parallel Process
大规模并行处理数据库包括impala, hawq
分布式存储
hadoop hdfs
资源调度
hadoop yarn
分布式计算框架
hadoop mapreduce
Spark
流式计算框架
Storm
Flink
部署工具
Ambari
用于配置,管理,监控hadoop集群的web工具.
Bigtop
对hadoop相关软件打包,分发,测试的工具.
whirr
Cloudera Hue
Hortonworks hoya
服务编程
Zookeeper
分布式应用程序的高性能协调服务
Curator
Avro
chuckwa
用于监控大型分布式系统的数据收集系统.
交互式分析框架(Sql On Hadoop)
Facebook Presto
Hive
Hawq(Pivotal)
Hortonworks的HDP集成了HAWQ.
Impala(Cloudera)
Cloudera的CHD集成了Impala.
交互式分析框架(NoSQL On Hadoop)
HBase
Cassandra
数据管理工具
Sqoop
Flume
消息队列
Kafka
Pivotal RabbitMQ
DSL
Pig
Workflow and Lifecycle
Oozie
aurora
falcon
Security
Sentry
Data search
Solr
Nutch
Lucene
Data Analytics
Mahout
Kudu(Cloudera)
Misc
hama
giraph
crunch
hcatalog
Author Canux
LastMod 11047-10-10T457:22:379