- Hadoop 版本升級到 2.9.2 ;
- Spark 版本升級到 2.2.3 ;
- Hive 版本升級到 2.3.5 ;
- 新增 Hadoop, Spark 和 Hive 對 lzo 壓縮的支持;
- 新增對基于 Spark 的分布式深度學習框架 BigDL 的支持;
- 新增 NeonSAN 超高性能大容量存儲的支持,單節點最高容量可達 50 TB。
- 新增 Spark 作為 Hive 的默認執行引擎即 Hive on Spark,同時支持用戶切換到傳統的 MapReduce 引擎。
- 新增多個 Hive 調優配置參數。
- 新增 Hive 通過 beeline 執行 HQL 使用指南。
- 新增 HiveServer2 WEB UI 使用指南。
QingMR 支持NeonSAN、支持 BigDL深度學習框架
青云 QingCloud 大數據相關服務將會統一在 QingMR 下。 QingMR 目前已經集成了:分布式文件系統 HDFS、集群資源管理系統 YARN、數據處理框架 Hadoop MapReduce 和 Spark、數據倉庫工具 Hive?、極速海量數據 OLAP 分析引擎 Kylin,為更好的滿足用戶對大數據產品更多的需求,本次對核心組件進行了版本升級,新增對基于 Spark 的分布式深度學習框架 BigDL 的支持,具體更新如下::
QingMR 2.0 – Core:立即使用→