历经十多年发展，大数据应用井喷式涌现，不但让商业和企业的先行者利用了数据的价值，获得商业成功，而且改变了当前全球企业业务发展的驱动力，由原来的流程等驱动，发展到现在的数据驱动。

另一个变化就是在企业级市场，大数据核心软件主要由国外企业把持的市场格局开始松动，中国大数据核心软件迅速成长，在一些方面实现了超越。

在全球大数据软件分工越来越专业、竞争越来越有序的环境下，大数据应用对大数据基础软件提出了更高的要求，在大数据核心软件众多发展路线中，谁会迈过这道坎，引领发展呢?

技术路线之争延绵十余年

在大数据基础软件发展中，技术路线发展演绎精彩纷呈，令人目不暇接。不过，经过多方采访，记者发现目前大数据软件的技术路线基本可以分为四大类：

第一条技术路线就是Hadoop。

提起大数据，依然不能不提Hadoop。因为Hadoop让海量的数据能分布存储，并能分布的存取与处理。过去Hadoop几乎成了大数据的代名词。在大数据发展中，开源大数据平台Hadoop占据至关重要的地位。Cloudera、Hortonworks、MapR是Hadoop的三驾马车。

提到Hadoop，就不能不提Cloudera。虽然Cloudera也发布商业化工具产品，但以提供Hadoop发行版为主。产品分为免费版和企业版，只有企业版的核心组件不对外开放，其他技术均提供给社区。

Hortonworks就是通过Hadoop框架搭建其产品的最大的一家公司，将自己的技术完全贡献给社区，不靠产品获利，而是靠向企业客户提供支持服务和后期维护盈利。

MapR以发布商业化工具产品为主，同时提供Hadoop发行版。基于开源技术，提高稳定性，同时强化了一些高级功能，定制化程度较高，核心技术是不公开的，营收主要来自软件收入。MapR的企业级产品的优势是更好地管理和确保数据在Hadoop中的可恢复性和可靠性，以及多租户和高可用性功能提供了工具。

专家认为，作为大数据基础软件的一大技术路线，基于开源Hadoop发展的最大优势就是可处理的数据量庞大且运行稳定。在节点资源不增加的情况下，运行速度虽然不占优势，但却十分稳定。既是优势也是劣势，Hadoop在批处理方面的强大无法掩盖其在交互式分析和流处理方面的缺憾。

第二条技术路线就是Spark。

Gartner连续多年唱衰Hadoop，并认为，尽管企业对大数据解决方案的需求不断增长，但对Hadoop的需求没有像预期那样加速。同时，25%的Spark已经开始脱离Hadoop生态单独运行。

一位业界专家介绍非常形象：如果说Hadoop是一家大型包工队，Hadoop是人工的搬砖盖房子，所以慢，但是稳妥；Spark是用机器搬砖盖房子，可以很快很灵活，缺点就是更容易出机械故障。

Hadoop开始升级，指定调度专家YARN调度工人，其MapReduce也可以支持Mesos；Spark从多个仓库(HDFS、Cassandra、S3、HBase)搬砖，还允许不同专家如YARN/ MESOS对人员和任务进行调度。

其实，这两者并不是水火不容。Spark经常和Hadoop团队合作，让问题变得更加复杂。不管怎么说，Spark和Hadoop都是两个独立的包工队，都有着各自的优缺点和特定的业务用例。

Spark技术的代表企业是Databricks。Databricks公司是由加州大学伯克利分校负责开发流行的开源Apache Spark数据处理框架的团队创建的。该公司帮助大企业快速处理、整合和分析大量数据。它的统一分析平台旨在孤立的数据存储系统之间建立数字管道，并帮助工程师和数据科学家更好地沟通。

Spark的优势是在内存中运行速度比Hadoop快100倍，在磁盘上运行速度快10倍。此外，Spark在机器学习应用中的速度同样更快，如Naive Bayes和k-means。

所以说大数据应用基础平台并不是固定的，也是需要优化的，优化后的性能表现会有出色的表现。

第三条技术路线就是以星环科技为代表的自主开发。

中国独特的国情带来的大数据量，国外的技术在处理本土业时经常会水土不服：中国用户需要处理的数据量远超过之前在其他国家的需求。同时中国用户在应用场景方面有着非常强的创新意识，需要处理的场景复杂度也超过了其他国家用户。星环科技就是专注解决用户难点，不盲从社区或其他路线的代表，走出了一条独特的自主研发技术创新之路。星环的产品体系已经从最早的分析型数据库扩展至分析型数据库、实时计算、全文检索数据库、图数据库、Bigtable数据库、交易数据库、基于容器技术的数据云等，从底层资源调度到上面的计算引擎，形成了一条有别于Hadoop或Spark、而具有星环特色的技术路线，实现了多个领域的技术突破。例如分析型数据库ArgoDB采用了星环统一的计算引擎以及统一的存储管理系统，同时针对闪存设计的存储格式，取代了传统的Hadoop+MPP的结构，同时对比MPP和Hadoop平台在数据量较大时都有性能上的优势。

在实时流处理领域，星环自主的Slipstream不仅仅支持SQL的实时数据库，搭载了一个自主研发的规则引擎和复杂事件处理引擎，用户可以直接在对业务所需要用的计算方式进行直接的编写，还可以对开发的结果进行一站式的部署调试，极大的方便了业务的开发人员。

第四条其他技术路线。

其中最重要的一条就是上一代MPP架构的继续沿用。早在大数据广为人知之前，大规模并行处理MPP架构就已诞生。其设计理念是对传统关系型数据库进行分布式化，是对以往数据库扩展性差的改良。Teradata、Greenplum、Vertica、Netezza等大家早已熟知企业都是基于此架构来完成解决方案。不过由于其根源仍是对旧技术的修修补补，不支持非结构化数据存储分析，扩展上限仍不足够，硬件设备昂贵等特性随着时间逐渐暴露出来。

除此之外，还有部分专属领域的技术活跃在市场上，例如应用于网站数据存储的文档数据库MongDB，专注于满足各类复杂搜索需求的ElasticSearch，常被应用于会话缓存的高速NoSQL数据库Redis，图数据库Neo4J，以及由实时计算引擎正蔓延成为通用大数据引擎的Flink等。这些技术有几大特点：一是大多是开源系统；二是应用面相对较窄，影响范围有限。

2.四条技术路线开始出现分化

伴随着技术的兴起到发展成熟，技术路线也从百花齐放到部分技术路线消亡或者合并。任何技术的发展最终只会有两三条路线沉淀下来。实践证明，大数据基础平台是不可或缺的。但是随着应用的深入，要想利用开源通过服务或者订阅赚钱的难度却越来越大了，要把它做成生意的门槛越来越高了。近年来，大数据基础软件典型的四条技术路线开始出现分化。

首先 Hadoop 商业化最典型的公司就是Hadoop的三驾马车——Hortonworks、Cloudera和MapR。2014年，Hortonworks成功在纳斯达克上市。该公司以每股16美元的价格发行625万股股票，募集1亿美元资金，开盘首日上涨幅度达到60%，市值接近11亿美元。

2017年4月底，Cloudera以每股15美元的定价在纽约证券交易所上市，股价一日上涨超20%至18.09美元。这一价格也超出了此前公司12到14美元的预期范围。Cloudera市值约为23亿美元，远低于2014年英特尔给出的41亿美元估值。

2018年，大数据领域的两大巨头公司Cloudera和Hortonworks因为连连亏损，宣布平等合并，Cloudera以股票方式收购Hortonworks，Cloudera股东最终获得合并公司60%的股份。这笔交易意味着Hadoop市场再也无法维持两大竞争对手对峙的状态了。但合并后公司股价继续下跌，在过去的七个月市值减半。

MapR于2009年成立，曾在五轮风险投资里拿到1.14亿美元。公司的风投支持者通常希望看到两个结果，其一是上市，另一个是被收购。但是公司MapR的首席执行官米尔斯表示，“我想上市，但我也想尊重上市的步骤。”

遗憾的是，MapR于近期宣布，如果无法获得额外的资金，可能削减122个工作岗位，并关闭其位于美国加利福尼亚州的总部。关闭总部意味着什么？是企业关门大吉，还是不要行政总部，继续发展开源系统，几乎无人可以确认。

其次，Spark技术的代表企业Databricks公司2018年的经常性收入达到1亿美元，订阅收入增加了两倍。但是其业务方向已经转移到“大数据分析和人工智能解决方案”。行业内更多的将其看成一家AI公司。

第三， 星环科技坚持走自己的技术路线，坚持自主研发和技术创新，成果丰硕。

星环科技的产品连续两年入选工信部“星河奖”最佳大数据产品奖。知名咨询机构wikibon在2018年的《大数据市场分析报告》中，星环科技作为唯一进入报告的中国厂商，被评价为“产品策略对西方供应商非常具有指导意义，因为它解决了许多同行的开源版本的限制”。因为超前的技术眼光和产品发展路线，星环科技行业技术引领者的地位获得了初步认可。

另外，Elasticsearch则转为实时分布式搜索和分析引擎，可以应用在任何实时检索的场景中。基于此技术的公司Elastic一手抓住搜索，一手专注开源，利用创新的搜索引擎技术和开源的软件，成为大数据搜索和数据实时处理领域的头部企业。公司成功在纽约证券交易所上市。

3.谁能迈过这道坎，成为引领者？

那么，哪条大数据软件技术发展路线能成为领导者呢?笔者认为，主要看四个方面：

首先，适应性，能否适应云计算发展大势。企业向公有云的转变，各种规模的公司都在增加对AWS、Azure、阿里云、Google Cloud等云服务的采用。如果企业正在转向云计算，那么选择将大数据视为其中一部分的云平台既省时又省力。利用云计算的资源池化，利用容器技术统一管理和调度，支持单行扩展，按需使用，按需付费，让业务人员随时使用数据分析平台成为一个发展方向。

第二，独特性。软件产品自主可控固然重要，但是独特性则是市场竞争致胜的法宝。星环科技CEO孙元浩说，我们发展新技术最看重独特性、领先性。

第三，丰富性。目前来看，单有大数据平台还不够，应该与人工智能、云计算融合发展，提供一体化平台，弹性资源策略让服务随处可见。另外，全栈自主开发也成为一道风景。

第四，生态体系与用户成功实践经验。大数据和云计算的基础软件，需要一个强大的生态才能够形成一定的规模。覆盖的行业广泛性、用户应用成功经验等也都是非常重要的因素。

提供基于私有云服务的云上大数据厂商BlueData在去年将服务延伸至人工智能和分析服务，今年被HP收购，以提升HP为客户提供的服务全栈性，弥补HP的短板。而另外一家公司Qubole则是选择了在各个公有云上提供数据分析与机器学习平台，其口号是“让你的数据湖变成利润中心”。

星环科技于2018年在行业首先推出了数据云平台Transwarp Data Cloud，这一云原生平台采用容器技术，以数据为中心，通过提供完整的数据、应用和智能的开发工具，实现数据和应用互通互联。今年5月推出的TDC 2.0与上一版本相比，能更全面地满足不用业务、不同角色的工作需求。经过近4年的发展，星环形成了有突出的技术优势的PaaS产品——星环数据云。

有趣的是，2018年Cloudera和Hortonworks宣布合并时也创建其首个企业数据云。除了主打是100%开源外，能够同时兼容混合云、多云部署应用情境，提供企业用户足够的搬迁、部署弹性，避免被特定厂商绑定。

仅在公有云上提供DB-PaaS的公司Snowflake去年估值已达35亿美金，而业绩不到1亿美金，估值倍数超过了其他同类公司。星环的数据云TDC除了提供与Snowflake类似服务外，还可以支持 DB-PaaS、Application PaaS和Analytic PaaS三个核心模块，并能支持公有云-公有云、公有云-私有云之间互操作，有效的融合了数据、应用和智能，异构云的互通扩大了产品应用范围。

随着大数据技术的不断发展，预计在未来三到五年内，会发展为仅剩一到两条技术路线。谁能成为大数据技术引领者，我们将拭目以待！