高德注册随着大数据的成熟,Azure HDInsight有了自

高德平台注册地址,高德平台注册登录

高德注册登录【主管QQ554-258】几年前,大数据正处于宣传周期的顶峰,而Hadoop就是它的典型代表技术。如今,开源分析已经成为企业软件栈中坚实的一部分,“大数据”这个术语似乎已经过时,而且Hadoop已经……死了的说法已经被人们接受。不过,这太夸张了;虽然Hadoop不再炙手可热,但它仍然是一个重要因素。这是因为它定义了一个由支持数据库、数据湖、流数据和数据工程功能的附属项目组成的生态系统。这就是为什么基于Hadoop的云服务,如亚马逊的EMR和谷歌云的Dataproc,仍然是关键和有用的。
 
微软的云Hadoop服务Azure HDInsight是Hadoop效用的一个特别好的例子,因为即使微软已经推出了与其竞争的其他服务,该服务依然存在。例如,微软与Databricks (Apache Spark的创建者创建的公司)合作,提供并直接支持该公司同名服务的一个版本。此外,微软还将其Azure SQL数据仓库服务升级为Azure Synapse Analytics,作为一个公开预览特性,它现在提供按需的Spark池来支持完整的数据湖功能。但微软于2013年首次推出的Hadoop服务HDInsight仍在稳步推进。
 
和那头大象跳舞?
 
HDInsight是与Hortonworks共同开发的,Hortonworks随后与Cloudera合并。合并之后,新的Cloudera对两家公司的Hadoop分发版——Hortonworks数据平台(HDP)和包括Apache Hadoop (CDH)在内的Cloudera分发版进行了合理化和重构,以用于新的Cloudera数据平台(CDP)的运行时。虽然这对Cloudera来说是好事,但HDP的退出给微软带来了挑战,因为HDInsight从一开始就基于HDP。
 
Cloudera数据平台发布时具备多/混合云能力,并降低了Hadoop的复杂性
 
很多人想知道微软是否会采用CDP运行时,或者它是否会走自己的路,构建自己的Hadoop发行版,就像AWS和谷歌一开始做的那样。后者现在已经成为现实,因为微软已经基于Apache开放源码组件创建了自己的Hadoop发行版。7月21日,微软在其合作伙伴生态系统的虚拟活动Inspire上宣布了新发行版的普遍可用性。
 
结果是,为了保持兼容性和最小化干扰,微软采用了HDInsight 4.0所基于的HDP 3.1.6,高德平台手机并克隆了它。今天,如果你在不同的Azure区域提供HDInsight 4.0集群(我已经在加拿大东部、美国中部和美国东部确认过),你的集群将使用这个新发行版。不过你可能不会注意到。HDI版本号没有变,底层的开源项目版本也没有变。唯一能让你真正知道发生了变化的方法就是在Ambari管理界面的“Versions”选项卡中将“HDP-3.1.6.2”替换为“HDInsight-4.1.0.26”,如图所示。在所有其他方面,经验都是相同的。
 
这份存档的TechRepublic Premium report最初发布于2015年3月,TechRepublic的注册会员可以免费获得。所有最新的研究报告,100+现成的政策,IT工作描述,以及更多,请查看TechRepublic…
 
由TechRepublic Premium提供的研究
 
你可能会问,微软为什么要自找麻烦呢?请记住,即使存在重叠,HDInsight也可以做其他Azure数据服务做不到的事情。例如,Azure Databricks集群并不混合匹配组件——它们的特性是一个专有版本的Spark、Delta Lake、Delta Engine和MLflow的组合。Synapse Spark池也是专用于Spark的,尽管它们基于开放源码Spark位。它们也是没有服务器的,基于实际执行的查询进行计费。对于一些客户来说,这种模式更好;对另一些人来说,就不那么重要了。
 
因此,如果你想在Azure上建立一个独立的大数据集群(按小时计费),并配备开源Spark、Hive、HBase、Pig和Hadoop(还有Kafka、Storm、微软的机器学习服务器和开源Spark),你会想要使用HDInsight。现在,随着微软投资构建、测试和部署自己的Hadoop发行版,该服务的未来将更加稳固,它可以继续为它唯一适合的工作负载提供服务。
要么做大,要么克隆
 
现在微软控制了HDInsight的底层分布,它会创新和发展它,使它超越现在的HDP克隆吗?这是有先例的,高德平台首页因为微软已经在基于hdp的发行版上进行了创新。与Hortonworks合作,微软建立了与Azure Blob存储、Azure Data Lake存储以及Azure SQL数据库的独特集成。最近,机器学习服务器和。net为Apache Spark带来了额外的增值。
 
也许微软下一步会把Spark 3.0、Presto和气流整合到HDInsight的开源组件组合中。在微软的技术方面,支持一两项公司自己的笔记本体验,或许还可以更紧密地集成Cosmos DB和Azure机器学习。这些集成将增加HDInsight和Azure服务的价值,使其与之更加紧密地集成在一起。
 
诸如此类的举动将使微软对HDInsight的承诺更加明确。最终,这种承诺必须得到全力支持;太长时间以来,我都是半心半意的。但目前,不确定性已经消除,兼容性已经得到维护,HDInsight不再依赖于第三方组织。这是微软客户的胜利;这可能会鼓励他们想要更多。


上一篇
高德注册这个令人惊讶的Linux恶意软件警告表明黑
上一篇
高德注册微软告诉Windows 10用户,他们永远无法卸
  • 版权声明:内容来自互联网不代表本站观点,2020-08-17发表于 高德平台栏目。
  • 转载请注明: 高德注册随着大数据的成熟,Azure HDInsight有了自| 高德平台 +复制链接