阿里靠什么支撑EB级计算力

  • 时间:
  • 浏览:4
  • 来源:大发彩票快三—大发彩票app

编译器 Compiler: 对 SQL 标准有友好支持,支持60 % TPC-DS语法;并具备强大都错误恢复能力,支持 MaxCompute Studio 等先进应用。

运行时 Runtime: 基于LLVM优化代码生产,支持列式处理与丰沛 的关系算符;基于 CPP 的运行时具有更高数率。

优化器 Optimizer: 支持HBO和基于 Calcite 的 CBO, 通太满种优化手段不断提升 MaxCompute 性能。

Volume-数据量:数据量非线性增长,包括收集、存储和计算的量都非常大,且增速放慢。

Variety-数据类型:包括特性化和非特性化的数据,不得劲是最近随音视图兴起,非特性化数据增速放慢。

Velocity-数据存储和计算的增长数率:数据增长数率快,处理数率快,时效性要求高。

Veracity-信噪比:数据量越大,噪声太满,须要深入挖掘数据来得到结果。

Value-价值:数据作为某种资产,有1+1>2的特点。

Spark 是联合计算平台第有有有一一三个小支持的开源引擎。基于 Cupid 的 Spark on MaxCompute 实现了与 MaxCompute 数据/元数据的完美集成;遵循 MaxCompute 多租户权限及安全体系;与Dataworks、PAI平台集成;支持 Spark Streaming,Mllib, GraphX, Spark SQL, 交互式等完整篇 Spark生态;支持动态资源伸缩等。

Cupid 的工作原理是通过将 MaxCompute 所依赖的 Fuxi 、Pangu 等飞天组间接口适配成开源领域常见的 Yarn、HDFS 接口,使得开源引擎可否 顺利执行。现在,Cupid 新增支持了 Kubernetes 接口,使得联合计算平台更加开放。

异构数据支持是MaxCompute 2.0升级中的一项重大更新,意在丰沛 MaxCompute的数据处理生态,打破数据孤岛,打通阿里云核心计算平台与阿里云各个重要存储服务之间的数据链路。

上图来自Gartner

(上图中偏离 功能只在阿里集团结构发布,云上版本会陆续发布上线)

宽度参与和推动全球大数据领域标准化建设

2018年11月,MaxCompute与DataWorks/AnalyticDB一齐代表阿里云入选 Forrester Wave™ Q4 2018云数据仓库研究报告,在产品能力综合得分上力压微软,排名全球第七,中国第一。

MaxCompute 基于 Auto Data Warehousing,来实现为用户推荐如何使用 Hash Clustering,回答如何选择Table、如何设置Clutering key和分桶数等问題,让用户在海量数据、海量作业、快速变化的业务场景下,充分利用平台功能。

MAC(强制安全控制)及安全策略管理:让项目空间管理员能更加灵活地控制用户对列级别敏感数据的访问,强制访问控制机制(MAC)独立于自主访问控制机制(DAC)。

数据分类分级:新增数据的标签能力,支持对数据做隐私类数据打标。

精细权限管理:将ACL的管控能力拓展到了Package内的表和资源,实现字段级的权限的精细化管理。

系统安全

基于MaxCompute丰沛 的用户自定义函数(UDF)支持,用户可否 在 ODPS SQL 中编写 Python UDF 来扩展 ODPS SQL。 MARS 则是为了赋能 MaxCompute 科学计算, 全新开发的基于矩阵的统一计算框架。 使用 Mars 进行科学计算,不仅能大幅度减少分布式科学计算代码编写难度,在性能上完整篇 都是大幅提升。

基于横向架构上的核心引擎和系统平台, MaxCompute在计算力、生态化、智能化一三个小纵向上着力发展差异化的竞争力。

用一三个小“V”来描述大数据的特点:

MaxCompute 持续在前沿技术领域投入,保持技术先进性。在下一代引擎方向(如Adaptive Operators、,Operator Fusion、ClusteredTable等),智能数仓 Auto Datawarehouse 方向上的调研都取得了不错的进展。在渐进计算 (Progressive Execution)、Advanced Fail Checking and Recovery 、基于 ML的分布式计算平台优化、超大数据量Query子图匹配等多个方向上的调研也在进行中。

2014年,MaxCompute 刚开始英文英文商业化的历程,走出集团、向公共云和专有云输出,直面中国、乃至全球的用户。面对挑战,MaxCompute 坚持产品核心能力的增强,以及差异化能力的打造, 赢得了客户的选择。

“完整篇 都是单一的引擎”体现在,MaxCompute原生支持SQL、MR、DAG编程语义和Graph、PAI机器学习计算,一齐也通过联合计算平台支持任意第三方引擎,如Spark、Flink等。

3.3 智能化

随着大数据的发展,朋友在几年前就刚开始英文英文面对数据/作业 爆发式增长的趋势。面对百万计的作业和表,如何做管理呢?

从60 9年云梯到ODPS,再到MaxCompute,MaxCompute(ODPS) 你你累似 大数据平台累似 发展了十年。回顾 MaxCompute 的发展,首先从云梯到完成登月,成为了有有有一一三个小统一的大数据平台。

(上图为MaxCompute集团内和专有云能力,公共云已实现与OSS、OTS的数据互通)

MaxCompute 通过异构数据支持来提供与各种数据的联通,这里的“各种数据”是有有有一一三个小维度上的:

支持更错综复杂的编码办法 ,异步预读等功能,进一步提升效能。在存储和计算有有有一一三个小方面都带来了效能的提升。存储成本方面,在阿里巴巴集团内通过新一代的列存格式节省约8%存储空间,直接降低约1亿成本;在计算数率上,过去的有有有一一三个小财年中发布的每个版本之间都实现了20%的提升。目前在集团内大规模落地的过程中。

在归档以及压缩方面,MaxCompute 支持ZSTD压缩格式,以及压缩策略,用户可否 在Normal,High和Extreme某种Stategy上面选择。更高的压缩级别,带来更高效的存储,但也原困更高的读写CPU代价。

数据爆炸原困数据和计算量增速很高,什么都有事先超过业务增速。带来成本压力!

数据量变大,但单位数据的价值在下降,宽度挖掘势在必行,但反过来要求计算力的进一步提升。

非特性化数据处理,成为趋势。

时效性,是能完成任务事先,用户的新期待。

超大规模的数据和计算,对人工管理是有有有一一三个小挑战。

上述趋势,也会得出了作为大数据平台,朋友要发力的方向:计算力,智能化,生态系统。

1.1 背景信息: 十年事先,回头看有哪些是大数据

"Big data represents the information assets characterized by such a high volume, velocity and variety to require specific technology and analytical methods for its transformation into value".

Auto Data Warehousing 在线上真实的业务中,到底能做有哪些呢?朋友以Hash Clustering的自动推荐来小试牛刀。Hash Clustering 经过一年多的发展,功能不断完善,但对用户来说,最难的问題仍然在于,给有哪些表建立如何的Clustering策略是最佳的方案?

1.MaxCompute(ODPS)概述

BigData 概念在上世纪90年代被提出,随Google的3篇经典论文(GFS,BigTable,MapReduce)奠基,累似 发展了超过10年。这10年中,诞生了包括Google大数据体系,微软Cosmos体系,开源Hadoop体系等优秀的系统,这其中也包括阿里云的飞天系统。有有哪些系统一步一步推动业界进入“数字化“和事先的“AI化”的时代。

得益于整体数率的提升,在集团结构 MaxCompute 以20%的硬件增长支撑了超过70%的业务增长。

回顾上云历程,公共云的第有有有一一三个小节点华东2上海在2014(13年)年7月开服,经过4年多发展,MaxCompute 已在全球部署18个Region,为云上过万家用户提供大数据计算服务,,客户已覆盖了新零售、传媒、社交、互联网金融、健康、教育等多个行业。专有云的起点则从2014年8月第一套POC环境部署刚开始英文英文,发展至今专有云总机器规模已超过60 00台;输出项目60 +套,客户蕴藏 城市大脑,大安全,税务,等多个重点行业。

3.核心技术栈

大数据市场进入普惠+红海的新阶段,如何借力井喷阶段中的人工智能,如何和心态发展共赢?

累似 说,0到1上线标志有有有一一三个小系统的诞生,在集团内大规模部署标志有有有一一三个小系统的成长,在云上对外大规模服务标志有有有一一三个小系统的心智心智心智心智早熟。MaxCompute这10年累似 走向心智心智心智心智早熟,经太满次升级换代,功能、性能、服务、稳定性累似 有有有有一一三个小体系化的基础,成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。

元数据管理

数率提升

2018年9月云栖大会发布,MaxCompute 在标准测试集 TPC-BB 60 TB整体指标较2017年提升一倍以上。

MaxCompute SQL 引擎当前的发展,以提升用户体验为核心目标,在 SQL 语言能力、引擎优化等多个方向上兼顾发力,建立技术优势,在SQL 语言能力方面,新一代大数据语言NewSQL做到了 Declarative 语言和 Imperative 语言的融合,进一步提升语言兼容性,目前已60 % 支持 TPC-DS 语法。过去一年中,MaxCompute 新增对 GroupingSets,If-Else分支句子,动态类型函数,等方面的支持。

1.3 竞品对比与分析

大数据发展到今天,数据仓库市场潜力仍然巨大,更多客户刚开始英文英文选择云数据仓库,CDW仍发生高速增长期。当前互联网公司和传统数仓厂家完整篇 都是进入领导者地位,竞争激烈,阿里巴巴CDW在全球权威咨询与服务机构Forrester发布的《The Forrester WaveTM: Cloud Data Warehouse, Q4 2018》报告中位列中国第一,全球第七。

案例:Spark On MaxCompute

MaxCompute持续在开源社区投入。成为全球两大热门计算存储标准化开源体系ORC社区的PMC,MaxCompute成为近两年贡献代码量最多的贡献者,引导存储标准化;在全球最热门优化器项目Calcite,拥有有有有一一三个小专委席位,成为国内前两家具备该领域影响力的公司,推动数一三个小贡献。

2019年3月,MaxCompute 正式代表Alibaba加入了TPC委员会推动融入和建立标准。

PyODPS一方面是MaxCompute 的 Python SDK,一齐也提供 DataFrame 框架,提供累似 pandas 的语法,能利用 MaxCompute 强大的处理能力来处理超大规模数据。

总结下来,大数据具备如下的一三个小趋势:

2018年,MaxCompute 陆续推出了 Hash Clustering 和 Range Clustering 支持富特性化数据,并持续的进行了宽度的优化,累似 增加了 Shuffle Remove,Clustering Pruning 等优化。从线上试用数据,以及几滴 的 ATA 用户实践案例也可否 看出,Clustering 的收益也获得了用户的认可。

“有有有一一三个小平台”体现在,MaxCompute提供统一高效的数据存储,可靠的元数据服务,跨地域多集群管理,和数据/计算调度能力。 MaxCompute以其可靠性、高性能、扩展性、安全性和富生态被广泛的用于互联网海量数据分析场景,如海量数据分析与处理、大数据仓库、产品维度报表、机器学习训练、等场景。

结合MaxCompute元仓(MetaData)提供的安全审计能力和元数据管理(MetaService)提供的安全授权鉴权能力,以及数据安全生态中安全卫士和数据保护伞等安全产品,就构成了 MaxCompute安全栈完整篇 大图。

MaxCompute 存储着海量的数据,也产生了丰沛 的数据元数据。在离线元仓统计T+1的状态下,用户为宜须要一天之然后做事后的数据风险审计,现实场景下用户希望更早风险控制,将数据访问事件和项目空间授权事件通过CUPID平台实时推送到用户DataHub订阅,用户可否 通过消费DataHub实时获取项目空间表、volume数据被谁访问等。

一齐,与累似 老牌系统相比(如,Linux等操作系统体系,数据库系统,上面件,什么都有有超过60 年的历史),大数据系统又非常年轻,随云计算普惠,正大规模被应用。海量的需求和迭代推动系统快速发展,有蓬勃的生机。(技术体系的发展,可否 通过如下Hype-Cycle概述,作者认为,大数据系统的发展进入技术复兴期/Slope of Enlightenment,并刚开始英文英文大规模应用Plateau of Productivity。)

a.核心引擎

支撑 MaxCompute 的计算力的核心模块之一是其 SQL 引擎:在 MaxCompute 的作业中,有90%以上的作业是 SQL 作业,SQL 引擎的能力是 MaxCompute 的核心竞争力之一。在MaxCompute 产品框架中,SQL 引擎将用户的SQL句子转再加对应的分布式执行计划来执行。SQL 引擎由一三个小主要模块构成:

Catalog完成DDL,DML及DCL(权限管理)的业务逻辑,Catalog保障MaxCompute作业的ACID特性。

MetaServer完成元数据的高可用存储和查询能力。

AuthServer是高性能和高QPS的鉴权服务,完成对MaxCompute的所有请求的鉴权,保障数据访问安全。

元数据服务经过了模块化和服务化后,对核心事务管理引擎做了多次技术升级,通过数据目录多版本,元数据存储重构等改造升级,保障了数据操作的原子性和强一致,并提高了作业提交的隔离能力,并保障了线上作业的稳定性。

1.2 MaxCompute 定位

阿里云大数据计算服务(MaxCompute,原名ODPS)是阿里云提供的某种安全可靠、高效能、低成本、从GB到EB级别按需弹性伸缩的在线大数据计算服务。

MaxCompute是大数据云数仓的数据汇集点,存储和管理EB级数据,支持弹性伸缩的高性能大数据计算服务:它不却说个单一的引擎,却说有有有一一三个小平台。

MaxCompute 框架为ODPS上面各种类型的计算引擎提供稳定便捷的作业接入管理接口,管理着ODPS各种类型Task的生命周期。过去一年对短作业查询的持续优化,缩短e2e时间,加强对异常作业(OOM)的自动检测与隔离处理,全面打开服务级别流控,限制作业异常提交流量,为服务整体稳定性保驾护航。

MaxCompute当前的定位是市场竞争者,目标是成为客户大数据的“航母”级计算引擎,处理客户在物联网、日志分析、人工智能等场景下日益增长的数据规模与计算性能下降、成本上升、错综复杂度上升、数据安全风险加大之间的矛盾。在此目标定位下,对MaxCompute在智能数仓、高可靠性、高自动化、数据安全等方面的能力提出了更高的要求。

“十年磨一剑”。MaxCompute去年做了有哪些工作,有有哪些工作肩上的原困是有哪些?大数据市场进入普惠+红海的新阶段,如何和心态发展共赢?人工智能进入井喷阶段,如何支持与借力?本文从过去一年的总结,核心技术概览,以及每条技术线路未来展望等几条方面做有有有一一三个小概述。

b.存储

MaxCompute 不仅仅是有有有一一三个小计算平台,也承担着大数据的存储。阿里巴巴集团99%的大数据存储都基于MaxCompute,提高数据存储数率、稳定性、可用性,也是MaxCompute一个劲努力的目标。

系统开放性和和心态融合

联合计算平台 Cupid 逐步心智心智心智心智早熟,性能 与EMR Spark Benchmark 持平,支持K8S接口,支持完整篇 的框架安全体系。Spark On MaxCompute已刚开始英文英文支持云上业务

Python分布式项目MARS正式发布,开源两周内收获160 + Star,填补了国内在Python生态上支持大规模分布式科学计算的空白,是竞品Dask性能的3倍。

探索新领域

在CDW的领导者中,AWS Redshift 宽度商业化、商业客户部署规模领先整个市场,GoogleBigQuery以高性能、宽度弹性伸缩获得领先,Oracle 云数仓服务以自动化数仓技术获得领先。

MaxCompute通过对历史作业特性的学习、基于对数据和作业的深刻理解,让MaxCompute上的业务一定程度实现自适应调整,让算法和系统帮助用户自动、透明、高效地进行数仓管理和重构优化工作,实现更好地理解数据,实现数据智能排布和作业全球调度,做到大数据处理领域的“自动驾驶”,也却说朋友所说的Auto Data Warehousing。

MaxCompute 存储层发生 MaxCom pute Tasks和底层盘古分布式文件系统之间,提供有有有一一三个小统一的逻辑数据模型给各种各样的计算任务。 MaxCompute的存储格式演化,从最早的行存格式CFile1,到第有有有一一三个小列存储格式CFile2,到第三代存储格式。

元数据服务支撑了MaxCompute各个计算引擎及框架的运行。每天运行在MaxCompute的作业,都依赖元数据服务完成DDL,DML以及授权及鉴权的操作。元数据服务保障了作业的稳定性和吞吐率,保障了数据的完整篇 性和数据访问的安全性。元数据服务蕴藏 了有有有一一三个小核心模块:

在数据安全这麼 重要的今天,元数据服务和阿里巴巴集团安完整篇 合作办法 协议,权限系统升级到了2.0。核心改进包括:

MaxCompute向用户提供了丰沛 的大数据开发工具、完善的数据导入导出方案以及多种经典的分布式计算模型。要能最快速的处理用户海量数据计算问題,有效降低企业大数据计算平台的总体拥有成本,提高大数据应用开发数率,并保障数据在云计算环境的安全。被广泛的应用于互联网海量数据分析类场景。

3.2 生态化

作为有有有一一三个小大规模数据计算平台,MaxCompute 拥有来自各类场景的EB级数据,须要快速满足各类业务发展的须要。在真实的用户场景中,很少有用户只用到一套系统:用户会有多份数据,累似 使用多种引擎。联合计算融合不同的数据,丰沛 MaxCompute 的数据处理生态,打破数据孤岛, 打通阿里云核心计算平台与阿里云各个重要存储服务之间的数据链路。联合计算也融合不同的引擎,提供多种计算模式,支持开源生态。开源能带来丰沛 和灵活的技术以赋能业务,通过兼容开源API对接开源生态。当时人面,在开源过程中朋友须要处理最小化引入开源技术成本及打通数据、适配开源接口等问題。

3.1 计算力

首先朋友从计算力你你累似 宽度出发,介绍一下 MaxCompute 的技术架构。

今天,MaxCompute 在全球有超过十万的服务器,通过统一的作业调度系统和统一的元数据管理,这十万多台服务器就像一台计算机,为全球用户提供提供包括批计算、流计算、内存计算、机器学习、迭代等一系列计算能力。你你累似 整套计算平台成为了阿里巴巴经济体,以及阿里云肩上计算力的强有力支撑。MaxCompute 作为有有有一一三个小完整篇 的大数据平台,将不断以技术驱动平台和产品化发展,让企业和社会要能拥有丰沛 的计算能力,持续快速进化,驱动数字中国。

来源商业新知网,原标题:阿里靠有哪些支撑EB级计算力

系统安全方面, MaxCompute通过综合运用计算虚拟化和网络虚拟化技术, 为云上多租户本人的用户自定义代码逻辑提供了安全累似 完善的计算和网络隔离环境。SQL UDF(python udf 和 java udf), CUPID联合计算平台(Sparks/Mars等), PAI tensorflow等计算特性都基于这套统一的基础隔离系统构建上层计算引擎。

MaxCompute 还通过提供原生的存储加密能力, 抵御非授权访问存储设备的数据泄露风险. MaxCompute内置的存储加密能力, 可否 基于KMS云服务支持用户自定义秘钥(BYOK)以及AES256加密算法,并计划提供符合国密合规要求的SM系列加密算法支持。

c.系统框架

资源与任务管理