快捷搜索:

您的位置:金莎娱乐 > 互联网 > 大额痛点消失不见,智能数据湖

大额痛点消失不见,智能数据湖

发布时间:2019-07-09 15:20编辑:互联网浏览(125)

    以人工智能为代表的创新ICT技术的兴起与应用,正加速各产业数字化转型与升级,进入智能时代:交通 智能,最懂你的路;医疗 智能,最懂你的痛;制造 智能,最懂你所需……

    澳门金莎 1

    自2010年国际上首次提出“数据湖”概念以来,数据湖就被视为大数据的终极挑战。所谓数据湖,即把所有的数据以原始格式存储在一个统一的地方,以供后续使用。数据湖的出现,是为了应对城市和企业无法及时处理各种海量数据而先行将数据存储起来,后续使用的时候随需取用。“数据湖”被视为打破城市和企业的数据孤岛的重要基础设施,而且由于“数据湖”中存储了全量全域数据而更能为人工智能所用,从而创造更大的价值,例如用人工智能对一个城市或企业的全量数据进行分析,从而得出超越现有经验的全新洞察。

    用砖块可以筑起万里长城,但却无法承建数百米高的摩天大楼;数据是构成数字世界的基石,但单一呆板的结构化数据和割裂的数据湖,却难以让数据流动并产生应有的价值。工具的更新,是人类文明不断走向伟大的重要保证。

    虽然数据价值潜力巨大,但企业生产活动产生的数据只有不到2%被保存,得到分析利用的不足10%,数据的价值还远远没有释放。在7月2日举办的“成都·选择不凡 华为云城市峰会”上,华为云EI 智能数据服务域总经理丁响明分析了实现数据价值面临的挑战,并给出了华为云“智能数据湖”的解决之道。

    作者 | 胡巍巍发自北京民生现代美术馆

    近年来,各地都在兴建“数据湖”,往往一个数据湖项目就涉及上百亩产业园以及数十亿投资。因此,“数据湖”也被视为智慧城市和智慧企业发展的重大投资。简单理解,数据湖就是要给城市和企业建立一个数据中台,建立一个打通城市和企业的智慧基础设施。然而,Gartner曾预测,到2018年将有90%的数据湖将毫无用处,因为这些原始数据,缺乏有效的技术手段去使用它们。换句话说,只有“数据 智能”的智能数据解决方案,才能唤醒数据湖的真正价值。

    澳门金莎 2

    澳门金莎 3

    出品 | CSDN

    2019年6月5日,华为在北京发布智能数据解决方案FusionData,支持智能的数据全生命周期管理,让数据存得下、流得动、算得快、用得好,把数据资源转变为数据资产。华为Cloud & AI产品与服务总裁侯金龙表示:“不久的将来,可实现一家企业一个数据湖,一座城市一个数据湖,满足居民的生产与生活、企业的运营和发展、城市政府的管理和服务等各项需求,加速全社会的智能化进程。”

    6月5日,华为在北京发布了智能数据解决方案FusionData,从数据全生命周期的维度去做考量,从数据接入、数据处理和数据使能三个层面来做解决方案设计,并且借助华为在算力、大数据和算法上的全产业链优势,来重新定义”数据 智能”的行业价值。

    丁响明表示:“人类已经进入了数字经济时代,数据成为数字经济的重要原料,云计算和 AI 好比是炼油厂,对数据开采、传输、并将其‘智能熔炼’,进行数据‘提纯’,获取商业&社会价值,进而对源头产生了更多的数据需求周而复始,这样的循环将是智能世界的基本运行规律。但怎样用好数据是需要探讨的话题。”

    2009年,世界上出现了一种叫做甲型H1N1流感的病毒。由于当时全球尚未研发出对抗这种病毒的疫苗,公共卫生专家能做的只是减慢传播速度。

    澳门金莎 4

    数据如沙,真正可贵的是数据淘金术

    数据价值实现面临三大挑战

    更可怕的是,人们一般是在感染这种病毒多日后、也就是实在受不了的时候,才会去医院。所以,公共卫生机构在告知公众流感预告时,往往会有一两周的延迟。

    (华为Cloud & AI产品与服务总裁侯金龙致辞)

    有人曾预言,未来得数据者得天下。但大量的事实证明,未被挖掘利用的数据虽然如同沙砾般庞大,但如果没有成熟的淘金术,沙子中的黄金是不可能被收集到,如果没有硅提炼技术沙砾变成高价值芯片的神奇也不复存在。

    来自华为全球产业展望报告显示,到2025年,全球企业应用云化率将达 85%,AI 利用率达86%,数据利用率将剧增至80%,全球年数据增量将快速增长到2025年的180ZB,全球数字经济GDP将达23万亿美金。

    有意思的是,在甲型H1N1流感爆发的几周前,谷歌的工程师们在《自然》杂志上发表了一篇论文,文章称,患者在看病前往往会上网搜索,而谷歌通过观察人们的搜索记录,从而可以判断出流感来源地,并且预测得比官方更准确、更及时。而这,就是数据的力量!

    众所周知,世界上90%的数据是在过去两年内产生的,并且以每两年翻倍的数据往上递增,这些数据有结构化、非结构化和半结构化数据。从现在到未来五年,将有500亿台互联的智能机器,这些互联智能机器和设备用来分析、收集和采集数据。如何获得数据、如何有效使用数据并且把数据用以指导业务,这是新的课题。

    据华为全球产业展望报告显示,全球数据量将从2018年32.5ZB快速增长到2025年的180ZB。但企业生产活动产生的数据中只有不到2%被保存,而其中得到分析利用的不足10%,数据价值没有得到充分释放;并且企业普遍存在烟囱式业务系统,导致数据管理、应用效率低。

    数据成为新生产资料,智能成为新生产力,要充分挖掘数据经济价值,企业需要构建领先的数据基础设施,从而打通数据供应全流程,使能数据与业务全连接,提升业务敏捷性。

    而随着5G的到来,数据能做的事儿,远不止于此。

    国家战略性新兴产业专家委员会秘书长杜平在2019数博会的专业论坛上发言认为,数字经济是数字技术与资本、人才、市场相融合的一种经济形态,当前整个社会经济发展向网络化、数字化、智能化转型,在转型过程中由于人们的社会经济活动而源源不断产生新的数据,这是数字社会与之前工业社会和信息社会中前期最大的不同之处。

    随着5G、IoT、车联网等新技术浪潮的来临,数据不只面临数量上爆炸式增长的压力,而且数据的类型也将呈现爆炸式的增长,再用原有的数据库工具来处理数据,就如同再用原始的砖石和木料来建摩天大楼一样不再现实,人们需要像发明高空吊车、钢筋混凝土预制浇灌施工等一系列新工具和新方法,才能满足智能世界的建设要求。

    对数据的加工处理通常包括“采-存-算-管-用”全生命周期管理能力,让数据存得下、流得动、算得快、用得好,帮助客户将数据资源转变为数据资产。虽然各行各业都已经公认数据中隐藏的巨大价值,但在实现过程中,面临多重挑战:

    近日,5G牌照的发放,让5G应用开始照进现实。而德国专利数据公司IPlytics的报告显示,截至2019年4月,华为拥有1554族专利,领先于诺基亚、三星等公司,是拥有5G标准必要专利数量最多的公司。

    对于当前正在进行的数字化转型,杜平强调转型必须不断迭代升级,同时要取得投资回报,特别是长期要有投资回报,否则不可持续。为此,要同时强调成本和产出:成本既包括资金,也包括时间、效率、营商环境;而产出不仅要有资金回报,还要带来体验感,也就是数字社的便利性、安全感、获得感。换句话说,数字经济时代是大家共享发展成果,这与之前的社经经济模式不同,因此要统筹考虑成本和产出问题。

    澳门金莎 5

    挑战1:数据准备难,花24小时采集数据、花3小时转换数据做ETL入库、花1小时准备训练数据、最后只花了半小时训练 推理,得到需要的决策数据…

    进入5G时代后,人类产生的数据必将翻倍,据We Are Social和Hootsuite发布的2019年数字报告显示,全球人口数76.76亿人,其中手机用户51.12亿人,网民43.88亿人,有34.84亿人活跃在社交媒体上。但是,当下的数据解决方案,是否跟上了人类产生数据的速度呢?

    然而,当前的大部分应用仍为旧应用或传统应用。政府和企业拥有大量的数据管理员,他们当中的大多数在管理着传统数据库,日常管理包括打补丁和升级等,都属于重复性人工劳动。而政府和企业希望至少能拿出50%的人力进行创新和革新,希望这些人员用更多时间在数据建模、数据生命周期管理,以及前置性措施预测数据漏洞及安全,以保障和提升企业在市场上的声誉。

    华为Cloud& AI产品与服务总裁侯金龙表示:“数据成为新生产资料,智能成为新生产力,企业需要构建领先的数据基础设施,从而打通数据供应全流程,使能数据与业务全连接,提升业务敏捷性。华为本次发布的智能数据解决方案FusionData,通过汇聚各方数据,提供‘采-存-算-管-用’全生命周期管理能力,让数据存得下、流得动、算得快、用得好,帮助客户将数据资源转变为数据资产。”

    挑战2:数据融合分析难,传统的烟囱式企业ICT建设难以打通数据: 技术栈多、接口不统一,开发周期长;数据类型多,结构化/半结构化/非结构化;数据分析链路长,多系统集成难度大。

    据华为Cloud & AI产品与服务总裁侯金龙介绍,目前,很多企业的数字化程度不足,90%的数据没有进入系统,大量的IoT数据缺失,要么就是完整性不足,要么就是各个部门的数据没有打通,这种困境导致了很多数据孤岛。

    澳门金莎,因此,不论对于政府还是企业来说,“数据湖”能够统一容纳和管理传统数据技术以及新兴数据技术,把所有的数据管理员集中起来重新分配工作特别是进行创新性工作,而不是像之前那样不同的数据库系统都要配备高级数据管理员从事日常管理工作。更重要的是,“数据湖”作为一个企业和一个城市的统一数据基础设施,可以在统一软件架构的管理下,不断升级旧技术的同时容纳新技术,最终实现可持续发展的基础设施。从这个角度来说,“数据湖”是大数据的终极基础设施。

    澳门金莎 6

    挑战3:数据消费难,某企业IT系统,数据源130 万张表,要从海量表中寻找目标数据,耗时30天左右,犹如大海捞针;然后将目标数据加工成业务可使用数据,烟囱多、步骤多,错综复杂,又耗时7天。导致找数难、取数难。

    另据华为全球产业展望报告显示,全球数据量将从2018年32.5ZB快速增长到2025年的180ZB。

    华为全球产业展望报告显示,全球数据量将从2018年32.5ZB快速增长到2025年的180ZB。但企业生产活动产生的数据中只有不到2%被保存,而其中得到分析利用的不足10%,数据价值没有得到充分释放,并且企业普遍存在烟囱式业务系统,导致数据管理、应用效率低。对此,华为IT产品线副总裁、智能数据与存储领域总裁周跃峰表示,“各行各业在实现数据价值时面临数据接入难、分析难、消费难等挑战,亟待更智能的数据解决方案。”

    华为EBG中国区总裁蔡英华表示:“在坚持‘被集成’的基础上,华为企业业务通过‘无处不在的联接 数字平台 无所不及的智能’,致力于打造数字世界的底座。其中数字平台整合了包括云、大数据、AI、IoT等在内的各种新ICT技术,向上支持应用快速开发、灵活部署,使能各行业业务敏捷创新;向下通过无处不在的联接,做到云管端协同优化,真正实现物理世界的数字化。”

    华为云智能数据湖,以融合架构实现数据融合分析

    但企业生产活动产生的数据中只有不到2%被保存,而其中得到分析利用的不足10%,数据价值没有得到充分释放。并且企业普遍存在烟囱式业务系统,导致数据管理、应用效率低。

    例如,北京把智慧城市建设作为推动政府决策科学化、城市管理精细化、公共服务便利化的重要手段,大力实施北京大数据行动计划,形成“四梁八柱深地基”的大数据平台体系总体架构,包括截止2018年完成了40个市级部门714类政务数据汇聚工作,涉及数据9.4亿条,这是今年初北京2019年经济和信息化工作会上透露的。而在北京大数据平台体系总体架构中,城市大数据湖就是建立在北京政务云和网络基础设施之上的关键“地基”。

    数据是全新的生产资料,所以就要求全新的生产工具与之对应,而以甲骨文为代表的老一代数据库产品,虽然其数据库生态非常成熟,但却经常被批评过于保守、对新技术潮流反应迟缓,所以业界也非常期待能适配智能时代的新型数据库和一系列数据处理工具包问世。

    澳门金莎 7

    故此,华为发布了智能数据解决方案FusionData。6月5日,在北京民生现代美术馆,几百人的发布会场座无虚席。

    作为企业代表,招商银行总行数据中心应用与数据库管理室经理田永江介绍,目前招商银行零售业务两大APP的总用户数超过1.4亿、月活8000万 、承接客户流量占比92%。随着两大APP全年365天每天都可能有新业务上线,用户浪涌特征非常明显,即事先难以估计客群访问量,对业务资源快速扩展提出非常高的要求,大量业务数据也带来了大数据决策需求。在关键的数据库技术方面,由于现有的开源数据库内核还达不到Oracle的性能和功能,并且会导致集群规模过大、性价比低、维护成本高,为此招商银行与华为进行分布式数据库联合创新,这就是前不久发布的华为GaussDB数据库OLTP版本,由招商银行负责需求和解决方案设计,华为OLTP数据库团队负责技术实现。

    GaussDB的诱人之处,在于对人工智能原生支持

    针对多样性的业务、多样性的系统、多样性的数据带来数据价值变现的挑战,华为云打造了“智能数据湖”解决方案——面向数据采集、存储、计算、分析的数据生命周期,提供了包括数据集成、数据开发、数据建模、数据治理、数据开放的一站式可视化数据管理能力,帮助企业快速构建自己的数据中台,加速数据价值发现。

    澳门金莎 8

    GaussDB OLTP数据库在产品架构上采取了三层架构设计,顶层是分布式扩展层,中间层是企业级内核层,能够承载企业级业务的高性能以及通用数据库能力,最底层是分布式存储层,采用云存储技术,构筑软硬件垂直整合的高性能、高可用、Cloud Native云数据库能力。GaussDB OLTP版本利用华为在数据库领域的经验进行自主创新,基于新型硬件能力进行基础设施整合,实现云上部署和三高一低的总体目标(高可用、高安全、高性能、低成本)。

    华为IT产品线副总裁、智能数据与存储领域总裁周跃峰在做主题演讲时表示,各行各业实现数据价值面临接入难、分析难、消费难等挑战,亟待更替更智能的数据解决方案,而华为智能解决方案FusionData,将帮助客户打通全域数据链接、建立统一的数据服务能力,拥抱行业数字化。

    华为云“智能数据湖”解决方案通过数据统一存储、数据融合分析、数据运营使能等关键能力,消除客户使用数据的烦恼、提升实时数据服务能力,拥抱行业数字化。

    发布会上,华为EBG中国区总裁蔡英华表示:“站在智能时代的入口,在坚持‘被集成’的基础上,华为企业业务通过‘无处不在的联接 数字平台 无所不及的智能’,致力于打造数字世界的底座。其中数字平台整合了包括云、大数据、AI、IoT等在内的各种新ICT技术,向上支持应用快速开发、灵活部署,使能各行业业务敏捷创新;向下通过无处不在的联接,做到云管端协同优化,真正实现物理世界的数字化。”

    招商银行在数字技术领域的尝试与互联网金融企业的差异性在于,招商银行是在非常严格的监管以及为客户负责的前提下进行规划实施,是在考虑了可用性、安全性和客户体验的前提下,实现的高可用、高扩展和高弹性。田永江强调,GaussDB在一套系统里统一解决了高可用和容灾的所有问题,而且具有自动路由分布能力,运维复杂度大幅降低。而此前,招商银行已经全面启动了基于华为FusionInsight HD的大数据云化服务化建设,实现了大数据的异地存储和容灾;随着各类业务快速发展,行内群集数量快速增长,在精准营销、客户推荐、风控管理经营决策数据分析等各个领域,发挥了大数据“发动机”的作用。

    澳门金莎 9

    应对一:数据融合架构,大幅缩短数据准备时间:

    澳门金莎 10

    澳门金莎 11

    周跃峰在接受采访时表示,连接、计算和数据是ICT基础设施的三大基石,过去谈到数据主要是考虑如何存储数据,其实让数据成为计算引擎的燃料,并且通过连接产生数据流动,才能真正将数据资源变为数据资产,应该从顶层设计的维度重新审视数据。

    1、以往数据等待1天,现在数据实时入湖,直接基于原始数据实时分析;

    华为Cloud & AI产品与服务总裁侯金龙发表致辞

    (华为IT产品线副总裁、智能数据与存储领域总裁周跃峰发布华为智能数据解决方案)

    据周跃峰介绍,FusionData的智能连接部件ROMA,支持多数据源接入,支持消息和API统一管理、智能通道选择,名字本身就含有“条条大道通罗马”的深意;而智能数据处理部分包含分布式存储FusionStorage、GaussDB和大数据平台FusiongInsight,通过智能分布式存储的多协议融合技术,可以实现数据的智能处理;而智能数据使能部件DAYU,通过智能元数据感知和OneQuery Turbo技术构建数据与业务创新的桥梁,可以提升业务体验,让IT基础设施对业务支撑变得更加敏捷。

    2、以往数据计算要4小时,现在存算解耦,弹性伸缩,3倍资源,半小时完成计算。

    华为EBG中国区总裁蔡英华提到数字化时表示:“站在智能时代的入口,在坚持‘被集成’的基础上,华为企业业务通过‘无处不在的联接 数字平台 无所不及的智能’,致力于打造数字世界的底座。其中数字平台整合了包括云、大数据、AI、IoT等在内的各种新ICT技术,向上支持应用快速开发、灵活部署,使能各行业业务敏捷创新;向下通过无处不在的联接,做到云管端协同优化,真正实现物理世界的数字化。”

    本次华为发布的FusionData智能数据解决方案,就是过去多年服务政企客户需求和联合创新以及自研技术创新的集大成的系统。FusionData智能数据解决方案支持智能的数据全生命周期管理,从三个层面重新定义数据基础设施:

    其实FusionData对行业伙伴真正的魅力,在于对人工智能等应用的原生支持,GaussDB更是旗帜鲜明的提出了人工智能原生数据库的概念。那么GaussDB对人工智能的原生支持,和后天增加的智能化部件相比有什么独特的价值?华为IT产品线数据库产品总监黄涛在回答上述问题时表示:AI现在使用成本和对技能的要求有一些门槛,我们希望使用数据库的技术,让AI使用数据库一样简单的使用AI,把AI门槛降下来。GuassDB为什么叫AI-Native呢?那是因为GuassDB从诞生开始就是跟AI技术联合在一起,我认为数据库要从刚开始设计的时候,必须把AI技术融合到内核里面,我们叫AI-Native数据库。AI-Native数据库在深度学习等应用中不只有明显的效率优势,而且在解决方案的完整性上也有明显的优势。

    3、以往T 1分析,现在采用增量式分析,一次一小批持续分析。

    澳门金莎 12

    数据连接层面,智能数据连接部件ROMA支持多数据源接入、消息和API的统一管理、智能通道选择等技术实现智能全连接并加速数据流动,特别是支持1100多种应用和异构数据源接入,通过开放式数据接入框架可灵活接入第三方数据源;在数据处理层面,包含分布式存储FusionStorage、分布式数据库GaussDB和大数据平台FusionInsight等,通过多类型数据融合存储、融合分析引擎等技术实现从单一处理到智能融合处理,特别是通过存储与计算分离技术打破系统烟囱式建设,通过智能分布式存储的多协议融合技术实现一份数据同时支持数据库、大数据、AI等多种业务的分析需求;在数据使能层面,智能数据使能部件DAYU通过智能元数据感知和OneQuery Turbo技术构建数据处理与业务创新的桥梁,特别是通过AI技术自动化智能化生成全局统一的数据视图,实现多数据源、多类型数据的统一访问等。

    坚持开放 ,FusionData的未来需要更大的朋友圈

    应对二:数据融合分析,打通数据,减少数据搬家:

    华为EBG中国区总裁蔡英华发表致辞

    华为EBG中国区总裁蔡英华表示“站在智能时代的入口,在坚持‘被集成’的基础上,华为企业业务通过‘无处不在的联接 数字平台 无所不及的智能’,致力于打造数字世界的底座。”而这样一个数字世界的底座,向上支持应用快速开发、灵活部署,使能各行业业务敏捷创新;向下通过无处不在的联接,做到云管端协同优化,真正实现物理世界的数字化。

    在科技产业,一个产品在技术上领先固然重要,但如果想真正在应用上形成规模,一个成熟健全的生态是必不可少的。经过上文的介绍,我们可以看出,FusionData没有什么沉重的历史兼容性包袱,所以它可以轻装上阵利用后发优势来把握智能化的技术变革红利,所以FusionData未来最重要的事情就是最大做强朋友圈,用越来也成熟、健全的生态去拥抱行业伙伴。

    1、CarbonData应对多种类型数据格式统一存储,实现大数据&AI使用同一份数据。

    澳门金莎 13

    澳门金莎 14

    周跃峰对此回复说,华为在业务运营上首先要保证合规,其次会在生态建设上坚持开放的态度,现在华为的数据库产品可以与第三方的数据库互联互通,同时华为数据库架构也是可以解耦的,可以在客户原有的硬件软件基础上,能够进行生长,我们可以异构进行管理,这可以更大限度保护行业客户的既有资产。

    2、数据湖洞察通过联邦计算支持多种数据类型跨源分析。

    华为IT产品线副总裁、智能数据与存储领域总裁周跃峰

    (华为EBG中国区总裁蔡英华致辞)

    对于行业应用,成功的行业应用案例也弥足珍贵。我们应该感谢这个变革思维踊跃的伟大时代,因为对智能化的迫切需求,现在已经有招商银行等一批用户部署了FusionData,并且在效率、上线周期方面给出了令人满意的答卷,在招商银行的应用案例中,当管理数据容量提升十倍的前提下,AZ内故障恢复速度提升了30倍,TCO节省幅度高达40%,业务上线速度提升了10倍。

    应对三:以数据目录为中心,一站式数据运营,更易数据消费

    华为IT产品线副总裁、智能数据与存储领域总裁周跃峰,在提到数据应用的痛点时也表示:“各行各业在实现数据价值时面临数据接入难、分析难、消费难等挑战,亟待更智能的数据解决方案。华为智能数据解决方案FusionData,包含数据接入、数据处理、数据使能等关键部件,帮助客户打通全域数据连接、建立统一的数据平台、提升实时数据服务能力,拥抱行业数字化。”

    尽管FusionData为未来的“数据湖”世纪打下了技术底座基础,但“罗马不是一天建成的”,走向“数据湖”之上的数字经济与数字社会也需要经历一步一步的转型过程。而FusionData则是很好的新旧技术结合,截至目前,华为智能数据解决方案FusionData已经应用于全球60多个国家及地区,服务于1500多个客户,拥有500多家商业合作伙伴,并广泛应用于金融、运营商、政府、大企业等行业。

    澳门金莎 15

    1、以数据目录为中心,快速找到最合适的数据源。

    周跃峰发布FusionData那么,FusionData究竟可以解决哪些痛点呢?

    2019年6月6日,中国发放了首批5G商用牌照。专家认为,5G将以全新网络架构,数十倍于4G的峰值速率、毫秒级的传输时延和亿万级的连接能力,开启万物泛在互联、人机深度交互、智能引领变革的新征程。5G也将加深当前的大数据和“数据洪荒”困境,而面向“数据湖”的FusionData智能数据解决方案发布,恰逢5G商用时代的开始,无疑将成为“5G 大数据”的时代“地基”。

    一个成功的行业真实案例,其效果胜过千言万语。据周跃峰介绍,截至目前,华为智能数据解决方案FusionData已经应用于全球60多个国家及地区,服务于1500多个客户,拥有500多家商业合作伙伴,并广泛应用于金融、运营商、政府、大企业等行业。

    2、一站式数据运营,源头在哪,目的地在哪,数据血缘一目了然 。

    作为领先的智能数据解决方案,华为FusionData支持智能的数据全生命周期管理,从以下三个层面,重定义数据基础设施:

    智能世界的美好人人向往,但数据作为构成智能世界最基础的组成部分,应该被重新认知并且用新工具挖掘。就如同硅酸盐水泥、钢筋、框架结构等新发明,共同缔造了数百米摩天大楼的现代奇迹,我们也期待FusionData能够成为让数据产业不断向智能进化的催化剂。

    3、拖拽式开发,E2E数据链路编排监控,行业模型算子使治理更高效。

    • 引领多样性数据连接:

    周跃峰强调,华为FusinonData虽然具备数据处理全流程的能力,但华为希望提供一个合作的平台,让合作伙伴们能够发挥各自的技术特长,从行业应用、平台工具、标准组织和社区等多个维度来共同完善数据产业生态,释放新的数据价值。

    此外,通过在软硬件结合上做出更多努力,华为云智能数据湖具有超高性价比:

    智能数据连接部件ROMA支持多数据源接入、消息和API的统一管理、智能通道选择等技术实现智能全连接,加速数据流动,让应用与数据连接更高效。

    1、大数据和数据仓库服务全面支持鲲鹏芯片的自研基础设施,同等条件下性能提升20%,成本降低30%;

    1、多数据源接入:支持1100多种应用和异构数据源接入,通过开放式数据接入框架可灵活接入第三方数据源。

    2、华为云大数据 OBS垂直优化,同等配置情况下SparkSQL性能是客户自建集群的2倍以上。

    2、消息和API的统一管理:支持分布式消息和API的路由统一配置管理,轻松实现分布式消息和API服务的跨网跨域跨云集成,让数据自由流动。

    截至目前,华为云智能数据湖解决方案及服务广泛应用于金融、医学、物流、互联网、汽车、政府、大企业等行业。面向未来,华为云将与合作伙伴和客户携手创新,用智能数据湖方案帮助企业构建领先的数据基础平台,让企业用户更方便快捷的用好数据,掘金数字经济。

    3、智能通道选择:支持数据多通道传输,并且可根据数据特点智能选择传送通道,大幅提升数据接入效率。

    • 重定义智能数据处理:

    智能数据处理部件包含分布式存储FusionStorage、分布式数据库GaussDB和大数据平台FusionInsight等,通过多类型数据融合存储、融合分析引擎等技术实现从单一处理到智能融合处理,加速实现数据价值。

    1、多类型数据融合存储:通过存储与计算分离技术,打破系统烟囱式建设;通过智能分布式存储的多协议融合技术,实现一份数据同时支持数据库、大数据、AI等多种业务的分析需求,让融合数据分析成为可能。

    2、融合分析引擎:支持数据库、大数据、AI多引擎融合分析和多样性算力统一调度。通过统一架构,降低海量数据处理难度,实现极简分析。

    • 引领智能数据使能:

    智能数据使能部件DAYU通过智能元数据感知和OneQuery Turbo 技术构建数据处理与业务创新的桥梁,提升业务体验,让业务更敏捷。

    1、智能元数据感知:通过AI技术,自动感知和采集多个系统的元数据,并进行智能化分级分类,生成全局统一的数据视图,数据寻找秒级响应。

    2、OneQuery Turbo :提供统一的数据访问接口,实现多数据源、多类型数据的统一访问,简化数据加工流程,数据获取速度提升10倍以上。

    传说中,三皇五代时期的大禹治理花了13年时间,治理黄河洪水。老百姓在他的帮助下,过上了筑室而居的生活。

    今天,华为FusionData的使命,也是为了让企业不再对数据洪水束手无策,而是让海量数据变成滋养企业不断发展的资源!如果你对华为FusionData很有信心,就在文末点个“再看”吧!

    参考资料:

    维克托·迈尔-舍恩伯格《大数据时代》第一章

    本文由金莎娱乐发布于互联网,转载请注明出处:大额痛点消失不见,智能数据湖

    关键词:

上一篇:卖家如何,我做Amazon的最大秘密

下一篇:没有了