2021年，增强型数据分析和管理成主流趋势
阅读 0 · 发布日期 · admin2021年，全球经济环境变得更加复杂，新冠疫情依然严峻，世界贸易不稳定因素增加，国内产业升级严重受阻……好在我国拥有超大规模的市场潜力和雄厚的信息技术基础，可以有效应对多重变化。尤其在以增强型数据分析和数据管理为特征的新一轮技术驱动下，我国经济正在加速释放数字化发展潜力，以国内、国际双循环的方式逐步恢复经济秩序，让整体经济稳中向好。
过去，我们常说数据是企业的核心资产，中台是企业IT最强大的底层技术支撑能力。但其实，大多数人对数据管理的理解只停留在技术层面，如何从为业务赋能的角度看待数智化趋势？Gartner研究总监孙鑫（Julian Sun）进行了重点分析，并总结出十大最新趋势。
▲Gartner研究总监孙鑫
一、数据分析和管理正变得更智能、更负责和可扩展
尽管，2020年是极具特殊意义的一年，疫情的意外来袭对很多企业的数据管理战略造成了重大影响，但绝大多数高管依然认为数据分析和AI是最有潜力改变游戏规则的核心能力，如果没有利用数据分析技术推进企业的数字化转型战略，企业将很难立足，不能在快速市场变化中做出正确决策。
根据Gartner调查结果显示，在2020年企业数字化转型征程中，被嵌入最多的技术是数据分析平台。并且，从近两年企业业务发展现状来看，把数据分析能力嵌入到业务平台的企业，盈利能力得到了大幅增长，从2018年的57%增长到2020年的70%。预计，到2025年，50%的企业将通过设计人工智能（AI）编排平台来实现AI运营化。
最重要的是，很多数据分析平台不只关注自适应、联邦机器学习等算法提升，还要想方设法让数据管理战略变得更有韧性、更有创意、对数据的依赖性更小。秉承AI向善理念，企业在使用AI时，会选择符合道德、能够复制，以及更透明和安全的方式。为了让数据管理平台更具可扩展性，企业更注重提升AI的稳健性、可访问性、生产效率、部署速度和运营质量。
二、组装式数据分析与企业的洞察力和行动能力密切相关
组装式的数据分析和中台概念密切相关，可以帮助企业在重大社会性事件面前做出快速反应。问题是，如何从零开始，自建组装式数据分析能力？
Gartner认为，首先企业要基于容器或者是微服务架构，以及数据编织概念，对数据管理平台或者管理工具进行统一纳管。然后，把现有资产进行重新组合，让应用变得更灵活、更具模块化和可重用特征。同时，要利用低代码和无代码的技术组件将各种能力组合起来，帮助企业建立自适应的决策支撑平台。换言之，组装式数据分析不再是一个简单的业务行为，而是一种能够去注入分析能力的决策导向型业务，要和企业的洞察力和行动力关联起来。
当然，组装式数据分析能力平台不是一刀切工程，和数字化转型一样，也要循序渐进，分阶段搭建。不同企业，由于业务状态和规模不同，存在很多差异性。比如：有部分企业会通过云的形式让业务发布实现共享化和模块化，这也比较容易理解，因为云原生架构本身就具备模块化业务整合和拆分能力。
总之，企业必须要重视组装式数据分析能力，以适合自己的方式来改善现有的决策。现如今，大部分企业都在向这一方向努力。Gartner预测，到2023年，60%的企业机构将通过组装三种甚至更多种的分析解决方案来构建决策导向的应用，利用分析技术将洞察与行动关联。
三、数据编织是IT基础架构能力的基础
数据编织概念由Gartner提出，是指利用我们现有的、可发现、可推断的元数据资产进行连续的分析，以支持设计、部署、利用、集成和可重用的数据对象，但我们并不需要考虑太多平台部署因素和架构方法。因为应用本身包括了我们对于数据访问、数据集成、数据质量、知识图谱的使用能力，甚至能利用到我们现在数据的用量，进行一些自动协调。
另外，在数据编织概念中，并不意味着企业一定要去购买某一个工具，而是一个设计模式，帮助企业从传统收集数据的形式渐渐向更灵活的方式转换，变成连接型数据。过去很多年，企业的数据整合和管理通常采用收集的形式，把所有的数据全部存在一个地方，这也是为什么我们经常会谈大数据和数据湖的最根本原因。
至于，数据编织为什么如此重要？是因为数据集成和数据准备，是很多企业希望在2022年之前实现的三大自动化技术之一。比如：通过对语义层的优化设计，或者通过AI机器学习方法和知识图谱，来推动数据集和数据管理的自动化。尤其是存在数据孤岛的企业，数据编织可以解决数据资产多样性、规模分布化和复杂程度高等问题，让企业更好地利用数据中心、数据湖以及数据仓库中的数据。
四、企业的关注点从大数据转向小而宽的数据
对于大多数企业而言，无论规模大、小，对数据隐私保护程度高或者低，都希望采用一种更智能、更负责和可拓展的方式方法，来支持复杂和稀缺数据用例，所以，嵌入人工智能模型成为最佳选择。
Gartner预测，到2023年，在拥有20名以上数据科学家的组织中，将有60%的组织将制定关于数据和人工智能的道德使用准则。因为，在大数据时代，很多企业在做数据分析的时候，会潜移默化地使用到AI技术，而这种能力一旦提升，可能会带来道德或是隐私问题。所以，企业会从数据保护层面约束数据科学家的行为。
问题是，数据的使用一旦受到限制，人工智能的优势就很难凸显。如果不那么过分关注大数据，而是把目光放到小而宽的数据，利用合成数据、主动学习、自适应学习技术，去拓展人工智能的用例，则会使人工智能变得更智能、更强大。
五、XOps技术编排可以帮助企业更好地建立自适应系统，进而实现规模化运营
如今，企业数字化转型已经有一段时间了，很多企业也购买了很多工具，有了一系列的解决方案，但当企业在购买A、B、C、D等产品的时候，很自然地产生了“科技负债”，不知道如何优化自己的技术栈，逐渐失去了运维能力。
尽管，数据分析和AI技术为企业业务提升带来了显著变化，但在运维上却没有跟上实践多样性步伐，于是造成了市场的混乱，而基于DataOps、ModelOps以及大家非常熟悉的DevOps实践，我们可以找到在数据分析领域的一些变化， Gartner把这一现象叫做XOps。
XOps的最终方向是利用DevOps等最佳实践去实现效率提升和规模经济的增长，并确保应用的可靠性、可重用性，尽量减少技术和流程的重复，从而实现自动化。建议有条件的企业主动去创建一个整合的XOps的环境，能融合不同的功能、团队和流程，以支持数据处理、模型训练、模型管理、模型监控等等，从而实现基于AI系统的持续交付，这也是把AI推向生产环境的一个重要举措。
数据显示，虽然2020年通过设计人工智能（AI）编排平台来实现AI运营化的企业还不到10%，但到2025年这一比例将提升到50%。
六、决策智能变得更工程化
通常，企业要做一个决策，大概要经历五个步骤，即抓取数据、解释数据、设计模型、模型场景化和执行，而决策智能可以帮助企业在各种各样的背景下框定广泛的决策技术。决策智能提供了一个框架，将多种传统和先进技术结合在一起，从而设计、建模、调整、执行、监控和调整决策模型。决策智能工程化要比决策智能更胜一筹，不仅适用于单个决策，还适用于决策序列，可以将其归入业务流程，甚至是新兴的决策网络。
随着决策智能化水平的提升，决策智能工程化以后，可以通过建模和优化各个要素之间的相互作用，去监测对业务的影响，再通过不断学习和调整，用以支持改进单独以及整体的决策，让企业收益最大化。建议企业使用这种决策智能工程化的框架，从零开始去沉淀一些可复用或者重用的决策模块，从而帮助企业在特殊状况下做出快速决策。
七、数据分析和管理已成为企业的核心业务能力
过去，数据分析多以IT为主导，用来支持业务成果转化。现在，随着数据工具的简化和易用，业务应用人员也在通过数据分析来推动自己的行为。尤其随着企业数字化转型的加快，由业务主导的数据分析正变得越来越广泛，数据分析项目已涉及到数据素养、数据资产化、智能化的数据共享和数据治理等等。预计，到2022年，超过75%的中心化组织分析项目将被与本地域数据和分析领导者共享权力的混合组织模式所取代。
八、图技术正在联通万物
很多企业可能还没有意识到，图已经变成了现代企业的基本业务能力，他们正在使用一些数据科学、BI的产品来支撑业务发展。
当然，本文提到的图技术，是以数据节点以及合编的形式展现，而不是传统意义上的表格、行或者列，或是数据库。在图技术系统中，允许我们在不同的数据中找到“人、地点、事物、事件、位置”等之间的关系，并且以更直观的的关系进行建模、捕捉业务知识，使用户在进行关系查询和回答问题时变得更容易。
为什么说图技术会成为主流趋势呢？是因为把图作为现代化数据分析的基础，可以增加业务系统与用户之间的理解和协作，并且能帮助企业发现更深一层的洞察力。因为，复杂的业务问题是需要结合前因后果才能意识到，就像自然语言问答，要结合平时喜好，才会有准确答案。对于企业而言，只有了解组织、人员、交易等多个实体之间的联系，才能把整个企业级的图数据库建立起来。另外，图技术是创建更丰富的语意模型的技术，它可以增强分析的模型，提升对话的丰富性。对于AI场景来说，图技术可以提高算法层面的能力，帮助企业构建出可解释型的AI。
九、边缘数据分析变得非常普遍
现在，数据分析越来越往边缘、物这一端靠拢，要能够支持传统的数据中心和云环境之外的环境，这都是边缘计算在背后推动的结果。因为，对于企业来说，边缘计算可以使数据管理和分析的方式、地点变得更加灵活。
从支持实时事件分析到实现边缘“物”的自主行为，再到数据分析和人工智能的结合，多样化的用例带动了人们对于数据分析以及边缘功能探索的兴趣。未来，边缘计算对于业务功能、平台、技术的影响远远超过集中式环境，会让数据分析变得更加普遍，甚至会影响到管理层以及管理人员的职责。预计到2023年，将存在超过50%的数据分析和管理职能属于高管权限范围之内，其中将包括在这种边缘环境中创建管理和分析数据的能力。
十、增强型消费者的崛起带来颠覆式影响
二十年前，企业要想进行大数据分析，无非是购买更大的数据库、选择更高效的BI工具。但是今天，企业更需要的是提高增强型消费者的能力，让越来越多的用户可以感受到和企业相关的一些信息。这需要把数据分析的门槛降低，不只获得报告和报表，还要用绘画式的、嵌入式的、自然语言分析，更好地感知消费者，并且给IT提供反馈信息。
从最基础基于语义层的平台构建，到可视化平台的探索，再到业务导向型的诊断、非场景化分析，数据分析能力正在逐步普及。预计未来五年内，用户会进一步获得和他情景相关的能力。比如：训练一个系统，让用户能够去以问题的形式做一些数据分析，甚至是可以做更深度的分析，这样就可以有效提高数据分析的普及率。
上述十大趋势说明，增强型数据分析和管理将成为企业数字化转型的核心推动力，而对于广大数据服务提供商来说，机遇和挑战并存。一方面，企业能够利用增强型的能力，来实现业务能力的最大自动化，进而帮助用户推进数字化方案的落地；另一方面，企业要改变过去拿来主义的商业模式，尽量以自研的方式去开发数据分析能力，只有把服务和技术能力结合起来，才能让服务产品化，进而打造出差异化的竞争优势。
