如何交付您的数据策略
2022年1月11日 保罗·休伊特
Menu
×
金融服务业一直依赖于数据和准确的记录保存. 在本文中(基于我在数据管理峰会上的主题演讲), 我将研究最新的数据趋势，以及它们如何影响(或即将影响)像贵公司这样的金融机构.
十年前，前谷歌首席执行官埃里克·施密特评论道:“我们每两天生产的内容相当于20世纪20年代全人类生产的内容,2003年之前的1000年.“今天，(主要是非结构化)数据创建的速度要大得多.
相应的, 管理每天产生的数百万字节的大数据, 我们需要更好的工具——尤其是在自动化和云计算方面——因为有太多的数据需要手动处理. 自动化还涉及人工智能(AI)和机器学习, 哪些可以帮助组织基于数据自动化智能决策.
COVID-19一直是社会变革的重要贡献者, 这一发展也影响了数据. 我们对疫情的应对表明，远程工作的规模在十年前是不可想象的. 现在我们有了网络, 带宽, 工具和能力使不同的劳动力成为一种好的力量.
对于许多在办公室工作的人来说，使用虚拟办公并没有太大改变他们日常工作的基本方式. 无论如何，我们的生活都是数字化的，每天产生越来越多的数据. 随着我们在网络上花费的时间越来越多，数据隐私成为当务之急. 隐私和安全必须无缝地嵌入到我们所有的数据工具和技术中. 也, 数据日益增长的重要性和可见性促使监管机构给予更多关注.
随着数据量的增加, 不断升级的技术进步正在推动组织中新的和更广泛的变革.
在这里, we're not just dealing with vast and monolithic datasets; there's a hoard of smaller and more detailed sources of information in so-called "small and wide" datasets. 再一次。, 这推动了灵活工具和设计的发展，以应对大型单片数据集和小型数据集, 宽的.
掌握加速变化, 我们需要自动化数据管理本身, 部署可以帮助我们大规模管理数据的元数据工具.g.、数据编目、数据沿袭等.).
事实上，我们需要尽可能地实现自动化. 有些元素仍然很难操作，比如人工智能, 尤其是机器学习和模型管理. 虽然有很多先进的工具, 这仍然不是这个过程中最容易完全自动化的部分. 因此，这种情况推动了对标准化和灵活性的需求.
数据应该驱动工具，而不是反过来. 例如, 在21世纪初, 数据行业处理的是高度结构化的SQL数据库, 这给我们收集数据的方式带来了一定的严格性. 我们的方法是, “我们摄取或创建的数据必须满足以下需求和要求, 按照这个预定义的模式."
组织不再决定数据的结构——数据本身决定了形式. 所以现在, 我们接收到大量非结构化数据, 我们需要弄清楚如何处理并决定如何从中提取信息和价值. 因此，数据工具正变得更加灵活，以帮助我们实现这一目标.
数据无处不在. 似乎几乎所有东西都能产生这种东西——你的门铃, 你的自行车, 甚至你的跑鞋.
所有这些数据的处理现在几乎可以在任何地方进行. 有了智能设备, 物联网的, 边网络, 容器和api, 越来越多地, 在数据所在的位置处理数据更为实际.
因此，我们不应该将数据工具绑定到特定位置. 几年前, 这导致了各种容器相关技术的发展，以便用户可以在任何地方处理任何内容, 相对容易. 今天, 这促使我们使用结构——分布式的、可互操作的工具和服务集合——而不是一个特定的工具或集群.
组织出于各种不同的原因进行数据管理转换.
越来越多地 监管要求 比如GDPR正在推动数据系统的改进, 如果不能正确管理数据，将受到严重的惩罚.
生产力 ——旨在让数据发挥作用——是另一个重要的驱动因素. 超过60% 大量的企业数据没有被用于分析, 在潜在的和实际的业务洞察力之间制造差距. 在许多机器学习的概念证明中, 花在处理正确数据上的时间远远多于做有价值的工作的时间. So, 我们可以做的任何事情来提高数据生产力, 无论是通过改善数据湖还是增强基于人工智能的数据交互, 会有助于盈利吗.
治理 是否有一个日益增长的兴趣领域. 确保我们掌握好数据是至关重要的. 例如, 对于组织来说，备份数据并能够重新创建过去任何时候的数据状态变得至关重要. 这些行动导致了我们的发展，如最新的ISO/ANSI SQL:2016数据库标准或亚马逊的量子分类账数据库(QLDB)。, 这几乎给了你“数据时间旅行”的能力.
金融服务业更加重视人工智能和机器学习治理, 确保公正的, 非歧视和公平的人工智能. 监管机构正在顺应这一趋势(立法正在进行中).
传统技术 而它的替代者是变革的最终驱动力. 仍然有大量的传统技术存在, 尤其是在金融服务业. 大型机, 例如(不是所有的都是遗产, 当然), 通常使用多年未更新的工具和体系结构. 事实上, 您需要严格且一致的流程和策略来处理遗留数据, 确保QA被构建到你的过程中. 任何新的结构和架构都必须为将来的扩展而设计.
让我们来看看金融机构出现的数据策略，以及推动金融数据空间演变的数据策略. Some are generic; some are more specific to the financial industry — such as strategies for compliance with new data regulations.
大多数组织将遵循类似的数据成熟度、分析和人工智能路径:
在初始数据管理阶段, 该组织应将其数据整合到一个地方. 与多个不同的数据源相比，连接和使用一个位置要便宜得多. 然后，团队可以使用自动化工具在持续的基础上管理数据.
在适当的时候，会有一个数据民主化的过程. 组织中任何需要这些数据的人都应该能够在他们选择的工具中访问和使用这些数据, 不管是Excel, 一个可视化包或其他东西. 轻松访问还可以通过Power BI等软件包实现自助数据分析和可视化, Cognos和Tableau.
下一步是自助服务(可视化)分析. 成功与否取决于可视化包所附加的数据模型的质量. 获得正确的数据模型(或数据环境)对于成功推出自助服务可视化分析至关重要. 换句话说, 如果用户要创建仪表板, 他们期望底层数据模型是正确的, 容易理解和“做它写在锡.“如果情况并非如此(e.g., 数据不正确或标注不当), 用户信任将会失去，而恢复失去的信任是一个漫长的过程.
最后, 数据基础对于实现人工智能和机器学习至关重要, 自助服务可视化分析也是如此. 简单地说, 如果组织不能使用正确的、实质性的底层数据模型创建可靠的自助服务模型, 那么构建企业范围内的人工智能和机器学习能力的机会就很小.
数据结构是一个由统一体系结构组成的单一环境，其中包含运行在该体系结构之上的服务或技术. 来自许多不同提供商的堆栈现在都将自己描述为数据结构. 但基本的想法是尝试和集中的事情，使他们更容易管理和管理, 而且你可以复制更少不必要的服务.
目标是最大化数据价值, 尽可能缩小知识差距，加速正在进行的数字化转型.
我们如何交付这种数据转换? 组织正在外包越来越多的数据基础设施和结构. 十年前, 转向Azure, AWS或谷歌云平台被视为最先进的创新. 现在, 云平台只是另一种服务, 基础设施和结构可以操作化, 商品化和外包, 很容易.
另一方面，产生的洞察力和知识产权(IP)的数量也在增加. 公司对这些知识的控制比过去严格得多.
这是两种交付方式. 组织对数据洞察力保持更严格的控制，但乐于将其数据基础设施外包.
数据管理交付的结构有三个关键组成部分:
IT交付 是我们大多数人都很熟悉的领域吗. 越来越多的人开始转向敏捷模型，并结合DevOps流程.
数据和模型交付 主要关注你的分析模型——一个正在迅速成熟的领域. 新的问题是关于你如何管理和交付数据、人工智能和机器学习策略. 例如, 监管机构正在加大对数据版本控制的压力, 因此，您可以重现机器学习之前的训练结果，并审核任何数据更改. 也, 你需要能够解释你是如何得出你的机器学习模型的，以及你是否对它们进行了歧视偏见等测试.
法规和遵从性交付 也在迅速发展. 2022年将出台一系列新法规，包括新的欧盟法规. 因此，以合规的方式管理数据隐私和安全性以及可审计性是至关重要的.
我们可以将所有这些与目标操作模型联系在一起，该模型考虑:
人 需要更广泛的技能. 仅仅说自己是DevOps专家已经不够了. 你需要针对不同司法管辖区和条件下的监管问题进行培训. 并了解身份验证和授权需求是否正确, 并敏锐地意识到司法问题等等.
流程 必须全盘考虑，而不是孤立地考虑. So, 如果你有一个数据分析交付项目, 你必须超越模型, 准确性和混淆矩阵到各种IT, 法规和遵从性方面. 我相信你也知道, 如果没有大量的遵从性检查和围绕数据治理的问题，您就无法交付涉及消费者数据的分析项目. 您应该将这些方面考虑到整个项目中.
技术 转型的重点应该是日益商品化. 组织需要专注于增加最多业务价值的技术，并将其他一切外包出去. 探索如何廉价而有效地外包元素, 并确保内部和外包组件之间的接口是无缝和安全的.
治理 是至关重要的，失败的惩罚正在增加. 需要关注的关键领域包括数据质量评估、编目、管理、沿袭等等.
简而言之, 成功的现代数据管理依赖于跨更广泛的学科的集成.
不变的主题是，将会有变化，而且是很多变化.
要了解有关最新数据管理方法的更多信息， 与美高梅网投取得联系 继续讨论.
