越来越多的保险公司开始对大数据技术和非结构化数据环境进行投资，但是这些项目依然还处于“创新”的范畴，这意味着这些项目的投资回报率还无法确定。即使保险公司的高管们心中并没有一个明确的目标或者详实的应用案例，他们依然对大数据技术的前景感到非常乐观，认为时间将会证明该技术的价值。但是，所有大规模技术创新，都需要资本市场的支持才能进入健康的发展周期，因此，切实有效的落地实践宜早不宜迟。

所有大数据技术的目标，都是消化处理结构化和非结构化的数据，生成新的数据环境类型。实际上，大多数保险公司都是在利用大数据技术消化他们核心系统中的结构化数据。“消化数据”的概念其实并不简单，关系型数据库中复杂的数据映射技术在大数据中依然必不可少。保险公司如果想让以创新为焦点的大数据计划成长为公司内部长久有价值的基础设施，必须经历以下三个阶段。

第一阶段：数据存储

数据消化的第一级其实就是扁平化的数据存储。这意味着所有的数据——不管是非结构化的文件还是关系数据库中的冗余档案——都要被迁移到一个轻微调整甚至没有调整过的非结构化数据环境中去。如果大数据系统已经就位，以上步骤可以快速完成，特别是数据集较少的时候。但是，这一阶段，除了分布式存储数据，大数据技术并没有提供太多的价值。

一些拥有海量数据的组织和企业，他们的数据存档成本很高。通过利用分布式系统的基础架构Hadoop，这些组织可以大幅度降低数据存档成本。不过分布式存储并不是保险业目前最关心的，因为保险公司同时还在尝试物联网、车联网、无人机以及其他会产生大量数据的技术。但是，分布式存储的解决方案还是让保险公司在懂得如何充分利用数据前，有了一个可以收集和存储所有数据的方法。

第二阶段：数据库重塑

大数据系统的第二级，是数据库的交叉覆盖结构。它允许保险公司从不同的数据集中选取和使用特定数据。这实际上重塑了传统的企业数据库，至少对于终端用户的体验来说是这样的。

使用非结构化数据环境的一个优点是存储于该环境中的数据无需全部标准化。很多企业数据库项目失败或者超预算，就是因为构建一个标准化的数据模型实在是太复杂了，保险公司需要将所有系统和所有业务的数据都纳入建模方案中去。

但是，这并不是说数据标准化就没用了。在某些场景下，通过标准化数据，可以提高数据处理的效率。比如当保险公司需要处理两个来源的数据集时，如果这两个数据集中都有和“客户”标签相关的信息，某种形式的标准化数据模型可以在一个框架下对这两个数据集进行分析。不过和关系数据库不同，这种模型可以在数据获取后再进行定义，而且定义可以只用几个关键的因素。所以本质上说，在非结构化数据环境中，标准化步骤只是被推迟和精简了。

第三阶段：新的观点和能力

大数据系统的第三级，是将新的数据类型和可视化数据覆盖到非结构化数据环境，从而获取新的信息和观点，这些信息和观点是无法用传统数据库技术发掘的。比如说，保险公司建立一个新的数据模型，用复杂的非结构化数据（如车联网相关的数据报告或者无人机获取的图像信息等）覆盖到保险公司的理赔数据上，有可能发现潜在的新风险。

此外，因为在传统数据库中，大量的因子都是被初始标准模型所预设的，由此生成的数据报告会不够全面。大数据系统再加上可视化技术，可以对大量的数据集进行扫描检查，从而能够识别出所有的异常数据和因子。

价值证明，越早越好

非结构化数据环境的最大优点和价值之一在于，保险公司无需在部署该技术的早期阶段就将自己所有的历史数据都迁移到新系统，他们可以循序渐进，在项目成熟后再完成数据的完整迁移。

在传统的企业数据库中，初期建模时如果忽略了一些数据和因素，可能会导致后期系统运作的失效，甚至会产生严重后果。所以该类型数据库的容错率较低。

而在非结构化数据环境中，则不会这样。这意味着保险公司在利用Hadoop或者其他分布式存储数据库时，可以先利用一些数据源进行试验，积累经验和专业知识，基础打好后，再不断地加入和覆盖新的数据到该环境中。

事实上，不管是创业公司为了获得持续的融资来开发大数据技术，还是传统保险公司为了获得足额的预算来进行大数据部署，开发团队应该尽快达到上述的第三阶段。这样不仅能让商业用户尽早的验证模式的可行性和数据的可靠性，还能在实践中不断发掘大数据技术新的价值。

【转自：作者张翀 互联网保观  如有侵权，请联系删除】