数据中台建造从数据中台的认知开端
发布时间:2021-07-24 08:04:38
来源:zoty中欧体育全站

  数据中台的概念由来已久,从技能产品构成上来讲,比方数仓、大数据中间件等产品组件相对齐备。可是咱们认为仍然不能把数据中台建造作为一个技能渠道的项目来施行。金融组织在数字化转型的进程中树立数据中台,有必要从战略的高度、安排的保证及认知的更高层面来做规划。在战略规划的辅导下,树立一套可继续运转的、自服务的、端到端的数据中台建造体系,然后加快金融组织全面数字化转型的进程。

  企业数字化转型,数据中台确实是数字化转型的试验田,所以数据中台掀起了一股热潮;可是因为对数据中台建造的认知不行,着重数字化转型,可是疏忽了数据中台的价值,以及数字财物的办理、运用等等。导致数据中台最终是一个技能渠道的出现;价值就无法最大化。本文将从数据中台的价值表现、必备的中心才干来对数据中台建造做一个简略的认知。

  这是一张叙述数据中台价值表现比较通用的图;描绘了数据和事务之间的一个闭环进程,差异于以往数据办理始于数据总算数据的一个自闭环,导致数据办理困难的局势。数据中台的建造,为事务数据办理打开了一扇门。

  因为咱们一般是与金融组织的科技部分交流,在技能人员的眼中,往往把数据中台了解为一个技能渠道、大数据渠道。其实这是不对的,这儿咱们有必要着重,数据中台的中心是数据服务的才干,服务方针是事务,所以有必要结合实际的事务场景,比方:精准营销、智能风控经过服务的方法直接赋能事务,数据中台面向的不仅仅是技能人员,更多的是事务部分。无论是由科技部分建造数据中台,仍是运营部分建造数据中台,都有必要共同数据中台价值观:数据是一种财物。

  数据中台的任务,是赋予数据财物价值变现的才干,无论是经过事务赋能的方法隐性变现,仍是经过数据服务揭露买卖的直接变现。它们都需求一个很重要的根底条件“数据财物化”。

  数据中台作为金融组织各事务体系的数据服务供给方,经过自身的数据处理才干以及事务对数据的不断供应(事务数据化进程),构成一套继续运转的、不断完善的数据财物体系(数据财物化进程)。当金融组织在面对事务多元化应战,需求构建新的前台运用时,数据中台可以快速的供给数据服务(财物服务化进程),活络的呼应金融组织多元化事务立异(服务事务化进程),使金融组织在金融交融立异的年代下,继续坚持高竞争力。

  实际中,因为对数据中台的认知不行全面,导致数据中台的落地困难重重,现在数据中台的建造往往是技能组件的堆积,是传统数据仓库的改版。结合以往咱们在数据范畴耕耘多年的经历,咱们认为,数据中台有必要具有“盘”、“规”、“整”、“用”4个根本中心才干。

  咱们说到“盘”,就很简略想到“盘点”一词,没错,咱们要说的便是“数据盘点”那点事。何为“数据盘点”?所谓“数据盘点”,咱们类比“财物盘点”、“库存盘点”来讲,便是把数据家底拿出来亮一亮,看一看咱们企业在运营和办理活动中,积累了哪些数据,对咱们的整个数据盘面、数据链路有个全体的了解。方才咱们“盘”的仍是内部数据,实际上咱们还需求盘一盘外部数据,即咱们在运营活动中,需求搜集的外部数据,现已采集了哪些外部数据。

  现在咱们清楚了“盘”的规模,即金融企业在运营、办理活动中沉积下来的数据资源以及在运营活动中所需求的外部数据。咱们现已知道了咱们需求了解的数据根本面,这是不是意味够了呢?当然不是,因为一些客观原因,在科技建造的进程中构成数据体系烟囱式的树立,一个个的数据孤岛已然构成,数据中台建造的一大方针便是消除数据孤岛,打通金融企业数据链路。所以,数据盘点不能仅仅停留在惯例的“盘点”层面,而是要经过必定的技能手法,整合金融企业内部烟囱树立的数据体系,会聚内外部数据资源,盘活整个数据盘面,让数据像水、电、气相同流转起来,更好的服务于金融企业运营及办理活动。

  因而,“盘”,讲的是盘点,但更重要的是“盘点”完结,对数据根本面有了认知后的数据整合、会聚,即“盘活”。

  数据整合、会聚的技能完成现在现已很老练,不做赘述;在数据整合的办法上,其实无外乎两种方法,依据ID(身份)的整合以及依据数据主题的整合。

  讲数据的,一般把书类比为石油,“规”就适当所以石油提纯的一个进程,那么数据中台的“规”便是对数据提纯的一个进程,即“数据财物化”进程。咱们知道石油提纯有一系列的标准体系,那么数据财物化也相同需求树立齐备的数据财物体系。金融组织数据财物体系建造有必要环绕事务价值,从推进事务数据向数据财物转化的视点来构建。

  传统的数字化建造往往限制在单个事务单元,忽视了数据多事务相关的特点,缺少对数据的深度了解。数据中台有必要连通全域数据,经过共同的数据标准,构建标准的、严密结合事务的、可扩展的数据标签体系。

  数据中台建造的中心是数据,数据中台办理的中心也是数据,数据中台运用的中心仍是数据。数据关于金融企业如此重要,那么数据中台建造进程中,咱们依托什么样的数据体系来构建咱们的数据中台?那么数据中台的数据建造体系应该是什么样的,这些都是需求咱们有一个根本认知的。

  贴源层:这个姓名不知道是哪位长辈取的,望文生义,很形象,和源数据坚持共同;那么他的作用,关于咱们技能部分来说仍是很重要的,浅显了解便是“甩锅”,关于这一点,咱们可以细品……

  主题层:金融企业常用的十大数据主题,对应的便是数据体系中这个层面,这儿不多赘述,这一层对应的也是数据整合、会聚的范畴。

  标签层:即数据方针建模层。咱们讲数据整合方法时,把依据ID(身份)的整合放到了一边,那么在这儿,咱们便是依据 ID 把各主题、事务进程的同一方针跨主题、跨事务板块进行打通,构成方针的全域级标签体系,以便利对数据的深度剖析、价值发掘、灵敏运用。

  运用层:依照金融企业特定的事务场景,从标签层、主题层抽取数据,面向事务进行加工特定的数据,认为事务供给端到端的数据服务。当然,有些特定的事务场景需求统筹性能需求、紧迫事物需求,也或许直接从贴源层抓取数据直接服务于特定的事务场景。真实做到在对事务端到端数据服务一起,统筹数据中台的灵敏性、可用性和稳定性。

  数据标签体系建造,一来可以让数据可读,即数据开发者和数据运用者对数据的认知共同,更便利端到端的数据运用;二来经过数据标签目录将标签安排化、结构化,以一种更柔性的方法来习惯未来多元化事务场景对数据运用的诉求。

  以上是一个金融组织比较常见的客户标签;数据中台的数据是不断的在被事务滋补,在数据中台的运营进程中,结合上图咱们不难想象到,标签数据不是原封不动的,它在被事务滋补的一起,也需求不断的调整(参数、方针、特点、特征等),以更好的反哺事务,不断互补,让数据中台为事务供给更有价值的数据服务。所以,咱们总结整个标签建造的进程大致分为以下几步:

  Step 2、拟定标签目录结构:依据事务需求,定制标签体系结构,准则上依照三层目录分层(具体状况具体对待),而且逐渐填充标签内容。

  Step 3、整合可用数据资源:经过方针ID及ID-ID的映射联系,整合和方针相关的事务数据资源,如:账户数据、买卖数据、行为数据、买卖数据、危险数据、交际数据等。

  Step 4、构建标签模型:结合事务需求及事务人员的经历,对数据进行建模,进一步发掘、完善标签。

  Step 6、标签优化:经过事务运营查验标签及权重分配的合理性,优化标签体系,一起经过事务的滋补,丰厚、完善标签体系,进一步反哺事务运营。

  整个标签层的建造中,咱们要秉着以数据价值为导向,尊重数据可行性、事务可行性,束缚、标准整个建造进程,表现出数据中台的价值魅力。

  “整”,汉语对整的解说十分多,《后汉书·张衡传》中有云“整法度”,即整理法度,所以整字,有整理、整治、办理等意思,在这儿,咱们取的也是“整”字,整理、整治、办理之义。

  数据办理是数据财物办理中必不可少的一部分。数据办理鼓起于上世纪90年代,可是纵观我国整个开展史,每一次朝代的替换,都是一次数据办理的进程,最近的,清政府入关,“留头不留发、留发不留头”,这便是一场数据办理。再往前,最早的,秦灭六国,始皇帝共同度量衡、焚书坑儒,车同轨、书同文是我国历史上最为完全的一次数据办理。因而,咱们我国人关于数据办理的概念历来不生疏。

  数据办理是一个持久战,是一个继续性的作业;咱们需求依据自身所在的现状,来拟定近期、中期、长时间的战略方案,在全体战略规划中,采纳急用先行。

  了解近期以及中长时间在事务和技能上的战略及方针,特别是与数据办理相关的信息;经过访谈、调研等方法,在内部营建数据办理的气氛、人相关人员在数据办理方针及价值方面到达遍及共同。

  金融企业的数据标准一般以业界标准为根底,如国家标准、监管组织(如国家统计局、我国人民银行、工信部)拟定的标准,结合自身实际状况对数据进行标准化,一般会包含分类、格局、编码规矩、字典值等内容。杰出的数据标准体系有助于金融企业数据的同享、交互和运用,可以削减不同体系间数据转化的作业。数据标准的拟定,要习惯事务和技能的开展要求,优先处理遍及的、急需的问题。数据标准由事务、技能、权限等内容构成:

  事务:清晰所属的事务主题以及事务概念,包含事务运用上的规矩以及标准的相关来历等。关于代码类标准,还会进一步清晰编码规矩以及相关的代码内容,以到达界说共同、口径共同、称号共同、参照共同以及来历共同的意图,然后构成一套共同、标准、敞开和同享的事务标准数据。

  技能:描绘数据类型、数据格局、数据长度以及来历体系等技能特点,然后可以对信息体系的建造和运用供给辅导和束缚。

  权限:清晰数据标准的所有者、办理人员、运用部分等内容,然后使数据标准的办理和维护作业有清晰的职责主体,以保证数据标准可以继续的进行更新和改善。

  因而,数据标准的拟定应从事务数据为起点。经过具体的数据调研、访谈、规划、评定等标准界说流。;数据标准的拟定需以“按部就班、不断完善”为准则,支撑完好的数据标准创立进程,保证每一个数据标准对应企业的数据需求,做到数据标准有理有据。

  数据质量办理是金融企业数据办理的有机组成部分。高质量的数据是金融企业进行剖析决议计划、事务开展规划的重要根底,只要树立完好的数据质量体系,才干有用进步银行数据全体质量,然后更好的为客户服务,供给更为精准的决议计划剖析数据。

  从技能层面上,应该完好全面的界说数据质量的评价维度,包含完好性、时效性等,依照已界说的维度,在体系建造的各个阶段都应该依据标准进行数据质量检测和标准,及时进行办理,防止过后的清洗作业。

  数据质量问题会发生在各个阶段,因而需求清晰各个阶段的数据质量办理流程。例如,在需求和规划阶段就需求清晰数据质量的规矩界说,然后辅导数据结构和程序逻辑的规划;在开发和测验阶段则需求对前面说到的规矩进行验证,保证相应的规矩可以收效;最终在投产后要有相应的检查,然后将数据质量问题尽或许消除在萌发状况。数据质量办理办法,宜选用操控增量、消除存量的战略,有用操控增量、不断消除。

  近年来,欧盟推出了 《通用数据维护法令》(General Data Protection Regulation,简称GDPR)。我国监管层面不断完善数据办理作业,咱们不得不将数据安全归入数据办理的范畴。特别金融企业从数据获取到数据存储,很多涉及到客户敏感数据,现在主要从数据获取安全、数据存储安全、数据传输安全、数据运用安全层面,经过必定的技能和规章制度来尽或许进步数据安全,比方现在的数字签名、智能合约、物理阻隔、通道阻隔等技能的运用,安全性会不断进步,但想要完全消除安全隐患或许还需求很长的一段路要走。数据安全将是金融企业数据办理的一个要点,也是金融企业的科技从业人员即将面对和处理的一大难题。

  “用”,即运用、运用。前面咱们屡次说到,数据中台让数据运用更简略,数据中台为事务供给端到端的数据服务。数据服务是数据中台财物价值变现的中心载体,是衔接前台和后台的桥梁,数据中台可以以服务的方法为前台事务供给端到端的数据支撑,支撑数据运用,间隔事务更近,可以让事务更快的立异,发明更多的价值。

  查询服务:经过特定的条件输入,以 API 的方法供前台事务调用(API 包含实时和批量两种状况)。查询类服务运用场景十分广泛,根本贯穿了整个运营及办理活动,是最为常见的一种数据服务类型。

  剖析服务:结合大数据技能手法,高效的对数据进行相关剖析,在金融企业中,剖析类型的服务主要是决议计划支撑、风控、客户洞悉等运用场景。

  引荐服务:以客户标签为根底,对客户进行画像,依据客户的活动轨道、行为偏好等特点,定向、精准推送服务产品,在金融企业精准营销场景下运用广泛。

  圈人服务:在金融企业中,一般以产品、营销活动为中心,在全量的用户数据中,依据标签组合圈定营销方针,比方理财产品营销,产品定位为青年、高净值人群,那么可以经过圈定这两个标签人群,进行营销。这本质上和引荐服务相同,都是经过用户标签体系组合,构建客户画像,仅仅主体不同。

  数据大屏:数据可视化大屏是一个很重要的“体面”,它一方面可以经过酷炫的作用让人眼前一亮,一起也能把事务和数据的“里子”有用的传达出来,心口如一。

  数据报表:一般状况下,剖析类数据服务为数据报表供给服务支撑。数据表报类运用主要是经过可视化形状,出现各种数据方针,主要是经过下钻、比照、相关剖析手法,对所重视的数据进行灵敏的检查。

  商业智能:商业智能型运用是数据运用的中心,是数据洞悉以及事务立异的重要支撑,商业智能是和数据标签结合最严密的一种数据运用形状,从数据服务类型上看,包含了引荐服务、圈人服务,主要是经过数据画像到达数据洞悉和事务立异,金融企业运用场景广泛,比方,风控、营销、产品规划、生物辨认等等。

  因篇幅有限,本次对数据中台建造做一个简略的认知层面的介绍,具体内容将出现在后续的推文中,纵情等待。

  关于作者:姚斌,数字化金融研究院研究员,长时间致力于科技办理、产品规划、研制效能、质量办理等范畴的实践,具有多年大型企业IT规划及建造经历,先后参加多家大型企事业单位、金融组织流程渠道、事务体系规划及落地,对零售事务有深化的了解,具有厚实的事务中台落地经历。