关于才智大数据中心渠道建造思路
发布时间:2021-07-23 08:13:30
来源:zoty中欧体育全站

  以ES为中心树立数据会集处理渠道,支撑从各个应收体系搜集数据,进行清洗与转化,之后能够进行聚合操作,对外供给API查询;

  1.体系支撑自在树立数据集,每个数据集对应一个ES的一个索引的别号。(不要直接用索引名,今后更改称号会很杂乱)

  2.数据集的数据搜集能够支撑多种,1.物联网实时音讯 2.事务日志 3.敞开API供其它体系提交 4.衔接MYSQL数据库,履行查询守时抽取 5.Excel或CSV导入。

  5.数据集支撑动态树立,数据在导入时如有指定数据集模板与代码信息时,假如渠道中无相关数据集,渠道将主动树立,模板中不存在的字段支撑丢掉,主动树立,回来反常等多种处理规矩。

  6.能够为数据集或数据集模板,动态增加列,能够为列指定转化表达式或匹配表达式,表达式中能够运用字符串类似度,调用其它数据集数据等各种API来组合装备,带表达式的列能够指定实时履行与延时履行。

  7.关于匹配成果大于1的记载,体系将主动告诉人工界入处理,人工匹配成果时,能够更新模板规矩或数据集规矩,以便之后运用。

  10.支撑数据集查询,能够自定义数据集的显现字段与查询条件,显现与查询条件的快照能够存储,也能够生成API接口,供其它的应用程序调用。

  12.在根本查询无法满意需求时,能够自定义各数据集的查询表达式(首要考虑跨数据集查询的需求)

  a.用户登录后列出ES中一切该用户可拜访的数据索引表(除了以db_最初的索引,该类索引用于存储装备数据),对照数据集装备,显现其相关的称号等信息,

  b4.数据:以表格方法列出一切数据,支撑各类查找。(从查询处点击查询后以将主动设置参数显现该页面.)

  1.渠道规划以数据集为中心,一个数据集对应ES的一个索引表,数据集的字段对应索引表的字段,数据也存放在该索引表中。

  转化表达式,该表达式为python脚本,能够调用API来进行数据标准化,能够调用查询与对照API从其它数据集获取数据回来。