「菜油期货」案例：东北证券——智能报表系统建设

事例：东北证券——智能报表系统制作

本篇事例为数据猿推出的大型“金融大数据主题策划”活动（检查概况）榜首部分的系列事例/征文；感谢帆软软件的投递

作为整体活动的第二部分，2017年6月29日，由数据猿主办，互联普惠金融研讨院合办，我国信息通讯研讨院、大数据展开促进委员会、上海大数据联盟、首席数据官联盟协办的《「数据猿·超声波」之金融科技·商业价值探究高峰论坛》还将在上海盛大举行

在论坛现场，也将颁布“技术立异奖”、“运用立异奖”、“最佳实践奖”、“优异事例奖”四大类事例奖

来历：数据猿丨投递：帆软软件

证券职业是我国核算机运用高度密布的职业之一，较高的信息化水平使其积累了很多的数据，如客户信息、客户买卖数据、股票商场信息、上市公司信息等。怎么利用好各项数据是券商脱节低层次的同质化竞赛，走向差异化服务优势的重要途径。那么以数据为根底，通过数据剖析辅导服务和决议计划就显得尤为重要。

在东北证券的数据渠道制作结束之后，结构化数据开端完结了一致归集，数据报表和图表可视化均能够通过Cognos东西完结。可是，因为Cognos运用繁琐、开发杂乱，东北证券的数据小组一向无法接手该东西。

一起，东北证券的新需求不断出现，亟需通过系统保存作业中发生的结构化数据，替代excel记载和上报数据的形式。所以，东北证券自助开发了“数据帮手”这一B／S架构的系统，较为完善的处理了当时数据填写的需求。

可是，因为多种原因，两个系统并未选用一致数据库，报表数据查询依据oracle数据库，数据填写则依据SQLserver数据库。数据同步通过ETL东西，每天晚上守时将数据帮手库数据抽取至数据渠道库。总归，两个不同的系统和两个不同的数据库，让事务人员在运用上费时吃力，让IT人员在后台办理上劳心劳力。

东北证券有着近百家运营点，散布于全国各地，公司总部对各运营点的任务数据下达需求越发激烈。此外，在大数据和商业智能报表系统技术的迅速展开下，东北证券信息技术部以为，公司需求一套全新的智能报表系统，处理上述悉数痛点，一起能够迎上大数据可视化的浪潮，协助公司不断向前。

周期/节奏

2015年11月，东北证券信息技术部完结了公司大数据剖析发掘渠道可行性剖析陈述，其间智能报表系统将作为其渠道上层运用系统之一。陈述剖析比较了开源版大数据渠道和商用版大数据渠道的优缺点，现已智能报表系统在大数据渠道之上能够为公司供给哪些运用场景。

2016年1月至2月，东北证券信息技术部完结了国内几家大数据渠道、智能报表系统等产品的POC测验，完结POC测验陈述的编制。

2016年7月，在智能报表系统方面，东北证券挑选了帆软报表系统。

2016年8月，完结报表开发的整体需求剖析作业，确认了一致的报表款式。

2016年9月，完结了各项需求的开发和测验作业。

2016年10月，东北证券智能报表系统上线试运转。

2016年11月，东北证券智能报表系统正式上线运转。

2016年11月至今，东北证券信息技术部现已能够独立承当公司各项报表开发作业，对公司各事务部在报表数据支撑方面，做到了报表需求及时呼应，快速落地。

开发东西：帆软报表FineReport。

客户称号/所属分类

东北证券股份有限公司/大数据技术服务

任务/方针

1、智能报表系统能够对接Hadoop大数据渠道，通过此系统能够完结BI拖拽和剖析功用；

2、完结东北证券各运营点有权限的查询核算自家财物、买卖量和客户数等数据；

3、完结东北证券各运营点有权限的查询公司总部下达的任务及最新任务完结状况；

4、处理数据填写的问题，在一套系统中完结数据查询和数据填写等功用，具有附件上传等功用；

5、完结东北证券生意事务办理部、零售客户部、络金融部的查核任务填写、绩效查核数据填写；

6、完结东北证券生意事务办理部对公司各运营点的根本信息、人员信息、生意事务数据等多项数据的上报、审阅和办理；

7、完结智能报表系统同电子签字板对接，完结无纸化签字作业，完结作业签字一致办理。

应战

项目施行进程中，首要的应战来自以下几个方面:

1.传统联络型数据仓库关于大数据量数据的核算、核算功率上的应战。

2.公司各项运营方针核算方法的了解、把握、整理作业。公司数据渠道收集汇总多个系统数据，每个系统有各自的供给厂商担任，所以怎么了解、把握各系统数据库表结构，整理出一系列精确的方针项数据是咱们首要面临的应战之一。

3.因为东北证券的运营点数量近百家，而且每家运营点均有3人运用此系统进行数据填表和查询等作业，这样在运营点方面用户数量有3百人，用户数量较大。

一起，地域散布广，所以在系统上线初期，怎么让如此数量的公司职工学会运用该系统，让其学会通过此系统完结数据填写和Excel数据导入等，是比较大的应战。

4.东北证券总部处于东北长春，比较其他地方，在IT技术、IT人员方面均有不小距离，在大数据技术方面更是如此。所以公司怎么能够招入更多大数据技术人才，组成大数据团队，真正将公司大数据渠道运作起来，是一项不小的应战。

施行进程/处理方案

1、渠道架构

公司数据渠道依据Oracle数据库完结，在大数据量数据的核算、核算功率上功用低下，导致某些报表查询时刻超长，操作不友好。

在公司尚不具有Hadoop大数据渠道的布景下，先通过编写存储进程的方法，优先核算出成果数据，并保存在一张成果表中，然后大幅缩短查询时长。可是仍存在一个问题，便是查询数据仅能完结T+1式查询。

与此一起信息技术部正在筹建Hadoop大数据渠道，然后彻底处理此问题。

2、数据收集

在数据收集方面，因为东北证券具有数据渠道，能够完结结构化数据的归集。每个作业日，在货台买卖系统数据初始化完结后，开端进行货台数据、CRM数据、自营、资管等十多个运用系统数据的收集作业。在数据收集方面不存在困难。

3、数据清洗

较为杂乱的作业便是数据清洗。因为ODS层数据包含了货台数据、CRM数据、自营、资管等十多个运用系统数据，而且每个系统供给厂商并不相同，所以在数据清洗环境耗时耗力较大。

各系统供给商中，有的不赞同供给系统表结构文档，有的赞同供给系统表结构文档可是文档质量不高，或是文档更新缓慢。

关于不赞同供给系统表结构文档的系统供给商，选用同其项目经理交流方针需求的方法，由其反应依据ODS层数据的SQL句子。

关于赞同供给系统表结构文档的系统供给商，选用先检查表结构文档，依据文档内容同其项目经理交流方针需求，自主编写SQL句子。此方法较上一种而言，功率更高效，而且能够使咱们快速了解表意义和结构联络。

数据清洗成果产出多项数据方针，用于支撑智能报表查询核算。

4、数据填写报表开发

数据填写报表分为总部事务部门填写报表和运营点填写报表。

(1)总部事务部门

总部事务部门填写报表首要用于编制运营点当年任务、预算，从前绩效数据。

如公司络金融部依据各运营点上一年开户数量、导流数量，再乘以必定份额，即定义出各运营点本年需推行装置融e通App的任务数据。此刻，数据仍存储在Excel文件中，通过系统的Excel导入功用，导入此数据。

运营点通过系统能够查询到自家各项任务数据，一起也能够检查到前一作业日任务完结状况数据。例如，本年度任务数量为1万户，到到上一作业日完结数量3千户，剩下7千户，完结份额30%。

因为总部下达的各项任务数据的核算公式每年都会有改变，所以选用通过数据填写的方法导入数据，而不是在数据渠道中通过sql言语编写。长处首要为，核算进程和核算思路均由事务部门完结，技术部门仅需依据需求提早做出填写报表即可。

(2)运营点

运营点通过填写报表首要进行数据上报等作业。

公司在没有这种B/S架构系统之前，每个月月初，运营部数据上报需求通过填写Excel后，邮件发送至总部，再由总部逐个核对存档。这种作业方法，关于具有上百家运营部的公司而言，简直是噩梦。

而现在，通过此系统，公司运营点在每月月初填写数据即可。现现已做成的填写报表有运营部根本信息报表、运营部人员信息报表、运营部许可证扫描件、运营部生意数据上报报表等6张填写报表。

(3)施行进程

在数据渠道中创立符合该需求的数据库表，树立表字段及索引，树立ID主键。

通过智能报表系统的可视化报表开发东西，完结填写报表与数据渠道相应表的相关，确保在系统前端，新增、修正、删去数据的一起，对后台物理表进行相同操作。

定制开发Excel增量导入插件，通过java编程方法，开发Excel增量导入插件，完结大批量数据，以Excel增量导入的方法，将数据存储后台数据库。

将开发好的数据填写报表挂至系统，在授权后，公司事务部门人员能够拜访此报表。

5、查核数据、运营数据查询

除数据填写报表外，另一大类别报表便是查核、运营数据查询报表。

公司总部，如生意事务办理部、零售客户部、组织事务部、络金融部等等，查询公司运营数据为整体运营点数据。公司各运营点则只能查询自家运营数据。

运营数据包含了，新开客户数据、客户财物数据、客户买卖量数据、理财产品持仓数据等，包含了公司全部事务部门，全部事务的运营数据。

施行进程：

各项运营方针的编写整理作业，通过编写sql的方法，依据方针根本意义，完结某核算报表脚本编写作业。

通过智能报表系统的可视化报表开发东西，完结sql脚本同报表款式的绑定作业。

将开发好的核算报表挂至系统，在授权后，公司事务部门人员能够拜访此报表。

6、编制运用手册

运用手册首要用于让公司各事务点的数据填写人员赶快了解把握数据填写功用。

成果/作用总结

事例项目上线后，该系统得到了东北证券各事务部门、运营点的必定。系统方针项规划到达1千左右，系统月查询次数打破1.8万次/月，环比添加100%以上。

东北证券的运营点在数据查询、核算、上报方面愈加挥洒自如，实时高效，让其有更多的时刻做客户服务作业。

未来的规划

东北证券的数据量约有30TB，在传统数仓下，查询核算数据时效性均无法令人满意，在做数据发掘时，传统数仓中的数据模型东西短少已成为阻止发掘的拦路虎。当时，东北证券现已立项并调查测验了国内多家大数据渠道，一起结合帆软报表进行POC测验，测验成果令人满意。

东北证券打算在大数据渠道上线后，结合现有帆软报表的BI功用，完结以下项目方针。

一期项目制作方针（2017年7月至2017年12月）

（1）树立散布式大数据渠道，作为公司仅有的散布式架构渠道，作为公司仅有的结构化数据和非结构化数据存储剖析核算渠道；

（2）用好公司现有数据，将数据方针化、标准化；

（3）完结与帆软智能报表系统对接，让事务部门能够自主出具报表；

（4）上线大数据渠道门户系统，作为公司大数据渠道门户系统，办理大数据渠道上层各项运用系统。

二期项目制作方针（2018年1月至2018年6月）

（1）弥补外包数据，打通公司客户的表里数据；

（2）制作客户服务、产品营销新形式，创立客户/产品标签系统，上线资讯/产品引荐系统，创立客户、产品剖析模型；

（3）加强与线上用户的联络和互动，进步客户体会；

（4）树立多项危险剖析模型，做到危险操控、预警。

三期项目制作方针（2018年7月至2018年12月）

（1）将固定的流程化事务作业，交由机器算法完结，削减人作业业量，例如非现场开户事务、电话服务录音剖析；

（2）加强公司舆情信息监控，及时防止负面音讯的延伸；

（3）监控金融证券舆情信息，剖析并得出其对商场的影响力度，即可服务公司，也可服务客户。

企业介绍：

东北证券

东北证券股份有限公司（以下简称“公司”）前身为吉林省证券公司。2000年6月经我国证监会同意，通过增资扩股树立东北证券有限责任公司。2007年8月，锦州经济技术开发区六陆实业股份有限公司定向回购股份，以新增股份换股吸收兼并东北证券有限责任公司，并更名为“东北证券股份有限公司”。

2007年8月27日，公司在深圳证券买卖所挂牌上市，股票简称为“东北证券”，股票代码为000686。公司注册地为吉林省长春市，注册资本为23.40亿元。

通过近三十年的尽力，公司标准运营，不断进取，不管运营规划仍是归纳实力都取得了天翻地覆的改变。到现在，公司现已展开全面证券及与证券相关的事务，包含证券生意、证券承销与保荐、证券自营、证券研讨咨询、IB、直接出资、融资融券、中小企业私募债、约好购回式证券买卖、股票质押式回购买卖、代销金融产品等事务，形成了较为完好的事务系统。

一起，公司坚持多元化展开，积极展开对外出资事务，已树立东证融通直投子公司、东证融达特殊出资子公司、东证融汇证券财物办理子公司，控股渤海期货、东方基金，参股银华基金，树立起集证券、基金、期货为一体的展开归纳金融服务的控股集团。

公司已在全国24个省、自治区、直辖市的57个大中城市树立98家证券运营部，35家区域分公司，并在北京、上海树立了4家分公司，公司全国战略布局趋于合理并形成了必定的规划优势和品牌优势。

公司担负“融通资源，创造财富”的任务，坚持“全部以客户收益为重，全部以职工利益为重，全部以股东权益为重，全部以社会效益为重”的中心价值观，在稳健中运营、在立异中展开、在服务中共赢。公司致力于树立调和的运营办理团队，通过充分调动整体职工的积极性，从根本上进步公司的创利才能，报答股东，报答社会。

帆软软件

帆软软件有限公司（以下简称帆软）树立于2006年，帆软软件是我国国内商业智能和数据剖析渠道供给商，沉积数据剖析范畴十余年，致力于为全球企业供给一站式数据剖析处理方案；一起也是职业优质交流渠道的组织者。通过10余年的展开，帆软在数据剖析职业的品牌领导力和品牌影响力上已遥遥领先。

企业客户企业客户总计超越6000家，增量、总量均为业界榜首。用户开发者超20万，每天有超越100万人运用帆软产品。

欢迎更多大数据企业、大数据爱好者投稿数据猿，来稿请直接投递至：tougao@datayuan