会议介绍,实时湖仓在华泰证券日内数据离线加工、实时关联大量历史数据、金融数据频繁修正、统一埋点加工链路等方面具有极大的价值。
会议表示,金融企业希望融合实时数据湖与数据仓库,打造实时数据中台支撑其数字化业务创新,这本质上正是湖仓一体的思路。然而,余利华也认识到,目前的主流数据湖技术等只解决了更新、大表访问性能、流式消费等问题,仍然遗留小文件导致性能损耗、兼容性和流失更新等性能和易用性相关问题,而开源社区尚未出现对应的解决方案。
使数据中台体系无缝扩展到实时场景
在接受
余利华
余利华表示,秉承开放式架构原则,Arctic立足开源数据湖,不绑定计算引擎,注重与传统数仓Hive的兼容,能做到100%兼容Iceberg/Hive的表格式和语法。这是继SQL统一入口之后,数帆大数据体系再次在存储层面实现统一,这使得数据中台体系可以无缝扩展到实时场景,金融数据价值的发挥将不再被孤岛所困扰。
“我们也看到客户有量化交易的需求,有风控方面的需求,这些对实时性的要求特别高。”对于数帆在金融大数据方面的发展布局,余利华表示,对数帆来说,金融行业是一个重点行业,目标是希望能成为金融行业领先的大数据技术软件的提供商。
数帆的关注点则在于大数据的基础软件。“客户会自己负责他的大数据业务,那么我们主要是在基础软件这方面为客户赋能。为此,首先我们一直在做信创和安全方面的工作,因为金融特别注重安全;第二个是要去建设面向金融行业的数据研发产品,也就是DataOps的产品。”余利华说。