如何采集后端数据做数据分析

问题咨询 · liu23 · 于 5年前 发布 · 1815 次阅读

版主好,最近公司运行的商城项目需要做数据分析,因为后台数据都是用mysql来储存的,所以想采集订单等数据到mongodb或者elasticsearch进行数据分析。先忽略旧数据,从新数据的采集上,目前讨论有两种实现方式:

1、埋点,这种不会对数据库产生压力,但是需要在项目多个位置留下埋点代码,例如在订单的修改出现在多个地方,在开发维护上感觉比较麻烦,有可能存在采集数据死角,因为采集的也不是用户行为的数据,觉得没什么必要这样做。

2、直接读数据库,因为公司的mysql数据库读写权限掌握在自己手中,只要访问数据库把数据取出来更新到mongodb就行了。但是这个方法需要把mysql数据库的部分数据(例如两个月内的订单数据,由于业务原因,两个月内的订单信息都有可能被修改)全部取出来更新一遍,并定时访问(如每天更新一遍)。增大了生产环境数据库的访问压力。

请问版主采用哪一种方案比较好,或者说是否有一个更好的方案呢?

共收到 1 条回复
Fecmall#15年前 0 个赞

如果订单量高,推荐这种即时推送的方式

有mysql 和 elasticSearch同步数据的工具,在数据库层面的,不需要程序打点

你搜索一下吧

添加回复 (需要登录)
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册
Your Site Analytics