5000多个数据表,如何用SQL迁移到数据仓库?
发布时间:2020-12-01 点击数:682
需求背景
最近,公司计划集中整理几大业务系统的数据,希望将每个业务系统的数据集中在数据仓库中。数据表总共有5000多个,不过好在业务数据量没有电商大,只有几十个g。
需求分析
其实这个要求很简单,就是把5000多个表放在一个地方的不同数据库中。应注意以下几点:
1.数据来自不同类型的数据库,包括SQL Server、MySQL和Oracle
2.表中有很多数据,逐个写查询代码是不现实的
3.后续数据仓库维护
方案提案
因为数据量不是很大,所以我打算用DBLINK把不同库的数据提取到数据仓库中。
方案思维
1.创建不同的DBLINK
数据仓库我们目前用的是SQL Server服务器,整体性能还可以。但是,业务系统的数据库类型不同,创建新的DBLINK时有不同的要求:
A.可以直接在服务器上创建业务数据库