welcome to xlongwei.com

欢迎大家一起学习、交流、分享


QQ:9167702333 邮箱:admin@xlongwei.com

数据库表数据传输到Oracle方案


分类 MySQL   关键字 分享   标签 mysql   发布 hongwei  1548849364657
注意 转载须保留原文链接,译文链接,作者译者等信息。  

方案步骤为:数据导出到文件(增量或全量),通知接口文件就绪(上传到ftp或提供下载url),接收方下载文件,解析文件并入库。Oracle需要建立对应的临时表和正式表,入库步骤为:清空临时表,批量插入数据,再合并到正式表。


一、数据:

数据可以推送,也可以拉取,可以考虑以数据最新日期为临界点

数据可以导出到文件,也可以接口请求正文直接传输,字段分隔符可选|@|


二、SQL:

清空临时表

delete  from temp_table;

临时表批量插入:values后面动态生成,批量插入时有多行into,数据量过大时建议按1000条数据分多条sql插入

insert all

into temp_table values (‘id_1’,’value_1’)

into temp_table values (‘id_2’,’value_2’)

select 1 rom dual;

合并数据到正式表:update set不能更新主键id,values后面动态生成

merge into formal_table n

using (select * from temp_table t on t.id=n.id)

when matched then update set n.name=t.name,n.age=t.age

when not matched then insert into formal_table values (t.id,t.name,t.age);


三:Java:JdbcTemplate,执行sql语句时不能有末尾的分号

JdbcTemplate jdbc = new JdbcTemplate(dataSource);  //使用已配置好的数据源

SqlRowSet rowSet = jdbc.queryForRowSet(“select * from temp_table where rownum=1“);  //临时表和正式表结构完全一样

String[] columnNames = rowSet.getMetaData().getColumnNames();  //获取表的所有列

jdbc.update(sql);  //执行insert或merge语句


String[] values=StringUtils.splitByWholeSeparatorPreserveAllTokens(line,”|@|”);  //切分数据行

StringBuilder sqlInsert = new StringBuilder(“insert all\n”); //拼接sql insert语句

sqlInsert.append(“into temp_table values (‘“).append(StringUtilis.join(split,”’,’”,0,Math.min(split.length, columnNames.length))).append(“’)\n”);

sqlInsert.append(“select 1 from dual”); 

StringBuilder sqlMerge = new StringBuilder(“merge into formal_table n\n”); //拼接sql merge语句

sqlMerge.append(“using (select * from temp_table) t on t.id=n.id\n”);

sqlMerge.append(“when matched then update set ”);

for(int i=1;i<columnNames.length;i++) sqlMerge.append(“n.”+columnNames[i]+”=t.”+columnNames[i]+”,”); //不更新主键i=0

sqlMerge.setCharAt(sqlMerge.length()-1, ‘\n’); //替换末尾逗号为换行符

sqlMerge.append(“when not matched then insert values (t.”).append(StringUtils.join(columnNames, “,t.”)).append(“)”);

四:设计

image