批量数据插入 (.Net, ODBC)

作者:互联网   出处:控件中国网   2014-11-05 19:21:11   阅读:1

批量数据插入 (.Net, ODBC)
 
    我们有时候需要向数据库大量插入数据,这种情况下效率成了个关键问题。如果是数据进行转移,我们可以使用SqlBulkCopy类,还有一个很傻的办法就是将insert语句拼装一下,比如将100个sql语句连起来构成一个sql,然后执行。前面一种办法只适合转移数据,如果直接插入就不行了,后面那个办法有的数据库不支持。

    其实在.Net里我们可以用DataAdapter解决这个问题,不过方法比较土鳖。大体思路是用一个条件恒定不满足的select语句先获取表结构,Fill一个空的DataTable。然后用CommandBuilder构建增删改语句,最后批量的先将数据插入到这个DataTable里面,然后用DataAdapter的Update方法更新。这样会快很多。

    下面的例子向TimesTen数据库插入了100000条数据,使用了.Net的ODBC接口,在我电脑上(intel i3 530, 4G)的运行时间是59.7秒。当然,代码比较糙,还有待优化。

 

 1 
 2             using (ODBCConnection con = new ODBCConnection("Dsn=TimesTenClient"))
 3             {
 4                 ODBCCommand command = new ODBCCommand("SELECT * FROM PEOPLE WHERE 1=2",con);
 5                 ODBCDataAdapter adapter = new ODBCDataAdapter(command);
 6                 ODBCCommandBuilder cmdBuilder = new ODBCCommandBuilder(adapter);
 7                 var dt = new DataTable();
 8                 adapter.Fill(dt);               
 9
 10                 int count = 0;
 11                 for (int i = 0; i < 100000; i++)
 12                 {
 13                     if (count > 1000)
 14                     {
 15                         adapter.Update(dt);
 16
 17                         dt.Rows.Clear();
 18                         count = 0;
 19                     }
 20                     dt.Rows.Add(i, "alala");
 21                     Show.Show(i.ToString());
 22                     Show.ShowLine();
 23                     ++count;
 24                 }
 25             }

Copyright© 2006-2015 ComponentCN.com all rights reserved.重庆磐岩科技有限公司(控件中国网) 版权所有 渝ICP备12000264号 法律顾问:元炳律师事务所
客服软件
live chat