Oracle技术：数据的批量插入

会计考友

前两天接到一个需求——需要编程将SQL Server中的数据插入至Oracle。数据大约有20多万条记录。开始的时候我采取了直接构建SQL插入的方式，结果耗时太长。为了提高性能我上网找了资料。最终采用DataAdapter批量插入至Oracle，提高了性能。考试大－全国最大教育类网站(www．Examda。com)
　　代码如下：
1 I9 l1 C7 u7 M8 L　　一，直接构建SQL语句插入
6 ^# |7 Z, x; z7 n7 W5 ^8 I7 B　　VB.NET
  A6 D1 D' s3 ]　　1 sw.Start()
5 P" K7 z: v3 A, ~　　2 ''''Read Z02J from SQL Server
! u4 m! O1 s: W& O3 J: w# `　　3 Dim sqlCmd As New SqlCommand()
& _5 K' {3 ~! r( L* l  ^　　4 sqlCmd.Connection = sqlConnection
7 F5 P2 U: y* C6 V　　5 sqlCmd.CommandText = "SELECT * FROM Z02J"
/ F# J( Y) A. D; I0 N7 {* u　　6
0 Y& N: b+ S" l　　7 Dim sqlDr As SqlDataReader
# k& N2 [* n! k+ @1 S　　8 sqlDr = sqlCmd.ExecuteReader()
　　9
  ~* J. R/ D4 v3 p4 K　　10 Dim cmdInsertZ02J As New OracleCommand()
　　11 cmdInsertZ02J.Connection = oraConnection
' B. ?4 u6 d; p* O6 N- ?( T　　12 cmdInsertZ02J.CommandText = BuildSQLStatement(SQLType.Insert,"z02j")
　　13
' f# E6 [& e0 D. E% ]( n3 I　　14 Dim plantLever, material, oldMaterialNum, materialDescription As Object
　　15 While sqlDr.Read()
* D% B" U# |+ f$ C! X　　16 plantLever = ReadSqlDataReader(sqlDr, 0, "")
　　17 material = ReadSqlDataReader(sqlDr, 1, "")
　　18 oldMaterialNum = ReadSqlDataReader(sqlDr, 2, "")
# ]) s& m8 u4 X# Y1 _　　19 materialDescription = ReadSqlDataReader(sqlDr, 3, "")
　　20 ''Insert to Oracle table Z02J
　　21 cmdInsertZ02J.Parameters.AddWithValue(":plantLever", plantLever)
　　22 cmdInsertZ02J.Parameters.AddWithValue(":material", material)
( H/ ]0 ]0 I& H% e" P1 T　　23 cmdInsertZ02J.Parameters.AddWithValue(":oldMaterialNum", oldMaterialNum)
　　24 cmdInsertZ02J.Parameters.AddWithValue(":materialDescription", materialDescription)
" j- I) ^& w; W7 m6 c) {( M- c6 ]　　25 cmdInsertZ02J.ExecuteNonQuery()
) v& N# l4 |4 d) l7 T  k2 z& b- D# B　　26 End While
. N; X+ E* a  m　　27 sw.Stop()
& N0 V% t7 j2 H8 {6 U　　28 Loger.Info("Reading z02j form sql sever used", sw.Elapsed.TotalSeconds.ToString())

会计考友

　　二，采用DataAdapter实现批量插入
　　VB.NET
  m& K) J/ u9 P3 g% r7 Y  [% u4 m　　1 sw.Start()
　　2 ''''Read Z02J from SQL Server
* b8 A/ `+ d* q　　3 Dim sqlCmd As New SqlCommand()
　　4 sqlCmd.Connection = sqlConnection
+ v; i6 S1 c# p. Z7 E1 ?  C　　5 sqlCmd.CommandText = "SELECT * FROM Z02J"
　　6
　　7 Dim sqlDr As SqlDataReader
, `( h9 _; b# S2 u3 f) L　　8 sqlDr = sqlCmd.ExecuteReader()
! [6 B8 \( Y$ k0 ]; F　　9
' M& }( Q. D% |8 _* X　　10 Dim cmdInsertZ02J As New OracleCommand()
7 e" V0 F3 h& n+ @& D　　11 cmdInsertZ02J.Connection = oraConnection
: g* z. ~7 z6 T. f6 S8 W　　12 cmdInsertZ02J.CommandText = BuildSQLStatement(SQLType.Insert,"z02j")
　　13
9 N0 N, b: @; T* H+ z' W& i　　14 Dim dtSqlZ02J As New DataTable
　　15 dtSqlZ02J.Columns.Add("plantLever")
  `0 E1 u+ b& Q' X0 H  i　　16 dtSqlZ02J.Columns.Add("material")
8 ]1 B8 v. `$ j- k　　17 dtSqlZ02J.Columns.Add("oldMaterialNum")
　　18 dtSqlZ02J.Columns.Add("materialDescription")
& D, y/ m2 Y. _8 H1 e　　19
0 A* R. Y3 k6 l6 C( v0 G6 n/ s$ ^! U/ ~  D　　20 Dim plantLever, material, oldMaterialNum, materialDescription As Object
　　21 While sqlDr.Read()
! j2 _, h* e( [/ S　　22 plantLever = ReadSqlDataReader(sqlDr, 0, "")
* ?( ]; i7 H& [! Q% p9 e% ^　　23 material = ReadSqlDataReader(sqlDr, 1, "")
　　24 oldMaterialNum = ReadSqlDataReader(sqlDr, 2, "")
　　25 materialDescription = ReadSqlDataReader(sqlDr, 3, "")
* {/ k% r$ g( }8 E$ H  i# P　　26 dtSqlZ02J.Rows.Add(plantLever, material, oldMaterialNum, materialDescription)
　　27 End While
# Y: m3 l1 R& P+ e* S　　28 sw.Stop()
0 q) I2 U- Z8 y  g　　29 Loger.Info("Reading z02j form sql sever used", sw.Elapsed.TotalSeconds.ToString())
　　30
　　31 sw.Start()
　　32 Dim oraDa As New OracleDataAdapter()
　　33 oraDa.InsertCommand = cmdInsertZ02J
　　34 oraDa.InsertCommand.Parameters.Add(":plantLever", OracleType.Char, 255, "plantLever")
8 ]/ L# G# c( V  E& _0 h6 T　　35 oraDa.InsertCommand.Parameters.Add(":material", OracleType.Char, 255, "material")
8 J! N# x  \# z/ U3 D　　36 oraDa.InsertCommand.Parameters.Add(":oldMaterialNum", OracleType.Char, 255, "oldMaterialNum")
4 [1 F% R$ C9 F, q6 L) `4 P2 X2 h& T　　37 oraDa.InsertCommand.Parameters.Add(":materialDescription", OracleType.Char, 500, "materialDescription")
$ }7 C9 g: N  @0 S　　38
% B+ T4 c1 a4 F7 v( z% {$ U　　39 oraDa.InsertCommand.UpdatedRowSource = UpdateRowSource.None
　　40 oraDa.UpdateBatchSize = 20 '''Adjust the batch size based on testing result
　　41
　　42 oraDa.Update(dtSqlZ02J)
　　43 sw.Stop()
　　44 Loger.Info("Insert to oracle used", sw.Elapsed.TotalSeconds.ToString())
! p% o" @5 K% e9 w2 g4 Z2 D　　在我的环境中批量插入24万笔记录用时大约260s左右。
0 Y6 w* l0 N( [9 U; z4 v　　貌似SQL Server中。net驱动程序提供了SqlBulkCopy类来提高大量数据导入的性能。有需要的朋友可以查下MSDN.