Oracle技术：数据的批量插入

会计考友

前两天接到一个需求——需要编程将SQL Server中的数据插入至Oracle。数据大约有20多万条记录。开始的时候我采取了直接构建SQL插入的方式，结果耗时太长。为了提高性能我上网找了资料。最终采用DataAdapter批量插入至Oracle，提高了性能。考试大－全国最大教育类网站(www．Examda。com)
　　代码如下：
9 q: j% b8 C9 T" x. G　　一，直接构建SQL语句插入
8 }8 D; n9 Q6 J/ N9 R) V　　VB.NET
1 x9 ^6 q+ f& |4 l7 F2 Q　　1 sw.Start()
1 x  q3 W1 X3 V6 g　　2 ''''Read Z02J from SQL Server
) ?8 R, r6 N# I  r　　3 Dim sqlCmd As New SqlCommand()
　　4 sqlCmd.Connection = sqlConnection
6 }' z" l9 K' L4 G! U( P6 y: d3 e+ v　　5 sqlCmd.CommandText = "SELECT * FROM Z02J"
9 f6 p/ N7 b. r- O' v　　6
　　7 Dim sqlDr As SqlDataReader
　　8 sqlDr = sqlCmd.ExecuteReader()
, \3 [5 `( f  E0 |/ Y　　9
　　10 Dim cmdInsertZ02J As New OracleCommand()
8 g! f) ~9 q$ ?! Y% D$ D* E　　11 cmdInsertZ02J.Connection = oraConnection
　　12 cmdInsertZ02J.CommandText = BuildSQLStatement(SQLType.Insert,"z02j")
　　13
　　14 Dim plantLever, material, oldMaterialNum, materialDescription As Object
* L' d1 l9 y4 G' Z. @　　15 While sqlDr.Read()
6 y; U5 P5 m, B5 T0 \+ t* j　　16 plantLever = ReadSqlDataReader(sqlDr, 0, "")
　　17 material = ReadSqlDataReader(sqlDr, 1, "")
% A4 [) `- _6 Y  \  P8 L　　18 oldMaterialNum = ReadSqlDataReader(sqlDr, 2, "")
　　19 materialDescription = ReadSqlDataReader(sqlDr, 3, "")
- w0 g4 J" m# S; W) [: g　　20 ''Insert to Oracle table Z02J
1 D2 {7 ?7 v8 C8 z, d6 P$ s　　21 cmdInsertZ02J.Parameters.AddWithValue(":plantLever", plantLever)
8 p+ S$ f# t% ~* R　　22 cmdInsertZ02J.Parameters.AddWithValue(":material", material)
( g6 [. V5 o' ~# L- I　　23 cmdInsertZ02J.Parameters.AddWithValue(":oldMaterialNum", oldMaterialNum)
) O" V7 P: ~- k& J4 c　　24 cmdInsertZ02J.Parameters.AddWithValue(":materialDescription", materialDescription)
; x* ~# M( s: }% s" r5 y1 n: S　　25 cmdInsertZ02J.ExecuteNonQuery()
, q/ x1 D6 a- d　　26 End While
　　27 sw.Stop()
　　28 Loger.Info("Reading z02j form sql sever used", sw.Elapsed.TotalSeconds.ToString())

会计考友

　　二，采用DataAdapter实现批量插入
　　VB.NET
$ g, \. r# P5 U6 M　　1 sw.Start()
: ~9 Q4 C- j3 B' N0 W8 D( V　　2 ''''Read Z02J from SQL Server
- j  P- T+ U; m2 t. I　　3 Dim sqlCmd As New SqlCommand()
　　4 sqlCmd.Connection = sqlConnection
　　5 sqlCmd.CommandText = "SELECT * FROM Z02J"
　　6
0 E3 Q$ I5 ]+ P　　7 Dim sqlDr As SqlDataReader
' y* D5 s) Y/ T9 t  u( E　　8 sqlDr = sqlCmd.ExecuteReader()
　　9
0 p5 ~) A) M6 `) o- K! m　　10 Dim cmdInsertZ02J As New OracleCommand()
) y9 h; l6 P  t& I; k) _$ b# s  P　　11 cmdInsertZ02J.Connection = oraConnection
　　12 cmdInsertZ02J.CommandText = BuildSQLStatement(SQLType.Insert,"z02j")
　　13
/ K3 z% {4 `* Y- i6 d　　14 Dim dtSqlZ02J As New DataTable
% r9 @$ @& y: a( G$ l5 J* D: _4 d+ {　　15 dtSqlZ02J.Columns.Add("plantLever")
　　16 dtSqlZ02J.Columns.Add("material")
　　17 dtSqlZ02J.Columns.Add("oldMaterialNum")
　　18 dtSqlZ02J.Columns.Add("materialDescription")
% Y! ?; i8 W5 r6 j* ]; x6 A- b　　19
　　20 Dim plantLever, material, oldMaterialNum, materialDescription As Object
　　21 While sqlDr.Read()
　　22 plantLever = ReadSqlDataReader(sqlDr, 0, "")
: Z. c2 T# F* ^3 I3 e6 r+ W　　23 material = ReadSqlDataReader(sqlDr, 1, "")
- Y' f% w4 Y) g1 q2 P' s$ n　　24 oldMaterialNum = ReadSqlDataReader(sqlDr, 2, "")
　　25 materialDescription = ReadSqlDataReader(sqlDr, 3, "")
　　26 dtSqlZ02J.Rows.Add(plantLever, material, oldMaterialNum, materialDescription)
& h, b7 @6 a# Y; a. N　　27 End While
& z5 V# W7 u+ U$ i: [- K9 b　　28 sw.Stop()
& N) b" s. u2 @& z' U/ Q" R　　29 Loger.Info("Reading z02j form sql sever used", sw.Elapsed.TotalSeconds.ToString())
3 t- C# J; S9 k7 i2 E  ^. i  u　　30
# ]- }5 Z/ H/ s8 k2 r　　31 sw.Start()
　　32 Dim oraDa As New OracleDataAdapter()
　　33 oraDa.InsertCommand = cmdInsertZ02J
　　34 oraDa.InsertCommand.Parameters.Add(":plantLever", OracleType.Char, 255, "plantLever")
　　35 oraDa.InsertCommand.Parameters.Add(":material", OracleType.Char, 255, "material")
0 T" E" r: H) u9 E　　36 oraDa.InsertCommand.Parameters.Add(":oldMaterialNum", OracleType.Char, 255, "oldMaterialNum")
　　37 oraDa.InsertCommand.Parameters.Add(":materialDescription", OracleType.Char, 500, "materialDescription")
　　38
　　39 oraDa.InsertCommand.UpdatedRowSource = UpdateRowSource.None
　　40 oraDa.UpdateBatchSize = 20 '''Adjust the batch size based on testing result
　　41
　　42 oraDa.Update(dtSqlZ02J)
( m" v& C2 `. N& B$ R* V! g　　43 sw.Stop()
　　44 Loger.Info("Insert to oracle used", sw.Elapsed.TotalSeconds.ToString())
　　在我的环境中批量插入24万笔记录用时大约260s左右。
$ \! T6 V" w( }" I9 b　　貌似SQL Server中。net驱动程序提供了SqlBulkCopy类来提高大量数据导入的性能。有需要的朋友可以查下MSDN.