搜尋本站文章

2012-03-03

SSIS 效能測試:使用 Oracle 當做資料來源,以 Attunity、Oracle Client 與 Microsoft 資料提供者,彙整數據(1)

示範環境:
1. Oracle 11g R2 x64 版本。
2. SQL Server 2008 R2 x64 版本。並且已經安裝了 Oracle Database 11g Release 2 Client (11.2.0.1.0) 。

使用各類資料提供者的執行效能之數據

(1) 使用 .Net 資料提供者:OracleClient Data Provider 為資料來源

此資料連接提供者是 SSIS 內建的。
有支援 32 與 64 位元模式來執行。

-- 01_OracleClient_檢視已完成執行的資料流程工作



執行時間是:00:00:51.750,也就是:51.750 秒。

-- 02_OracleClient_檢視已完成執行的進度與時間



若將來源 Oracle 的資料表筆數,增加到:15,507,560 筆,也就是約:一千一百五十萬筆。

執行時間是:00:10:19.843,也就是:10 分 19.843 秒,619.843 秒。


(2) 使用 原生 OLE DB 資料提供者:Microsoft OLE DB Provider for Oracle 為資料來源

此資料連接提供者是 SSIS 內建的。

使用 32 位元模式執行。
其中,資料目的地部分,目前好像不支援在 64 位元模式下執行。

以下是使用 32 位元模式:

-- 03_OLE DB Provider for Oracle_檢視已完成執行的資料流程工作


執行時間是:00:00:29.438,也就是:0 分 29.438 秒。


-- 04_OLE DB Provider for Oracle_檢視已完成執行的進度與時間


使用此資料提供者,還遭遇到無法偵測資料行字碼頁資訊的警告。

若將來源 Oracle 的資料表筆數,增加到:15,507,560 筆,也就是約:一千一百五十萬筆。

執行時間是:00:06:42.109,也就是:6 分 42.109 秒,402.109 秒


(3) 使用 Attunity 提供的「Oracle Source」為資料來源

此資料提供者是在安裝 Microsoft Connector Version 1.1 for Oracle by Attunity 後,由 Attunity 所提供的。

有支援 32 與 64 位元模式來執行。

-- 05_Attunity_檢視已完成執行的資料流程工作



執行時間是:00:00:16.437,也就是:0 分 16.437 秒。

-- 06_Attunity_檢視已完成執行的進度與時間



若將來源 Oracle 的資料表筆數,增加到:15,507,560 筆,也就是約:一千一百五十萬筆。

執行時間是:00:03:54.562,也就是:3 分 54.562 秒,234.562 秒。



彙整使用各類資料提供者的執行效能之數據

-- 實驗(1)

資料列的筆數是:1,150,016,約一百一十五萬筆,轉出文字檔案的大小約 79 MB。

-- 07_資料提供者的數據彙整



MSORA:Microsoft Connector for Oracle by Attunity


-- 08_資料提供者_執行時間


在上圖 8 中,執行時間是越短越好。

-- 09_資料提供者_每秒可處理筆數


在上圖 9 中,每秒可處理的筆數是越多越好。

-- 實驗(2)

資料列的筆數是:15,507,560 筆,也就是約:一千一百五十萬筆,轉出文字檔案的大小約 1.17GB。

-- 10_資料提供者的數據彙整


-- 11_資料提供者_執行時間



在上圖 11 中,執行時間是越短越好。

-- 12_資料提供者_每秒可處理筆數



在上圖 12 中,每秒可處理的筆數是越多越好。



使用的環境:

1. 軟體資訊:
(1) Oracle 11g R2 x64 版本。
(2) SQL Server 2008 R2 x64 版本。並且已經安裝了 Oracle Database 11g Release 2 Client (11.2.0.1.0) 。

2. 匯出後資料目的地文字檔案:

檔案名稱:tb01.txt。

實驗(1)
檔案大小約:79 MB。
資料列筆數:1,150,016,約一百一十五萬筆。

實驗(2)
檔案大小約:1.17GB。
資料列筆數:1,150,016,約一千一百五十萬筆。




參考資料

SSIS 效能測試:使用 Oracle 當做資料目的地,以 Attunity、Oracle Client 與 Microsoft 資料提供者,彙整數據(1)
http://sharedderrick.blogspot.com/2012/03/ssis-oracle-attunityoracle-client.html

SSIS 效能測試:使用 Oracle 當做資料目的地,以 Attunity、Oracle Client 與 Microsoft 資料提供者,彙整數據(2)
http://sharedderrick.blogspot.com/2012/03/ssis-oracle-attunityoracle-client_02.html

--

SSIS 效能測試:使用 Oracle 當做資料來源,彙整使用各類資料提供者的執行效能之數據 -- 圖文版本
http://sharedderrickref.blogspot.com/2012/02/ssis-oracle.html

SSIS 效能測試:使用 Oracle 當做資料來源,以 Attunity、Oracle Client 與 Microsoft 資料提供者為例(5) -- 圖文版本
http://sharedderrickref.blogspot.com/2012/02/ssis-oracle-attunityoracle-client_5642.html

SSIS 效能測試:使用 Oracle 當做資料來源,以 Attunity、Oracle Client 與 Microsoft 資料提供者為例(4) -- 圖文版本
http://sharedderrickref.blogspot.com/2012/02/ssis-oracle-attunityoracle-client_2318.html

SSIS 效能測試:使用 Oracle 當做資料來源,以 Attunity、Oracle Client 與 Microsoft 資料提供者為例(3) -- 圖文版本
http://sharedderrickref.blogspot.com/2012/02/ssis-oracle-attunityoracle-client_2902.html

SSIS 效能測試:使用 Oracle 當做資料來源,以 Attunity、Oracle Client 與 Microsoft 資料提供者為例(2) -- 圖文版本
http://sharedderrickref.blogspot.com/2012/02/ssis-oracle-attunityoracle-client_4881.html

SSIS 效能測試:使用 Oracle 當做資料來源,以 Attunity、Oracle Client 與 Microsoft 資料提供者為例(1) -- 圖文版本
http://sharedderrickref.blogspot.com/2012/02/ssis-oracle-attunityoracle-client_24.html