搜尋本站文章

2013-07-03

認識 Data Quality Services,建立「資料比對(Data Matching)」專案 - 以 SQL Server 2012 為例

示範版本:SQL Server 2012

「資料比對(Data Matching)」- Data Quality Services (DQS)

Data Quality Services (DQS) 資料比對程序可讓您減少資料重複,並提高資料來源中的資料精確度。

比對會分析單一資料來源之所有記錄中的重複程度,傳回每一組比較之記錄之間相符的加權機率。

然後您可以決定哪些記錄相符,並針對來源資料採取適當的動作。

DQS 比對程序的優點如下:

(1) 比對可讓您消除應該相等之資料值之間的差異,以判斷正確值並減少資料差異可能造成的錯誤。

例如,名稱和地址經常是資料來源的識別資料,特別是客戶資料,但是資料可能會變更,並隨著時間而變質。

執行比對來識別及更正這些錯誤可讓資料的使用及維護變得更輕鬆。

(2) 比對可讓您確保相等但是以不同格式或樣式輸入的值會以一致的方式轉譯。

(3) 比對會識別完全相符和大約符合,好讓您在定義資料時移除重複的資料。

您會定義大約相符實際上是相符的點。

您會定義已評估哪些欄位用於比對以及未評估的欄位。

(4) DQS 可讓您使用電腦輔助的程序建立比對原則、根據比對結果以互動方式加以修改,並將它加入至可重複使用的知識庫。

您可以針對從來源複製到暫存資料表的資料重新建立索引或是不重新建立索引 (根據比對原則和來源資料的狀態)。

不重新建立索引可以提高效能。

(5) 您可以搭配其他資料清理程序來執行比對程序,以改善整體資料品質。

您也可以使用內建在 Master Data Services 中的 DQS 功能來執行資料刪除重複作業。





影片:
認識 Data Quality Services,建立「資料比對(Data Matching)」專案 - 以 SQL Server 2012 為例



本影片所示範的工作有:

工作1:建立「比對原則(matching policy)」

工作2:建立「資料比對原則(data matching policy)」專案

工作3:檢視資料比對的結果



參考資料

資料比對 - Data Quality Services (DQS)
http://msdn.microsoft.com/zh-tw/library/hh213071.aspx

Data Quality Client 應用程式
http://msdn.microsoft.com/zh-tw/library/gg524796.aspx

--

安裝 Data Quality Services (DQS) - 以 SQL Server 2012 為例
http://sharedderrick.blogspot.tw/2013/06/data-quality-services-dqs-sql-server.html

使用 Data Quality Client,建立「知識庫(Knowledge Base)」 - 以 SQL Server 2012 為例
http://sharedderrick.blogspot.tw/2013/06/data-quality-clientknowledge-base-sql.html

認識 Data Quality Services,建立「資料清理(Data cleansing)」專案 - 以 SQL Server 2012 為例
http://sharedderrick.blogspot.tw/2013/06/data-quality-servicesdata-cleansing-sql.html