搜尋本站文章

2013-06-26

認識 Data Quality Services,建立「資料清理(Data cleansing)」專案 - 以 SQL Server 2012 為例

示範版本:SQL Server 2012

認識「資料清理(Data cleansing)」

資料清理是分析資料來源中的資料品質、手動核准/拒絕系統的建議,藉以對資料進行變更的程序。

Data Quality Services (DQS) 中的資料清理包含電腦輔助的程序,以分析資料符合知識庫中知識的方式,同時也包含一個互動式程序,讓資料管理人檢閱並修改電腦輔助的程序結果,以確保資料清理完全符合其希望的執行方式。

資料管理人也可以在 Integration Services 封裝程序中執行資料清理。

在此情況下,資料管理人會使用 Integration Services 中的 DQS 清理元件,透過現有的知識庫自動執行資料清理。




影片:
認識 Data Quality Services,建立「資料清理(Data cleansing)」專案 - 以 SQL Server 2012 為例



本影片所示範的工作有:

工作1:建立「資料清理(Data cleansing)」專案

工作2:檢視清理的資料




DQS 中的資料清理功能具有下列優點:

(1) 識別資料來源 (Excel 檔案或 SQL Server 資料庫) 中不完整或不正確的資料,然後更正無效的資料或向您發出相關警示。

(2) 提供兩個步驟的程序來清理資料:電腦輔助的程序和互動式程序。

電腦輔助的程序會使用 DQS 知識庫中的知識自動處理資料,並建議替代項目/更正。

下一個步驟是互動式程序,可讓資料管理人核准、拒絕或修改 DQS 在電腦輔助的清理期間所提議的變更。

(3) 使用定義域值、定義域規則和參考資料,標準化並充實客戶資料。

例如,透過將 “St.” 變更為 “Street” 讓詞彙使用方式標準化,並透過將 “1 Microsoft way Redmond 98006” 變更為 “1 Microsoft Way, Redmond, WA 98006” 來填入遺漏的元素,藉以豐富資料。

(4) 為使用者提供簡單、直覺,以及類似精靈的一致介面,以便在一組非常大的資料之間瀏覽資料並檢查其中的錯誤。



參考資料

資料清理
http://msdn.microsoft.com/zh-tw/library/gg524800.aspx

Data Quality Client 應用程式
http://msdn.microsoft.com/zh-tw/library/gg524796.aspx

--

安裝 Data Quality Services (DQS) - 以 SQL Server 2012 為例
http://sharedderrick.blogspot.tw/2013/06/data-quality-services-dqs-sql-server.html

使用 Data Quality Client,建立「知識庫(Knowledge Base)」 - 以 SQL Server 2012 為例
http://sharedderrick.blogspot.tw/2013/06/data-quality-clientknowledge-base-sql.html

2013-06-24

認識報表產生器(Report Builder 3.0),使用空白報表 - 以 SQL Server 2012 為例

示範版本:SQL Server 2012

報表、報表組件和報表定義 (報表產生器及 SSRS)

Reporting Services 會使用各種詞彙來描述不同狀態的報表,這些狀態包括初始定義、已發行的報表以及使用者檢視的報表。

您可以在報表產生器以及 SQL Server Data Tools 的報表設計師中建立和修改報表定義 (.rdl)。

每種撰寫環境都會提供不同的方式來建立、開啟和儲存報表與相關的項目。




影片:
認識報表產生器(Report Builder 3.0),使用空白報表 - 以 SQL Server 2012 為例





(1) 報表定義 (.rdl) 檔案

報表定義是您在報表產生器或報表設計師中建立的檔案。

它提供資料來源連接、用於擷取資料之查詢、運算式、參數、影像、文字方塊、資料表,以及您可能包含在報表中之其他任何設計階段元素的完整描述。

 雖然報表定義可以很複雜,不過它至少會指定查詢和其他報表內容、報表屬性,以及報表配置。

報表定義會在執行階段轉譯成已處理的報表。

這時候,系統會從資料來源中擷取資料,並且根據報表定義中的指示格式化這項資料。

您可以直接從電腦執行報表定義並儲存在本機,也可以將它發行到報表伺服器,讓其他人執行。

報表定義是以符合 XML 文法 (稱為報表定義語言 (RDL)) 的 XML 所撰寫。

RDL 描述 XML 元素,包含報表可能出現的所有可能變化。

(2) 用戶端報表定義 (.rdlc) 檔案

Visual Studio 報表設計師會產生可搭配 ReportViewer 控制項使用的用戶端報表定義 (.rdlc) 檔案。

這些 .rdlc 檔案可轉換成 .rdl 檔案,以搭配 Reporting Services 報表設計師使用。


(3) 報表組件檔 (.rsc)

報表組件定義是報表定義檔的 XML 片段。

您可藉由建立報表定義,然後選取報表中的報表項目個別發行為報表組件,藉此建立報表組件。

報表組件包括資料區、矩形與其包含的項目,以及影像。

您可以將報表組件與其相依的資料集和共用資料來源參考一併儲存,以便於其他報表中重複使用。

報表組件是指儲存在報表伺服器上的獨立報表項目,而且可以包含在其他報表中。

使用報表產生器來瀏覽並從 [報表組件庫] 中選取要加入至報表的組件。

您可以使用報表設計師或報表產生器來儲存報表組件,以便用於報表組件庫。

(4) 已發行的報表

建立 .rdl 檔案之後,您就可以將它儲存在本機,也可以將它儲存至報表伺服器上的個人資料夾 (例如 [我的報表] 資料夾)。

報表可供其他人查看時,可以將它從報表產生器儲存到報表伺服器上的公用資料夾,然後透過報表管理員上載或是從報表設計師部署報表專案方案的方式來發行該報表。

已發行的報表是儲存在報表伺服器資料庫中,並在報表伺服器或 SharePoint 網站上管理的項目。

已發行的報表會透過使用 Reporting Services 以角色為基礎之安全性模型的角色指派來維護其安全。

您可以透過 URL、SharePoint Web 組件或報表管理員存取已發行的報表,也可以在報表產生器中導覽並開啟它們。

(5)報表快照集

您也可以將報表當做快照集來發行 (其中包含報表一開始執行時的配置資訊和資料)。

報表快照集不會以特定轉譯格式儲存。

而是只有在使用者或應用程式要求它時,報表快照集才以最後的檢視格式轉譯 (例如 HTML)。

(6) 已轉譯的報表

已轉譯的報表是一種完全處理的報表,其中包含採用適合檢視之格式 (例如 HTML) 的資料與配置資訊。

報表要等到轉譯成輸出格式後,才能夠檢視。 您可以執行下列任一種動作來轉譯報表:


  • 在報表產生器或報表設計師中建立或開啟報表並且執行它。
  • 在報表管理員中尋找並執行報表。
  • 在與 Reporting Services 報表伺服器整合的 SharePoint 網站上尋找並執行報表。
  • 訂閱報表,訂閱的報表會以您指定的輸出格式傳遞到電子郵件收件匣或檔案共用。

訂閱報表,訂閱的報表會以您指定的輸出格式傳遞到電子郵件收件匣或檔案共用。

報表的預設轉譯格式為 HTML 4.0。

除了 HTML 以外,報表還可以使用許多輸出格式轉譯,包括 Excel、Word、XML、PDF、TIFF 與 CSV。

如同已發行的報表一樣,已轉譯的報表也無法編輯或回存到報表伺服器。




參考資料

報表撰寫概念 (報表產生器及 SSRS)
http://technet.microsoft.com/zh-tw/library/dd220585.aspx

Report Builder Help for SQL Server 2012
http://technet.microsoft.com/zh-tw/library/hh965699.aspx

開始使用報表產生器
http://technet.microsoft.com/zh-tw/library/dd220460.aspx

啟動報表產生器 (報表產生器)
http://technet.microsoft.com/zh-tw/library/8c8c7d2e-b315-418d-bf65-90e7685e4259

效能、快照、快取 (Reporting Services)
http://msdn.microsoft.com/zh-tw/library/bb522786.aspx

2013-06-20

使用 Data Quality Client,建立「知識庫(Knowledge Base)」 - 以 SQL Server 2012 為例


示範版本:SQL Server 2012

Data Quality Client 應用程式

Data Quality Client 應用程式可讓您使用獨立的工具執行資料品質作業。

此應用程式可讓您建立知識庫、建立並執行資料品質專案,以及執行管理工作。

負責管理資料資產與維護高標準資料品質的資料管理人、資料專家或 IT 專業人員可以透過以下任一種角色使用用戶端應用程式:

  • 可以編輯並執行資料品質專案的 DQS KB 操作員
  • 可以執行專案功能,以及建立並編輯知識庫的 DQS KB 編輯者
  • 以及可以執行專案與知識庫功能並管理系統的 DQS 系統管理員


Data Quality Client 首頁畫面

使用這個畫面以存取 Data Quality Services (DQS) 三大工作群組的使用者介面:知識庫管理、資料品質專案,以及系統管理。




影片:
使用 Data Quality Client,建立「知識庫(Knowledge Base)」 - 以 SQL Server 2012 為例



本影片所示範的工作有:

  • 工作1:建立「知識庫(Knowledge Base)」
  • 工作2:執行「知識探索(Knowledge Discovery)」
  • 工作3:執行「定義域管理(Domain Management)」




參考資料

安裝 Data Quality Services (DQS) - 以 SQL Server 2012 為例
http://sharedderrick.blogspot.tw/2013/06/data-quality-services-dqs-sql-server.html

Data Quality Client 應用程式
http://msdn.microsoft.com/zh-tw/library/gg524796.aspx

Data Quality Client 首頁畫面
http://msdn.microsoft.com/zh-tw/library/gg524810.aspx

使用 DQSInstaller.exe 匯出及匯入 DQS 知識庫
http://msdn.microsoft.com/zh-tw/library/hh759340.aspx

2013-06-19

安裝報表產生器(Report Builder 3.0) - 以 SQL Server 2012 為例

示範版本:SQL Server 2012

開始使用報表產生器(Report Builder)

報表產生器是一種報表撰寫環境,適合偏愛在 Microsoft Office 環境中工作的企業使用者使用。

當您設計報表時,可以指定要取得資料的位置、要取得的資料,以及要顯示資料的方式。

當您執行報表時,報表處理器會採用已指定的所有資訊、擷取資料,然後將它與報表配置結合,以便產生報表。

您可以在報表產生器中預覽報表,也可以將報表發行至報表伺服器或處於 SharePoint 整合模式的報表伺服器,讓其他人執行報表。

啟動報表產生器

SQL Server 2012 Reporting Services (SSRS) 包括單機版和 ClickOnce 版的報表產生器。

ClickOnce 版本可以搭配在原生模式或 SharePoint 整合模式下安裝的 Reporting Services 使用。




影片:
安裝報表產生器(Report Builder) - 以 SQL Server 2012 為例






參考資料

Report Builder Help for SQL Server 2012
http://technet.microsoft.com/zh-tw/library/hh965699.aspx

開始使用報表產生器
http://technet.microsoft.com/zh-tw/library/dd220460.aspx

啟動報表產生器 (報表產生器)
http://technet.microsoft.com/zh-tw/library/8c8c7d2e-b315-418d-bf65-90e7685e4259

安裝、解除安裝和支援報表產生器
http://technet.microsoft.com/zh-tw/library/2c9a5814-17bf-4947-8fb3-6269e7caa416

安裝單機版報表產生器 (報表產生器)
http://technet.microsoft.com/zh-tw/library/6b2291bb-1d20-4d08-81cb-a16dd8e01faf

2013-06-18

使用 Reporting Services 組態管理員設定 Reporting Services 原生模式安裝 - 以 SQL Server 2012 為例

示範版本:SQL Server 2012

Reporting Services 組態管理員 (SSRS)

您可以使用 Reporting Services 組態管理員設定 Reporting Services 原生模式安裝。

如果您是使用僅限檔案安裝選項來安裝報表伺服器,就必須利用此工具來設定伺服器,才能使用該伺服器。

如果您使用預設組態安裝選項來安裝報表伺服器,則可以使用此工具來驗證或修改在安裝過程中所指定的設定。

Reporting Services 組態管理員可用於設定本機或遠端報表伺服器執行個體。

從 SQL Server 2012 版開始,Reporting Services 組態管理員並非設計成管理 SharePoint 模式的報表伺服器。
SharePoint 模式是使用 SharePoint 管理中心和 PowerShell 指令碼來管理並設定。





影片:
使用 Reporting Services 組態管理員設定 Reporting Services 原生模式安裝 - 以 SQL Server 2012 為例





設定報表伺服器資料庫連接 (原生模式)

每個報表伺服器執行個體都必須連接至儲存伺服器所管理之報表、報表模型、共用資料來源、資源和中繼資料的報表伺服器資料庫。

如果您要安裝預設組態,您可以在報表伺服器安裝期間建立初始連接。

在大部分的情況下,您將利用 Reporting Services 組態工具,在安裝程式完成之後設定連接。

您可以隨時修改連接,以變更帳戶類型或重設認證。

您必須在下列情況下設定報表伺服器資料庫連接:


  • 設定報表伺服器以供第一次使用。
  • 設定報表伺服器來使用其他的報表伺服器資料庫。
  • 變更用於資料庫連接的使用者帳戶或密碼。 帳戶資訊若是儲存在 RSReportServer.config 檔案中,您只需要更新資料庫連接。 如果您是使用服務帳戶進行連接 (這會使用 Windows 整合式安全性做為認證類型),則不會儲存密碼,因此不必更新連接資訊。
  • 設定報表伺服器向外延展部署。





參考資料

Reporting Services 組態管理員 (SSRS)
http://msdn.microsoft.com/zh-tw/library/ms156305.aspx

設定報表伺服器資料庫連接 (原生模式)
http://msdn.microsoft.com/zh-tw/library/ms159133.aspx

建立原生模式報表伺服器資料庫 (Reporting Services)
http://msdn.microsoft.com/zh-tw/library/ms157300.aspx

使用 Reporting Services 組態管理員來初始化設定 SQL Server 2008 R2 Reporting Services
http://sharedderrick.blogspot.tw/2011/04/reporting-services-sql-server-2008-r2.html

2013-06-04

安裝 Data Quality Services (DQS) - 以 SQL Server 2012 為例

示範版本:SQL Server 2012
開發工具:SSDT - Visual Studio 2012

認識 Data Quality Services (DQS)

SQL Server Data Quality Services (DQS) 是一個知識驅動的資料品質專案。

DQS 可讓您建立知識庫,然後使用該知識庫執行各種重要的資料品質工作,包括更正、充實、標準化及刪除重複資料。

DQS 可讓您使用參考資料提供者所提供的雲端式 Reference Data Services,執行資料清理。

DQS 也提供您整合到其資料品質工作的分析功能,讓您分析資料的完整性。

DQS 包含 Data Quality Server 和 Data Quality Client,兩者都會安裝成 SQL Server 2012 的一部分。

Data Quality Server 是一個 SQL Server 執行個體功能,其中包含具有資料品質功能與儲存的三個 SQL Server 目錄。

Data Quality Client 是一個 SQL Server 共用功能,商務使用者、資訊工作者以及 IT 專業人員可以使用該功能來執行電腦輔助的資料品質分析,並以互動方式管理其資料品質。

您也可以使用 Integration Services 中的 DQS 清理元件 和 Master Data Services (MDS) 資料品質功能 (兩者皆以 DQS 為基礎) 執行資料品質程序。




影片:
安裝 Data Quality Services (DQS) - 以 SQL Server 2012 為例





安裝 Data Quality Services (DQS)

1.  SQL Server 2012 安裝程式安裝 DQS 元件

2. 執行 DQSInstaller.exe 完成 Data Quality Server 安裝

3. 對使用者授與 DQS 角色

--
SQL Server Data Quality Services (DQS) 是 SQL Server 2012 的新功能,其中包含下列兩個元件:Data Quality Server 和 Data Quality Client。

--
注意事項:

(1)Data Quality Server 和 Data Quality Client 可以安裝在同一部電腦或不同的電腦上。
這兩個元件可以任意順序個別進行安裝。 但如果要使用 Data Quality Client,必須安裝可供連接的 Data Quality Server。

(2)DQS 將無法搭配舊版的 SQL Server 使用。

(3)儘管 Microsoft Excel 不是安裝 Data Quality Client 的必要條件,仍須將 Microsoft Excel 2003 安裝在 Data Quality Client 電腦上以執行各種用戶端應用程式中的作業,例如從 Excel 檔案匯入定義域值,或是針對知識探索、清理或比對活動對應 Excel 檔案中的來源資料。

(4)SQL Server 2012 累計更新 1 (CU1) 版本已開始支援 DQS 做為叢集 SQL Server 2012 安裝的一部分。

--
Data Quality Server 與 Data Quality Client


Data Quality Server 會安裝在 SQL Server 2012 Database Engine 之上,並且包含三個資料庫:DQS_MAIN、DQS_PROJECTS 和 DQS_STAGING_DATA。

(1) DQS_MAIN 包含 DQS 預存程序、DQS 引擎和已發行的知識庫。

(2) DQS_PROJECTS 包含資料品質專資訊。

(3) DQS_STAGING_DATA 是暫存區域,您可以從中複製來源資料以執行 DQS 作業,然後匯出已處理的資料。

Data Quality Client 是可以用於連接到 Data Quality Server 的獨立應用程式,其提供高度直覺式的圖形化使用者介面,讓您可以執行資料品質作業,以及其他與 DQS 相關的管理工作。

-- 01_已經安裝完成 Data Quality Services (DQS)



-- 02_檢視 Data Quality Services (DQS) 安裝的版本資訊





參考資料

Data Quality Services
http://msdn.microsoft.com/zh-tw/library/ff877925.aspx

安裝 Data Quality Services
http://msdn.microsoft.com/zh-tw/library/gg492277.aspx

執行 DQSInstaller.exe 完成 Data Quality Server 安裝
http://msdn.microsoft.com/zh-tw/library/hh231682.aspx

對使用者授與 DQS 角色
http://msdn.microsoft.com/zh-tw/library/gg492283.aspx