文件堆中找新聞：北卡州社服系統失靈事件

文/wolf

去年底北卡羅萊納州新聞台 WRAL 揭露當地衛生公共服務部忽視新行政系統的技術錯誤，造成大量作業延宕。這套新系統「NC FAST」原本要讓補助貧民的食物券申請機制更加精簡化，結果各地社服部門持續發生辦理程序緩慢、資訊登記失敗、檔案資料消失的問題。衛生公共服務部卻一直歸咎於某些郡未善進學習新系統的責任。撰文記者 Tyler Dukes 運用了電腦輔助分析的技術，從大批的文件當中找出新聞要點。以下就是他分享的調查經驗。

因為受訪官員持續否認系統有錯誤，北卡州的衛生部門又遲遲不願給出文件紀錄，Dukes 決定先從地方公所下手，向州底下幾個郡的衛生所申請調閱相關的電子信件紀錄。結果收到的竟然是一共四千五百頁的雙面紙本文件。因為沒有共通的信件管理系統，IT人員是到各公務員的電腦打開 Outlook，搜尋出相關郵件然後直接全數列印，所以文件也是隨機排列、未經整理。

這樣一來，只好先把供應的電子郵件紙本加以數位文字化。Dukes 先將所有文件掃描成PDF，然後上傳到網路 OCR 服務「DocumentCloud」來自動轉成文字檔。要分析這些文件，Dukes 選用了「Overview」這套網路服務。剛好因為 DocumentCloud 整合了 Overview，所以可以輕易在網站上直接把資料轉過去。

Overview 正是設計來協助記者從大量文件中抽取出故事重點，它會依據各種文字在單一文件的出現頻率以及在整組文件當中的出現頻率，比較文件之間的相似度，再按照相似程度編列為樹狀圖。樹狀圖以各文件當中最常出現的文字作為主幹，依據文字的共通出現頻率不斷分枝分批下去，一直到達特定的單一文件。當然，這樣的電腦演算分類仍然會經常出現誤差，因此系統又有提供手動加標籤（tag）的功能，讓使用者能按照自己的需求再做分類。除此之外，Overview 還可以將原本未分段的郵件紀錄，自動分離為獨立的文件。

Overview 的功能簡介影片

經過粗略的分析，Dukes 看出，百分之九十的電子郵件都是官僚式的公文往來或轉寄，對報導毫無助益。使用 Overview 可以很快速地過濾掉這些文件。電腦可以快速過濾掉重複的內容，再來就看人們怎麼從剩下的文件中找出新聞亮點。Dukes 靈活使用了標籤功能，標示出確實有重點值得注意的文件，查閱過、尚待閱讀的文件，一步步將文件分類篩選出來。

從第一批35頁的文件集合當中，Dukes 就發現了某位公務員反應系統當機的問題。一路整理下去，相同的問題不斷地在各文件中出現。更有趣的是，當中有某位公務員隸屬於州等級的社服主管機構，透過他接收的機構群組信，Dukes 發現這樣的問題已經在北卡州旗下各郡一直發生，絕不是單純的地方個案而已。Dukes 也用 DocumentCloud 將文件當中的重點文句標出，除了自身整理方便以外，當文件隨著新聞公開時，讀者也可以一眼看到重點所在。

抓到了這個新聞亮點，將文件整理結果結合州政府官員的訪談與公告，Dukes 完成了這則州政府輕忽系統錯誤的報導。經調查發現這是部門使用的瀏覽器不相容所致，其影響波及整個北卡州七萬名需要食物券的貧窮家庭，直到報導公開，各郡都還在協調轉換瀏覽器等解決方案，而大量的申請案仍然被積壓延遲當中，民眾可能首次得知問題的根源所在。如果沒有適當的程式輔助，要能撰寫這則報導恐怕需要曠日費時的人力查找。這則案例透過電腦輔助分析，與處理數據資料的資料新聞學有異曲同工之處。