資料新聞學探索 Netflix 海量資料祕密

畫家製作的示意圖，如果生成的虛構影片類型出現在 Netflix 中會是什麼樣子。出自原始報導

文/wolf


上個月初大西洋月刊 Alexis Madrigal 的一篇報導，因挖掘出 Netflix 海量資料（big data）分析方法的具體端倪而受到矚目。但是除了 Netflix 的海量資料秘辛之外，一般人可能沒有意識到，這整篇報導的調查過程，其實就是資料新聞學的一則範例。

在這篇報導之前，就已經有許多新聞提及 Netflix 的用戶個人化推薦片單當中，充滿著如「火熱的外國浪漫片」、「母女黑暗系獨立影劇」、「女強人為主角的諷刺喜劇」等分類非常細緻的影劇類型，但沒有人知道這些類型是怎麼制定出來的。


Madrigal 先想到與朋友用各自帳號去查看，把蒐集到的類型建成資料庫，這樣也只蒐集到150種類型而已。但後來友人指出這些類型各自都有以數字區分的獨立網址，一種類型就對應到一個編號，Madrigal 用修改網址數字的方式查看，發現雖然有部份數字沒有相對映的類型連結，但是一直到九萬多都還有類型出現。要手動抓取這些數以萬計的類型是不可能的，因此他想到用程式自動擷取（scrape）的方式來抓取。Madrigal 使用了可編程自動進行網頁處理的工作室軟體「UBot Studio」，花了一整天把各網址中的類型名稱全部擷取出來，一共有七萬六千多種獨特的電影類型描述。

有了大量的條列資料，Madrigal 開始做觀察分析。他發現每種類型涵蓋的影片數目並不固定，有些類型當中甚至沒有任何片單。看來這些類型並不全然與 Netflix 擁有的影片相對映，而是用演算法生成出來的。瀏覽過幾千條類型，Madrigal 察覺條目中有許多詞彙一直反覆出現，例如「歡樂」、「晦暗」等氣氛形容詞、故事舞台時空、電影年代、適合年齡層等等，當然一般的「西部片」、「科幻片」等劇情類型詞彙也包含在其中。他因此判斷這群類型的背後必定有深層的基本詞彙資料庫，同時也有共通的文法規則，不同的詞彙根據這套文法重新拼貼，就能拼出一種新的影片類型來。

為了作進一步的分析，Madrigal 使用「AntConc」這套原本是給語言學家或圖書館整理大量文件用的語彙分析軟體，它可以計算一個詞彙在文件當中出現過多少次。Madrigal 藉此製作出不同類型詞彙（形容詞、電影年代、故事地點…還包括導演、演員等人名）出現多寡的統計圖表，可以看出 Netflix 在生成這些類型時的一些趨勢。因為這些演算生成的類型實在太有趣，Madrigal 想到可以根據拼貼詞彙的基本規則，自製出類型的產生器。

作者整理的 Netflix 最常出現的形容詞榜單

在友人的幫忙下，Madrigal 設計出三種類型演算法。第一種演算法是完全任意地拼貼，可以產生出如「真實事件改編、發生在中東的深海父子歷史兒童劇」、「世界浩劫後的友情喜劇」這樣趣味盎然、令人產生無限聯想的架空影劇類型。第二種只用很少量的形容詞組合，生成結果就像好萊塢常見的老套分類，幾種主題反反覆覆。最後一種則是經過不斷試誤所摸索出來，最近似 Netflix 的類型詞彙組合原則。這套自製的類型產生器，就附在報導網頁上讓讀者玩。

類型產生器

為了了解這些基本詞彙是怎麼被制定出來的，Madrigal 聯絡 Netflix 說明他的發現，也才會有一般轉述這篇報導時大家最關心的部份：由行銷副總裁 Todd Yellin 分享整個微類型標籤策略的來龍去脈。可以說我們之所以能一窺 Netflix 海量資料分析的竅門，是因為 Madrigal 自己先懂得資料分析的概念，反過來解析 Netflix 的生成結果。

一般轉述均強調 Netflix 強大、充滿潛力的海量分析演算能力，但是 Madrigal 其實在調查當中發現這些演算結果有奇怪之處。在分類當中，一些知名的演員與導演，都會被列為類型的組合詞彙（「由某某人演出」、「由某某人執導」）。其中一部五零年代的推理電視劇《Perry Mason》似乎有奇妙的力量，讓它的男女主角以及導演（以經歷來看無論如何不能算知名大導）均成為演員、導演分類當中出現次數最多的前幾名，產生出許多根本不會有片單存在的影片類型。照理來看，類型詞彙出現的多寡應當反映著觀眾的喜好人氣，但是這樣的結果無疑是背離大家的邏輯認知。Madrigal 也將這種奇怪的現象反應給 Neftflix。

從這則報導我們可以察覺到，資料新聞學與海量資料分析，背後有著相通的資料分析原理。了解資料新聞學，甚至有可能透視海量資料分析的問題所在；同時，資料新聞學處理的也不一定是與社會現象直接相關的議題，只要新聞的核心元素是數據資料，資料新聞學就有可能派上用場。這則報導在網頁技術上沒有太過困難（除了自製類型生成器需要程式友人幫忙），但是記者需要的是對於網頁資料庫與超連結的關聯有基本的概念，並且懂得使用適當的軟體工具，最重要的是有看透資料的直覺能力，能歸納出這些類型背後的基礎法則。