從資料找黃金:融合大數據,創造跨世代競爭力

假設你是一個書商,想知道那些書會大賣,你會怎麼做?以往我們會拉出銷售報表,再搭配我們已知的經驗,如價格、節慶...變化因素進行判斷,再提供對應的銷售資訊。但我們透過顧客以往的匿名購買資料,結合所得稅申報、教育程度、當年總統大選等資料發現,會發現部分時候,顧客行為和編輯與行銷的直覺完全不同;甚至可以找出被忽略的熱銷書籍。(詳見行銷人的秘密武器:用「數據分析」結合「機器學習」找出暢銷商品)但是這個找出熱門商品的過程並非僅是輸入數據、按下 Enter 鍵就能產出結果,得經過多次溝通與討論,甚至是團隊的合作,才能完成。那麼,這將是一個什麼樣的工作過程呢?

資料探勘過程如同淘金

資料分析的工作至少可分為以下部分:現象描述、診斷問題、未來預測、實際應用。首先,得先瞭解當前現象,例如消費者樣貌;接著,要診斷事情發生的原因,例如某些商品的銷售為什麼特別好?了解原因後,我們希望可以透過既有的資料,協助我們預測未來會不會發生某件事,例如預測商品的銷售表現。最後,我們則希望可以促成某件事發生,例如幫助商品銷售。

但在利用資料進行預測之前,得先進行資料處理,因為沒有經過處理的原始記錄,在缺乏組織與分類的狀況下,是沒有意義的。因此,分析原始資料的過程就如同在砂礫中淘金,需要選擇正確的方式及合適的工具,才能掏出有價值的黃金。

近年來流行的資料視覺化,便是透過不同的資料工具,將資料以容易閱讀與理解的圖片形式呈現。台灣人工智慧學校AI工程師林愛哲說,以他過去在外商公司擔任產品PM與資料分析師的經驗,其實有很多工具可以協助行銷人員做出好看的圖表。他舉例,如R語言就是個方便的工具,特別是在資料前處理、計算公式,以及圖表製作等功能上提供較大的彈性,比起Excel不僅可以自訂想做的資料前處理、計算指標的公式,還可以生成較複雜的圖表。

另外近來流行的Python則是較容易上手的工具,一般沒有寫過程式的人,大約花三個月的時間,就能學會用Python寫簡單的程式,半年以上就可以相當熟練。

林愛哲進一步指出,資料視覺化不只可以幫助行銷人員報告及檢視行銷成果,也可以幫助資料工程師洞察現象,並有助於預測模型的設計。當團隊從資料中讀出需要解決的問題後,行銷人員或是需求單位可以就目前遇到的問題與資料團隊進行討論,請資料工程師就資料庫中已有的資料建立模型;如果資料有缺少的狀況,也可以再設計指標蒐集資料。模型建好後,需要經過不斷地驗證,確認模型的準確率,才能實際應用。

這中間的過程需要需求單位與資料團隊密切溝通,確認需求及所需資料無誤,而這些建模的資料有時也需要再處理,例如非結構化的資料,還得在分析前花費額外的心力,以手工或半自動的方式轉換成結構化資料,才能使用分析技術來處理。

對於許多企業來說,想要導入資料團隊,除了得給予團隊足夠的發揮空間,更需要建立一個能快速實驗的環境。我們也必須知道,資料科學並非神丹妙藥,不會一下子就給出一個解決方案,而是需要不斷的實證。同時,資料團隊的導入也牽涉到企業的典範轉移,例如本身的環境、員工的思維與觀念;對於資料管理的方式也會需要改變。以往我們依賴經驗,現在我們則以客觀的資料事實及科學方法,透過測量得到更準確的資訊,輔助決策的進行,提高決策的正確機率。對於企業來說,對於資料的精準掌握與正確應用,預期將會是下一步致勝的關鍵。

  • 主辦單位: 財團法人科技生態發展公益基金會
  • 執行單位: 財團法人人工智慧科技基金會
  • 協辦單位:
    中央研究院資訊科學研究所、中央研究院資訊科技創新研究中心
  • 贊助企業:
    台塑企業、奇美實業、英業達集團、義隆電子、聯發科技、友達光電