EP29：與國父聊推薦系統、全棧數據科學家、數據驅動的意義
「用聽的」
追蹤訂閱，不錯過數據女孩最新資訊
YouTube, Spotify, Apple Podcast
小宇宙, B站, 喜马拉雅, 荔枝FM, 网易云音乐, 蜻蜓fm, 苹果播客中国区
小紅書, Threads, Instagram
「用讀的」
Amy：hello，大家好，歡迎大家收聽新一集的數據女孩的中年危機，我是Amy。
Stella：大家好，我是Stella。
Amy：感謝朋友們的喜歡和支持，也歡迎新朋友們來聽我們聊天，大家搜數據，女孩的中年危機就可以找到我們，朋友們也可以在各大 podcast 平台YouTube、threads、小紅書直接關注我們。
Amy：今天的來賓是我在台灣參加數據活動認識的，他是一個資深的 full stack data scientist 也是一骨engineer，現在在Taboola的原生廣告科技公司做 R&D 的lead。他也做過算法工程師，之前他也從初創就在台灣的一個電商平台叫 Pinkoi，經歷很有意思，今天我們會聊一聊推薦系統、怎麼帶領數據科學的團隊，還有怎麼跟跨國的團隊合作，謝謝。今天來上節目跟大家打個招呼吧。
國父：嗨，大家好，大家叫我國父，哈哈哈。
Stella：我們要介紹一下為什麼叫國父嗎？
Amy：為什麼你叫國父？
國父：很無聊的原因，高中的時候一張照片長得像。高中會有男校女校，所以男校女校會有一個姐妹社團，相互認識的時候就會互傳照片，傳過去那張很像國父，於是整個社團所有人都叫國父，延伸到後來所有人都叫國父。近期比較像甘地。
Amy：哈哈，是嗎？
國父：甘地，都是蒼老的人物。
Amy：國父一開始加入軟體行業，是先參加了一家新創公司叫Pinkoi。
國父：它是一間專注在設計品牌的電商平台，有點像美國的etsy，我們大部分強調的是我們比較有審核制，而且我們是跨國，所以上面會有賣泰國、日本、中國其他地方的設計品牌，我們也有資源，多個語言，日本的人也可以買到台灣的設計品牌。至於什麼是設計品牌，我覺得很早期的定義跟近期的定義就是慢慢有些轉變，早期是比較偏向文具、文青、手帳之類東西多一點，後期比較像是有設計過的，大量生成的品牌也算是在裡面。
Amy：所以你在初創的時期就加入這家公司。
國父：沒有到超級初創，我加入的時候應該三十幾個人，但是在資料團隊我算是第一位，加入的時候在三十幾，我離開的時候應該是 180 左右，成長了不少，待了 6.5 年。
Amy：進去以後第一個 task 做推薦系統嗎？
國父：第一個 task 好像是一個後端修 bug 的一個task，非常小，你熟的話就是 30 秒可以做完，有點像 onboarding task，後面有幫包含做一些斷詞東西或翻譯的東西都有做，就 NLP 的。後來再做一些推薦系統等。推薦系統早期還沒有任何 tracking 或資料的時候，剛開始主要是在想 tracking 怎麼解釋，而不是在做推薦系統。
Amy：推薦系統一開始要建立，要先有數據，所以你是從怎麼把數據收集過來開始做的？
國父：可以這麼說，因為剛開始，你說後端有什麼資料？大概就是訂單的資料太稀缺了，你要做推薦系統很難，你需要收集的更多，比如說使用者在探索的歷程的資料，他怎麼去收斂？他找到想買的商品，這個過程才可以有更多資料去幫助使用者收斂。如果你直接只看訂單，這些資料是沒辦法支撐推薦系統。
Stella：當時你去的時候 title 就是 data scientist嗎？
國父：當時 title 好像掛 data engineer。當年並沒有 data scientist 這樣的title，更早期的時候 data engineer 無論 machine learning 分析或者 engineer 就 end to end，全部做。早期的我也不develop，也不會分前後端。
Stella：所以你不光是第一個 data scientist，你是第一個 data folk，是嗎？在你之前有 data engineer 嗎？
國父：沒有。我加入的時候也沒有 data warehouse，沒有 data lake，沒有 tracking、BI，非常初期。
Amy：那個時候是幾年？
國父：2015 年。
Amy：我其實還蠻好奇 2015 年的階段加入新創團隊，你要從零開始建立一個 data 的infrastructure，才能做推薦系統等等東西。這個在台灣的新創是很常見的 position 嗎？還是說這個算是你進去才發現要做這麼多事情？
國父：我是進去以後才發現，應該說那時候是剛從學校到業界的，是業界的第一份工作，以前可能在學校待比較久，就會覺得我在學校用這麼多hadoop，你很熟悉big data怎麼處理。我在業界應該也可以解決這些問題，殊不知落差挺大。學界這種 one time 實驗的code， one time 使用的資料集，然後 data process 的過程都是沒有很適合業界，所以當你想要把學界實驗用的 infrastructure 搬到業界都不是。跳過去的時候，真是以為自己行，但是挺難的。那時候比如說 code repositories 應該有刪掉過兩次，覺得我做的東西都是垃圾。哈哈哈，那我一定要重來做，這樣的狀態。我會發現，會 Hadoop 的，跟會 data warehousing，跟知道 ETL 系統要怎麼設計還是有極大的落差。 tracking 就不用說， tracking 真的是我遇過最困難的問題，就是 tracking 第一，其他什麼我們學了，你呢？跟 data warehouse 都很難往前。
Amy：現在 tracking 的工具還蠻多的，產品就可以埋點，但那個時候是不是全部都要土炮地寫進去？
國父：對，因為比較追求tracking，也想要很generalize，有可能從我想要什麼數據來出發，所以那時候設計tracking，我想要做到是幾乎可以還原一個使用者瀏覽一個網站的樹狀圖，他可能先搜尋了以後看到 10 個item，點了其中一個，進去以後不喜歡回到上一頁再點下一個，我那時候可能是過度理想化，想要把這整個瀏覽歷程都可以抓得很清楚，這樣子我想要做什麼都可以。
國父：我的 tracking 並不是斷點的埋點，比如說一個 page view 更像是什麼東西連到什麼什麼東西，我可以把它串成一個很大的graph，它跟 Facebook、Instagram 難度比差蠻多。 Facebook 和 Instagram 你會發現 one single news feed，它的 tracking 是很簡單的，就是往下滑，有沒有按贊，有沒有comment，但是在電商情境的話，你會有好多種頁面，有首頁、首選頁，商品頁、設計品頁，每個頁面它可能有兩三種推薦版面。
國父：你要去 reason 使用者的每個歷程，它複雜度高很多，再加上四個平台，Mobile、Desktop、iOS、還有 Android。你設計的 tracking 的格式要符合所有平台 UI 設計跟技術上可以埋點的設計。我就覺得，哇我要懂的東西也太多了。很困難的設計，但是設計完以後，我目前還是覺得當年的設計蠻好，至少我從離職同事聽到又說以前 Pinkoi 的tracking還是最好用。
Amy：我覺得超厲害，但是我對台灣的電商平台有一個疑問，因為像我回來刷 MOMO 等等的，常常他的推薦不是個人化的推薦系統。能感覺出來，不太會去根據你的訪問的歷程去推薦你的產品，至少不是馬上。為什麼 Pinkoi 一開始就決定做一個個人化的推薦系統，要去做這些tracking？因為這個 engineer 的工作非常的龐大。
國父：不確定這個決策流程。應該說早期我比較像是一個老闆說要做什麼，就做。如果我去反思好了，比如說相較於MOMO，跟 Pinkoi 這兩個比較化，MOMO狀況下你會發現個人化的推薦系統的價值有限。不是沒有，但是有限。我一個朋友也是前公司在蘋果的公司，他常講說電商不外乎就是快省好多，運送要快、價格要便宜、品質要好、選擇要多，快跟省前兩個是在大眾品牌中是最重要的，就是要快跟省，這件事情推薦系統幫不上任何的忙，後面的好跟多可以幫上一點忙，但是幫忙的程度根據電商平台有差別。
國父：第一個就是你的商品夠多嘛，不夠多的話，也沒有到這麼重要。第二個所謂的好，是符合你個人的偏好或興趣為主，就是那種你無法言傳的設計是你的所謂的好，還是某個品牌，比如說 Dyson 或是大品牌的名字才是你所謂的好。如果是大品牌的話，你會發現關鍵字搜尋或是分類篩選就解決大部分問題的，不需要推薦系統去幫你找所謂的好，但如果是很個性化的東西，你很難言傳，像是 Spotify 聽音樂的風格這種模模糊糊的東西，你可能就需要推薦系統的資源，可能不同平台的好會有落差，這個好是個人化程度高與低的差別，Pinkoi也在推，做推薦的價值會比較高一點，因為我們很重視設計，也比較重視個人的品牌的風格以及個人的偏好，做這兩個東西不容易。
國父：特別是我們上面的品牌多數是比較不是那種 brand name 的大品牌，可能在家裡自己設計首創，做出一個小小的也許是手機殼或等等的東西，這樣它就可以變成一個品牌，這時候它並不會有任何使用者去搜這些品牌名字。你要在這個狀況下去做媒合，推薦系統蠻重要的。
Amy：一直以來看，很多平台好像覺得推薦系統是一個必要的存在，但是就像國父講的，有時候你直接去看那個產品定位，也不一定需要一個很 personalized 推薦系統。前幾年都會覺得每個產品都要推薦系統，那不一定對。
Stella：我們在美國的話和台灣的MOMO相似的可能就是Amazon。我還挺好奇的，Amy，你覺得 Amazon 的推薦系統，比如說 you may also like，你覺得他們做的怎麼樣？
Amy：以前還不錯，但是現在沒有那麼有意思了，現在也是走一個快省好多的風格。它會推薦你一些很省的東西，或者是 household item，就是每個人都需要的東西。它的 discovery 的成分越來越沒有了，有點MOMO化了。
Stella：我回想起來，我好像從來沒有通過它的推薦系統買東西過。
Amy：你看 Netflix 有一點這種感覺， Netflix 以前你打開會有很多，我沒有看過，但是 maybe 我想看的東西，但是現在也只是主流的，像台灣可能大家都是看華燈初上，大家都看一樣的片子，所以你打開就是這些片子。 discovery 的成分有比以前弱很多。
國父：我再補充一個好了。 Pinkoi 以前常講說我們現在的目標就是幫助設計師成功。所謂的幫助，很多時候你要去讓整個系統的曝光更專注在那些長尾的這些品牌，讓他們可以有機會成長，長期來講，我們多注意一點長尾，讓長尾多曝光也可以讓整個系統的長期生態更好，而不是讓系統的重注永遠都壓在 top sellers 生成。
Amy：那後來國父去了Taboola做原生廣告的公司，它也有一些推薦系統的成分，那我們等一下聊。當然可以先解釋一下什麼叫 native ad 原生廣告嗎？
國父：整體上就是希望廣告跟原生的推薦是混合在一起，而且不會打斷使用者的瀏覽，像是一個很自然的融入的一個狀態。比較好的例子就是比如說 Facebook 或Instagram，你在滑他們的 newsfeed 的時候，中間滑一滑沒幾個就會出現一個廣告，但是你不會覺得它非常突兀，你覺得很多時候它的內容是你喜歡的，它把廣告的推薦跟一般內容的推薦混在一起，而且是無縫接軌的，這樣感覺另外一個比較灰色地帶的是像搜尋，也有點像 Google 搜尋，最上面會是幾個廣告，但它長相會跟一般搜尋其實蠻像，或是說電商中的搜尋，如果你有付多一點錢好了，promote你的商品，你在某些關鍵字上你也可以排名比較前面，你會覺得它在這個廣告狀況下是非常原生，它不是突然外插一個位置在某個地方，好像是展示廣告一樣，它的對比就是展示廣告，它要顯眼，原生的話就是不太顯眼，我在原本使用的想要解決問題路徑上。
Stella：在你看來這個廣告推薦和一般我們講的推薦系統是一回事嗎？
國父：會有許多的差別。如果從體驗角度來看好了。非廣告類型的推薦通常會更重視體驗一點。舉例來說，會有更多樣化的 candidate generation 的phase，我們可能想要有相似的推薦，同分類的推薦。不是相近於近期瀏覽記錄推薦，這些是原生的推薦，會重視的東西，我要在不同地方有提供不同類型人的體驗來幫助使用的解決問題。
國父：廣告本質上屬於外來內容，所以它很難做到這樣的多樣化的體驗，我們不會說這些廣告相似於現在你正在看的東西，不會有這樣的廣告，體驗上不會這麼 diversify。廣告就是廣告，它沒有這麼多樣化的體驗。第二個在技術角度上，或在我們machine learning的角度上，我們通常在非廣告的推薦比較在乎排序而已，什麼東西是好，排越前面越好，那就沒問題了。但是在廣告情況下，我們可能會需要更精准的預估點擊率或轉換率，因為在許多情境下，我們的廣告曝光是有成本的。我們會希望比如說這個成本在這邊，如果點擊率沒有高於某個程度的話，我們這個廣告的曝光會是賠本。廣告情況下我們要考慮更多精準預估點擊或轉換率的狀態，通常原生推薦會比較沒有成本的問題，使用的就是曝光越多越好，反而不會很在意精準預估點擊率。
國父：在體驗上的話，因為廣告又有一個賺錢的目標，本質上它還是以賺錢為主，無論這個內容好或不好，它只要是富爸爸，他就應該獲得更多曝光。其實也會加強一個外部的因素去打壞使用者體驗，很多時候大家會覺得不好的廣告體驗原因是來自於廣告，本質上還是想要賺錢，富爸爸的廣告不見得是 high quality。
Stella：提到原生的時候指的就是內容推薦，對嗎？對，那我剛才聽起來就感覺像是說你做內容推薦的時候，或者是原生的推薦的時候，你是在 maximize 你的用戶的體驗，但是你在做廣告推薦的時候，你是犧牲了一部分用戶體驗去賺錢，但是你要去算，或者是你要去估計這種犧牲的用戶體驗是否合算你賺來的這些錢，是嗎？
Amy：我覺得去算犧牲的用戶體驗這一個部分一般沒有那麼多。
Stella：哈哈哈哈哈，就是要賺錢，哈哈。
Amy：對，因為廣告它是一個market，它會有存量 inventory 的問題，所以你這些廣告必須發出去，投在可以放的地方，就像國父講的，富爸爸來了就有這麼多inventory，所以它必須把它消化掉，體驗可以很差。我的經驗是體驗很差的東西還是可以存在，從我們後台看來是非常賺錢，某些群體願意去點擊這樣的廣告，那他點擊或瀏覽了那一個session，它所帶來的報酬就已經超過那些所有的體驗了。
國父：現實是殘酷的。
Amy：呵呵，對，現實是殘酷，給一點context，現實是一些汽車廣告或特定類型的廣告，它按一下它可能就可以帶來幾塊甚至超過 10 塊的美金的收入。對大部分的廣告商來講，它可以犧牲體驗去賣這個session。
Stella：完全從 engineering 的角度來看，做廣告的推薦和做一般內容的推薦，它在實踐實做的角度上來看有很大的不同嗎？
國父：第一個是我至少以前在電商的經驗，我們最主要想要解決的問題是使用者不同的探索需求，我要怎麼產生出不一樣的版面來符合不同的探索需求？像我剛剛說的相似推薦同分類推薦，近似於近期瀏覽的推薦等等，這些東西通常不像點擊一樣，它不見得有ground truth。什麼叫做相似？兩部電影你怎麼定義相似這個東西？你會發現你大部分時候不會有那種ground truth的東西，你要自己去想從哪邊可以收集到這樣資訊，怎樣可以做出符合使用的體驗的東西，在 candidate generation 上會想很多很多方向，相似型的，或是根據近期行為的，或是根據 user 跟 user 相似的關係，或是根據 item 跟 item 相似的關係，這就是內容推薦上會在意的比較多的點。
國父：廣告這些東西都不太考慮。廣告，就是有一個很大的 inventory pool，我不確定這些東西會不會符合使用者探索需求，我也不在意，我在意使用者會不會點。我們廣告上會很認真在做點擊率預估，點擊預估就要越準越好，我要曝光那些點擊率預估越高的商品越好，完全不會去思考使用的心態，在這個版面想要解決什麼問題，這個變成說一個會 focus 在 candidate generation phase，另外一個會 focus 在後面的 scoring 和 ranking phase，兩邊的 focus 點會差很多。
Stella：作為工程師，你自己會更喜歡做其中一種推薦系統嗎？
國父：我百分百喜歡做內容推薦，從大概快一年前我也開始做廣告推薦，也還算有趣。你想要看的問題不是單邊變成兩邊，在內容推薦上你永遠看的是使用者，但是在廣告推薦上你看的是使用者跟廣告主兩邊的媒和，再加上中間一個媒體端，如果你是 service provider，廣告主這邊，我們就在想廣告主，如果要增加他們投報率要怎麼做？要怎麼衡量？要怎麼做 AB test？所以它的技術上的難度高，數據的面向也廣，複雜度也高蠻多的，兩邊都要看。做內容推薦的好處就是只要在意使用者就好。
Stella：我自己不是做推薦系統的，但是我會覺得大家聊起 data science，聊起 machine learning，很多時候會去講推薦系統的案例。國父，你在這個領域做了很長時間的人，你覺得這個領域的 talents 多嗎？
國父：我猜測美國、以色列，特別是美國應該不會太稀缺，但是在台灣真的很稀缺，最主要是過去台灣這個產業並不蓬勃，沒有很多很大的線上平台需要這樣人才，所以並沒有許多有經驗的人在市場上流動。
Amy：如果你要找這樣的人才的話，一般他們的特質跟能力是什麼？
國父：第一個就是你要怎麼把產品的需求轉換成模型可以解決問題？這個產品需求又很依賴解讀使用者行為和需求的能力。如果你不能理解使用者現在的目標探索目的是什麼話，你可能也很難去好好的設計你的 dataset。像我剛剛說很多時候沒有 ground truth，你怎麼去設計這個 ground truth？那你 label 要怎麼定義都很難，甚至你要收集什麼 signal 變成 feature 通常會理解困難。
國父：多數的 NLP 和 CV 的問題沒有這麼嚴重，它會比較客觀一點。舉例來說，你可以去說，噢，這張圖裡面有沒有一隻貓或一隻狗？很客觀。或者說你覺得這句話是正面的或負面的情緒，也很客觀。多數的時候NLP、 NCV 都偏客觀。但是推薦系統是很主觀，而且主觀是每個人的主觀，你怎麼站在一堆使用者的鞋子去想問題是推薦系統本質上很需要的一個特質，而且你也同時需要站在產品角度想產品角度長期要怎麼去把內容跟使用者媒合才可以創造產品長期的好的正面的生態？ Product-minded 還有 business sense 也都對推薦系統很重要，這些東西都是純工程人員很少會一開始就具備的東西。
Amy：如果要把這個東西學好做好，甚至是推薦系統，如果從埋tracking 開始做，就是像國父這樣，是最好的practice，因為你只有要做到那麼細，埋 tracking，才能把整個 funnel 想清楚。而且你之後 data 收集起來，你具體要怎麼再把數取出，其實也是一個很大的工程。因為你 tracking 埋不好的話，你後面也取不了數。推薦給大家，想做推薦系統，先從埋 tracking 開始。
Stella：也算是不同類型的 data scientist 或者是不同類型的 machine learning 的項目。剛才提到圖像或者是 natural language，就是 CV 和 NLP 這種不同方向的項目，這種項目它的數據結構是非常可以預測的，不像做推薦系統，包括還有其他很多和現實和 physical world，和人類的 behavior 相關的 data science project，它就會有各種各樣不同的dimension，這種時候解讀的能力就會特別的重要。
Stella：還有可能就是公司規模的不同，像我們三個都是從 startup 開始做起的，會有要 end to end 的工作上的要求，但是我也能想象在 Google 在 Amazon 做 recommendation systems 的人，所有的數據都處理好，他就真的專心做 model 就好了。
Amy：因為國父也是算engineer， full stack data scientist這樣的角色，你在做廣告跟做一般推薦系統，哪一個技術難度會更大一點？
國父：我很難說有一個絕對的差異。應該說廣告的情境，我自己覺得是否 real time 差蠻多的，有沒有最 real time 的資訊？因為你要準確預估點擊率，所以你有可能一個放在上面的位置跟放在下面位置本質上它曝光的幾率跟點擊率就會有落差，它可能跟 UI 以及它也可能跟使用者近期的行為有非常高相關，大部分的時候會比較在意是否 real time，可能跟 RTB 的一些天性有關，但在原生內容的推薦上，多數的時候是你怎麼用大量的資料來去收斂出很長期的一些 preference 行為？這個部分會需要好好的design，你的 offline 的 pipeline 可以 handle 很長的使用的行為或資料來去收斂，但這可能也 depend 到你的平台的業務類型。按資料的形態很難非黑即白，說誰比較難，都有各自難處。我自己覺得推薦系統 in general，不管是廣告或一般的內容推薦，它對工程的要求都蠻高的。比如說NLP、CV，你的 feature 都是 user 會給你的，就是一個圖片，一段文字，台語叫做「ㄘㄨㄢ ˊ便便」。
Amy：就是他都 ready to use。
國父：對。所以你的 feature 就是使用者所需要的input，全部使用者都會給你。但在推薦系統情境是你全部都要自己想，自己準備，有一些是 real time 才能獲得，有一些是offline，在 database 哪個地方可以獲得。從系統角度和 end to end 去想，無論是 training 的pipeline， serving 的 pipeline，要怎麼跟模型溝通？ training 和 serving 分別要準備好不同的feature，無論是 real time 的 feature 或非 real time feature，這些整個架構的參與你都要深陷在其中。很多時候並不是模型越大越複雜越好，因為模型也會有 response time 的限制。我覺得推薦系統就麻煩點，就是你在產品敏感度，使用者敏感度要高，對系統工程上面的那個熟悉程度也要高，它就沒有辦法像 NLP、CV 大部分的時候很可以很專注在 machine learning 的世界這樣。
Stella：我們剛才一開始 Amy 介紹的時候就說國父是一個 full stack data scientist，我們三個都算是給自己定義為 full stack data scientist。我們當時入行的時候， data scientist 的 definition 可能和現在有所不同，我想知道就是我們都是怎麼定義自己的？你覺得自己是更偏 engineer 呢？還是你現在會更願意稱自己是一個 data scientist？
Amy：其實就是看你在什麼階段的公司，哪一個會更重要一點。如果是像初創一點的公司，我覺得我更願意當一個engineer，把 tracking 埋好這一些東西，先想好架構，不然後面其實你要做 data science 也蠻難的嘛。可是如果到公司後期一點的話，我會願意自己做一個 data scientist。
國父：我很少會說我自己是 data scientist，因為我覺得這個詞有一點泛濫的，大家的定義都不一樣，所以每次大家自我介紹說，噢，我是 data scientist，我就會先問你的 data scientist 定義是什麼？太混亂了，所以我就會說，我是比較常說，我是演算法工程師，我想要開發出一個基於演算法模型訓練的產品，然後在做這個產品的路途上你會需要工程的能力，你也需要數據分析的能力，然後你也需要用machine learning model問題的能力，都是兼備的。
Stella：這樣我跟你類似，所以我是在一家公司工作了很多年之後一直都稱自己為 data scientist，然後有一天想到說，唉，我想看一下別的工作機會，才發現在這個 job market 上 data scientist 已經跟我做的事情其實有點不一樣了。我也是會跟別人介紹自己的時候，我會說自己是做 Algorithm的。我有時候也不太願意自稱為 data scientist 的一個原因，是其他的團隊、其他的 stakeholders 對 data scientist 的 expectation 會不同。就是大家想象中的我和 data scientist 應該如何合作？可能和我自己覺得我應該如何工作，這個中間是有一個巨大的鴻溝。
國父：呵呵，所以你們會覺得要從 output 來定義看， outcome 來定義你是什樣的人？
Amy：對，我覺得每個 project 的 output 算是決定你的所謂的職稱的。
Stella：如果是從其他的 team 的角度來看，那肯定是這樣，就是你做的東西是定義你的標準，那從我自己比較自私的角度來看，就是我喜歡什麼樣的工作方式，什麼樣的 title 可以讓我更接近我喜歡的工作方式。如果是更偏 analytics 的 data scientist 的話， stakeholder 會希望你是一個 order taking 的狀態，它有一個非常直接的需求，比如說一個取數的需求，或者是他已經想好了他要做一個什麼樣的 AB testing，然後需要你來執行，就這種的話我就不太喜歡。我會想自己去 initiate project，那從這個角度來看的話，可能 engineer title 或者是 algorithm engineer 這個 title 會更接近我想要的那種狀態。
Amy：我覺得 data science 可能如果你把它想成一個 product 的話，我們好像都比較喜歡當 product owner。 就是 data science product owner 不是一個屬於 support role 的角色。
Stella：那我們剛才也提到做 data analytics 的 data scientist 或是 data science team，你們都有待過做 analytics 做數據分析的團隊嗎？
Amy：我其實沒有待過，我只待過算法跟那種 MLE 的團隊，現在在新的公司，我們也沒有所謂的分析團隊了，可是開始會有一些數據的需求了，所以感覺自己需要帶一些做分析的人，但有一點點心虛，因為我其實沒有帶過分析團隊。
國父：我也不算是待過分析團隊，但是分析一直是我工作的很重要的一部分，算是有待過一些人是要負責做分析，這樣所以我不會覺得我跟分析不熟，但是我還是蠻多時候是做一個工程團隊的角度去看分析問題。
Stella：我也類似，可能也是因為我們都是工作經驗主要集中在startup。Startup可能比較難單獨有一個分析團隊，可能都是一個 data team，什麼都做，從前期 tracking data collection 一直做到最後deployment，包括中間產生的很多數據分析的需求也做。
國父：就算沒有待過，你們覺得想象中不是工程團隊出身的分析團隊會長什麼樣子，或者跟工程團隊有什麼差別？
Stella：雖然說我們自己是沒有做過 product analytics data scientist 這種角色，但是應該也都是接觸的挺多的，我感覺思維方式上還是有挺大的不同，你們覺得呢？
國父：我覺得是我發現最大的差異，在軟體工程上的思維和訓練，工程出身的團隊很容易從這邊出發，就是希望做出來東西可以重復使用，系統要穩定，然後又把問題好好的抽象化跟拆解，變成不同模組，然後甚至有版本控制，這些東西就是我們工程出發，就算做分析，我也想要把 sql table 寫的 module 一點，然後把每個東西可以重復使用一點，我覺得這個好像是最大的差別，然後所以通常非工程團隊出發的分析，他們就會很多 adhoc 的分析，然後很快 meet business 需求。但是複用性比較低。
Amy：說的太到點了。我昨天才跟我的intern說，你這個 report 不reproducible，哈哈哈。你做一次，要可以用 100 次。
Stella：但是我也有一個問題，我跟 analyst 合作也有這種感覺，我會覺得你的 code 的太混亂了，再過三個月你自己還記得你寫了什麼嗎？但是對於 analytics 團隊來說，你們覺得比如說這個 code version control，然後這個 reproducibility 是需要的嗎？還是因為他們的 adhoc 的這種性質，就使得他們其實不太需要在意這些事情？
國父：這真的是一個好難的問題啊。
Amy：我只能說有時候就 let it go 就好了。
Stella：哈哈，我有一個感觸是，如果你單純從工程的難度上來講， engineer 的難度，做 algorithm 的人做的項目的難度是要比 analyst 要高的。如果我們純從工程的角度上來講，但是很多時候如果一個團隊 analyst 離職，其實帶來的麻煩有時候要比你的 algorithm engineer 離職影響要更大，因為 analyst 他就會留下很多並不能被 reuse 其他人都看不懂的code。這是不是太negative？
Amy：哈哈哈，這個是事實啊，大家應該都可以承認。
國父：是沒有錯，但確實連接到你剛剛問的問題，為什麼會有這樣現象差異？也許他們也想要讓這些東西或多少reproducible，但是應該說過去的訓練和經驗並沒有讓他們很直覺想到這一點。我們會覺得這些東西門檻沒有那麼高，因為我們其實平常已經用很多這種工具，其實也一定程度的這樣的慣性或訓練就導引我們走向這一條路。然後我們也覺得這件事情是不會很難的，因為我們有很多其他的面向的經驗。這同時，從老闆觀點不見得是好事，就會覺得，唉，交給工程團隊出發的分析，每次都要做一件事情，要很久才會拿到結果。
Amy：對，分析團隊做事情都是按天算的，那我們都是按 sprint 算的，差蠻多的，那我們再拉回來，國父現在的工作，我那時候看到Taboola開始在台灣有業務，開始招人，覺得很有意思。你是什麼契機加入Taboola這家公司的？
國父：講起來其實有點無聊吧。呵呵，也是獵頭就傳個訊息過來，然後每次獵頭傳出東西過來以後，我也會看一下自己有沒有興趣，然後決定要不要面試。但很多時候我面試其實不是因為我真的想去這間公司，是有點像定期模擬考的感覺，確保一下我在市場上的還是有價值的。這種感覺會有一個外部的 review 來看我是不是有價值。你可以充電一下，同時也可以瞭解一下外面的生態。你在一間公司久了以後，你就會一直覺得我好像看不到外面世界，但面試會是一個看到外面世界的一個機會，所以我大概閒的時候會每季度面試一次。
Stella：如果你這種試探性的面試拿到了一個工作機會，這個工資是比你現在的工作的工資高很多，你會因為這個去和你老闆談加薪嗎？
國父：也許會透露這個訊息給他，但不會到說我一定要加薪，不然我就離開這樣程度。可能連接到過去的痛點，我覺得找到好的人才一直是我覺得辛苦的一個面相，當然好人才要怎麼吸引過來？有很多面相，薪水只是其中一部分，很多時候我就會想要把外面這個資訊給我老闆，然後讓我老闆知道。嗯，如果我們要搶到好人才，你要這樣子開價格，哈哈哈，所以我更在乎的可能是我怎麼hire到下一個好的 teammates 而不是我的薪水。
Stella：好偉大。
Amy：有的時候待很小的心創，然後還在找那個商業模式的時候，大家都很會替老闆想。
Stella：就是ownership。
國父：對。剛開始也沒有很想去，因為我對 B2B 沒什麼興趣。我覺得做 consumer product 還是有趣的，就是你可以當你覺得你擅長從使用者角度看問題的時候，你會想要繼續做這件事情。但是 B2B 的時候你會發現你不是使用者，你就會覺得他要什麼我很困惑。然後很多時候你的 B2B 的那個客戶又過大，所以他的話語權會比你高很多。就 consumer product，就是你想做什麼產品你說了算，就是客戶說了算， B2B 就可能會反過來，所以我就是喜歡那種 ownership和掌控權的人，就覺得要去 B2B 好像也還好，反正就面面看吧。
國父：那面的過程我發現其實體驗蠻好，就是第一個題目很難。我就覺得噢好久沒有被 challenge 的感覺，覺得很開心，哈哈哈。然後面試過程就是面試官問了很多很棒的問題，探索很深，我就覺得有時候就好像上了一個課的感覺，就很久沒上課的感覺，就是一個學習的機會這樣，所以剛開始在這個面試過程中就覺得還蠻正面的，然後到最後一關跟 VP 面試也是一樣，就是覺得，嗯，有被重視和人看重的感覺，然後被認同是最主要吸引我的點，然後以及在這個新環境可能可以有很強的同事，然後我可以學到很多東西。
國父：很多人 challenge 我，是一個很不錯的地方，因為可能隨著公司一起成長，就是公司越來越大，你就自然而然會有越來越多的responsibility。就相對來講也會有冒牌者症候群，就覺得會不會我逐漸的攀升或者負責更多事情，只是單純因為我是一個老員工，會覺得好像我是不是真的是足夠有能力承擔這樣的事情？我也覺得做的也沒有很輕鬆而已，所以或許到一個新的環境再重新檢視自己是一件好事。
Stella：當時面試你的人是在台灣嗎？
國父：那時候台灣沒有面試官，就是都是以色列為主。
Amy：那Taboola的團隊分布就是在 LA 以色列跟台灣。
國父：現在以色列還算是實質上的本部，就是大部分的開發團隊，包含product manager， analyst 或是engineer，幾乎都會是在以色列，在布達佩斯，然後在希臘也有團隊，然後在烏克蘭其實也有小小的團隊，到處都有，但是規模都是沒有到很大。現在前三大還是以色列 LA 跟台灣。
Amy：你剛開始進去跟以色列的工程師，還有洛杉磯各個國家的工程師有很大的差別嗎？
國父：我其實到今年才真的跟洛杉磯的工程師有合作，但我可以比較講的是台灣跟以色列的工作文化差別。剛開始我的direct report 的那個主管是以色列的，他其實是半個美國人。可以這麼說，但是他剛開始就很擔心會不會有什麼文化差異呀？他是這個整個 department 中唯一有 direct report 在台灣的，他會覺得很多不一樣，所以他心中可能會有很多的擔憂。
國父：早期會蠻常問我說這是不是 culture difference？那個是不是 culture difference？比如說有一些文章講到一些，比如說東亞文化上就是整個會議如果沒有人說 yes 的話就是no，在西方國家的話是整個會議如果沒有人說 no 的話就yes，這種 default value 會有不一樣，他就不會很確定有時候會議安靜的時候，他到底要怎麼解讀這個東西，這一種問題。那也同樣在書信的過程什麼的都會有文化媒合解讀問題。
國父：那以色列 engineer 它的風格是比較直接溝通的，比較沒有這麼講究，不要很有禮貌這樣子，也很愛面對面，就是不喜歡打字，喜歡口頭，直接比手畫腳，這樣子，是這樣的過程我是覺得合作起來雖然是蠻順利的，就是第一個你不用這麼在意禮貌的話，因為你英文也不夠好，所以很難注意禮貌。直接溝通是輕鬆的，因為他們也很直接溝通，你只要可以理解他們的直接溝通，你也不會覺得他們是不禮貌的。
Amy：有聽過以色列人蠻直接的，應該會很順暢。
Stella：是不是你入職這家公司的時候就是remote比較多？
國父：沒有，我們一直都是進辦公室的，我沒有特別 prefer remote。近年都是一周要進公司三天，然後是固定的三天這樣，但我一直都是進 5 天的人。
Amy：哈哈哈，有點畫面感。
Stella：那你剛進入Taboola的時候，那個時候你瞭解原生廣告嗎？你明確的知道自己進去是要做什麼內容的嗎？
國父：我大概知道它是一間廣告公司，以及它在哪邊的廣告版面長什麼樣，但我也是面試前才開始查原生廣告的定義是什麼呢？但具體它整個 business 怎麼 work 沒有到非常非常熟，就是比如說我跟媒體怎麼談生意，然後這樣的 business 的細節我知道進去之後才知道。
Stella：這些 business 的細節你是怎麼學習的？
國父：就在會議中偶爾聽到一些東西就會好奇，聽不懂就會問，那或者是說我是一個，也沒有人太花時間教我，但是我就會是一個瘋狂的訂閱大量的 slack channel，嘗試看懂所有 slack channel 每一個討論的 slack 有一個快捷鍵是 command shift a，它就會列出所有 on read cross channel 的 on read。
國父：那我就從第一個看到最後，全部已讀，那這是我每天都會做的事情，這樣在我還沒有很忙的時候，然後同時的 Email 所有的東西我都會看。我們可能有 knowledge base，像是 confluence 那種平台，我也會去收集一些我好奇的問題去上面找，然後就把它排到我的學習queue 中，就是一個一個去消化，所以沒有特別人教我，但是我自己就是一直安排我怎麼學公司的business。
Stella：這個過程花了多少時間，就是到什麼時間，你是覺得說噢，我是非常的自信，我是可以理解所有的業務問題的。
國父：我覺得公司在我原本的 department 我待了兩年都覺得我可能只懂大概30％東西。這資訊和曾經嘗試過的東西，還有不同的系統，實在是太多了，我實在很難每一件事情都說我很熟，就只能盡力，至少我有機會要用到或要做決策的資訊，我都應該要掌握住。
Stella：這個可能也聯繫到你前面提到的 impostor syndrome，你剛進入一個新公司的時候，你覺得對很多業務問題都不瞭解，有，對於很多東亞人來講，你可能也不太敢什麼問題都問你，是到某一個時期你會和自己和解嗎？就說，噢，我其實也並不是需要我們所有的問題。
國父：這是好問題。哦，好像還沒有和解，我還是覺得我缺好多知識，我要一直學這種壓力還是蠻大的。也不是，公司內的知識包含我日常中會看，大量的外部的資訊也是。我不確定這是不是合理和健康的，我猜我的 teammares會覺得我這樣的行為對他們來講壓力很大。哈哈哈，他可能會覺得我對自己的期待是這樣，那可能對他們期待也是這樣。
Stella：那你對他們的期望確實是這樣的嗎？
國父：理想中是這樣吧。但我也不是這麼的天真，哈哈。
Amy：哈哈，我覺得有一招還蠻有用的，就是剛進一家這麼複雜的公司。我說複雜是因為廣告生態真的很可怕的複雜。你不管怎麼 Google 都 Google 不完，我之前待 4 年的時候總是會有 new player come into the picture。怎麼講 new player？就你以為你已經瞭解整個業務生態？所有會發生的廠商是長什麼樣。有一天有一個新的合約要簽，然後發現，噢，原來還有另外一種玩法是我沒有聽過的，然後會有一些 new player，我解決這個問題的方法是，我會去問一個 business lead，或者是真的知道這個公司比較核心內部業務的問題的人，我會直接去問他說我們公司是怎麼賺錢的。
Amy：你可以講最重點的部分，通常這種人他只會給你最重點的部分，因為他其實 technical details也不知道，然後我發現這個還對我還蠻有用的，因為你在做事的時候就知道說重點是什麼，反之是我身邊很多其他engineer，我可能跟他共事 4 年了，我有一天就可能吃飯問他說你知道我們公司怎麼賺錢的？很多人其實是答不出這個問題的。
國父：我覺得你這個方法很好，其實我最近也在努力做這個轉換，就是以前我是一個自己去挖資料，而不是跟人互動來學習的。我發現我現在時間越來越少，以後我就需要 human summarizer，哈哈哈，反而我去就是很多很多 one on one，就是我們公司不確定是不是以色列文化，就有大量的 one on one 也和隔壁的 department 的team lead那邊的manager，這邊的PM會排一大堆，跟你的每周或每兩周每個月的 one on one 就很多。
國父：但這些 one on one 就是一個相互 summarize 資訊的一個好地方，所以反而 offline 就是像 Email 或是 style 的這些東西會慢慢越來越不重要，因為大家都是各自在各自的小圈圈，然後去進行各自成為彼此的好的 summarizer 去 pass 關鍵咨詢給其他的部門，最後就變成很 face to face，口語上，而不是 depend on 某種比如說 JIRA 或 Slack 的這樣的系統去交換訊息。
Stella：我覺得還有一個角度是我們在剛入行，尤其是技術出身的人，剛入行的時候都會有一種本能想去知道所有的技術細節，但是你做的時間越來越長，你的 scope 越來越大，包括年紀漸長，你的精力可能也沒有那麼好的時候，你就不可能去瞭解每一個detail，很多時候我覺得現在我們培養自己的一個能力就是 know you don‘t know。我明確的知道自己，我不可能知道所有的事情的細節，但是我至少要知道我什麼是知道的，什麼是不知道的，我覺得有這個會在我的工作中就幫助我很多，我能問正確的問題，我也知道什麼是可以放掉的，什麼是需要抓的主要的部分。你在剛進入一個公司的時候，你還有一定 imposter syndrome 的時候，你如何管理自己的 direct reports？這個會是一個障礙嗎？
國父：對於台灣來講的話，因為所有我 team 裡面的人都是比我後期來加入的，所以比較沒有這個問題。但是因為最近公司的 reorg 多了一些，direct reports 是在洛杉磯的，他們在公司待的時間和業界待的時間其實都比我長。另外一面就是他們洛杉磯那邊負責產品，負責的業務也都是我很不熟悉的，甚至過去完全沒有接觸，所以你可以說我的團隊比我懂所有的東西，無論是產品面向，或是系統面向。
國父：這時候當然挑戰我覺得是蠻大的，就是另外一個挑戰是他們跟我的 function 也不一樣，我是一個算法出身的人，他們是前端和後端出身的人，其實你完全就是一個外來者，然後空降進來，又不同的專業外行管內行，資歷又比較淺，在這個狀況下，你怎麼說服他們或讓他們信服你是有這個資格的，怎麼讓他們覺得公司這個決策是合理還是對的？那不是只有你讓他們信服你的，還有信服公司的決策或是外部主管決策，這都是挺難的問題。
國父：我不會說我已經解決這個問題，我只是覺得還是 on the way，但我的起點比較像是第一次就見面他們的時候，我就給一個presentation，這個 presentation 我起頭就說今天這個是一個面試，我是candidate，你們都是面試官，你們來面試我是不是值得當你們的主管？因為有時候你自己直接去講說，噢，我有多厲害讓大家信服。
國父：其實那時候有時候給人的感覺不是很好，但你把它變成一個面試的時候，你就覺得你在這裡面不論講自己有多好都很合理哈。這是從這一個面相，然後這也是一個機會，讓你去展現出你的價值在哪裡，當然你自己在從內容角度上你要去找出為什麼你比他們更適合這個角色，在你還認識他們很少的時候，呵呵。比如說我可能產品背景比較多，然後我算法背景比較多，這些是你們不具備，然後或是Taboola是一個資料驅動產品為主的公司，所以知道怎麼用資料去創造最大價值，也是一個這個重要的能力，而不是只是單純的工程上的前端或後端的開發等等。你就可以列出很多的你可以帶來的價值和你為什麼適合這個角色，那這些可能是對方不具備的，透過這樣子一個假裝面試的流程去，有點像軟性下馬威，是一個我做的起點，那後面的話就是當然你也會需要 open minded 去收集不同意見。所以也發了問卷吶，讓他們列出他們對這件事情有什麼疑慮，有什麼困惑啊。然後不是我來發，是 HR 來發，收集這些回饋以後我也需要一個一個回答這些問題，然後也需要列出一些我對這個團隊的期待或長期的 vision 是長什麼樣子。
Stella：我很喜歡這個軟性面試的這個idea，但我並不覺得它是一個下馬威，因為很多時候這種空降的manager，你在第一次見組員的時候，實際上你都是在做一個說服的工作，你的做法是你直接就把它擺在明面上，其實這樣打破了一種上下級，至少是在這個期間打破了一個上下級的這種關係，我覺得還蠻有效的。
國父：希望是有效的，我覺得實際上的信任還是要在長期合作的基礎上逐步建立。嗯，對，但是這個基礎可能剛開始，要不要有太大的心房是一個好事。
Amy：聽起來 Pinkoi 跟 Taboola 都是蠻資料驅動的公司，很 data driven。那國父覺得這個是你幸運，還是很多公司都可以有這樣的環境？
國父：我現在很難直接回答你資料驅動是絕對的好或壞，事實上我最近越來越覺得。哈哈哈，你不能太資料驅動，你要更相信自己的自覺。我覺得最近我越來越有這樣的感悟，也是連接到最近看 amazon 的書，然後什麼 day one 思維等等，我發現。。。先講資料驅動的好處好了，我們先從好處想。
Amy：好，我們先講好處再講壞處，而且我們這個podcast還是要講一點好處。
國父：哈哈哈，我覺得資料驅動一個好處，就是它就像是一個你可以看得到結果的成績單，它有兩個面相，第一個就是你知道結果是好與不好，讓你每一步都踏得踏實。第二個就是從資料角度，你也可以挖掘出驗證一些insight，讓你可以找到下一步，這是資料驅動最重要的兩件事情，當這個東西是每個團隊甚至每個成員都有辦法做這樣的事情的時候，你就不需要一直 top down 說告訴大家我們要往哪邊走。因為每個團隊都知道自己要該往哪邊走，跟前進的多少其實是蠻有價值的一件事情。唉，這麼快就要講到壞處了嗎？
Amy：哈哈，好處已經講完了。
國父：好處簡短說是這樣子，壞處的話我會覺得說第一個是你要讓團隊能做這樣的事情，資料釋讀的能力需要每個團隊要具備，不是每一個團隊都有能力，很客觀的或是比較理解 bias 的狀況下去解讀不同的數據或挖掘出下一步是什麼，有可能團隊在這個面相不夠成熟，其實你只是讓他們自己覺得往對的方向前進。
國父：第二個是我覺得指標跟策略是兩件事情，就是如果你讓一個公司業務可能拆分成 5 個指標，讓五個團隊分別去解決這五個指標，效率或成長等等。這樣狀況下會導致每個團隊之間會非常 short sighted，那就是看著他自己指標做事，橫向的合作會變少。另外一個就是長期的策略按共同的目標也會減少，而且甚至會合作，減少的同時也有可能甚至帶來彼此之間的競爭。
國父：你做了這件事情，你會讓我這邊指標下滑，你怎麼可以做這件事情？這也會造成反而公司越來越不合作，會有這樣的一個狀態，下一個就是如果你要確保你的東西是可以衡量的，然後可以從數據中找到insight，我覺得蠻多時候這樣子的事情會非常的小步，就是你每一步都是小步前進。
國父：那你可以想象如果我們以產品開發來講，大型的 big tech 公司跑 AB test 是可能數千數萬個 AB test 隨時在跑，他們的 throughput 非常的高。你小公司如果你要追上大公司，你一定要不是線性成長，你的速度一定要比它快很多。但如果你每件事情都想要小步快跑、小步驗證的話，那你就真的每次都很小步，所以你永遠都追不上大公司的步伐。所以我會反而覺得說在公司沒有很大的時候，比如說像 startup 的狀況下，可能直覺跟策略跟不同部門之間的高度align，價值的align，比起把指標具線化，讓每個人獨立作業比較重要，因為這時候比較像是 day one 的一個狀態，你真的是要找到一個可以跨大步的方向，那跨大步的方嚮往往不是這麼的資料驅動，也不容易從資料中找到方向。如果你已經走到一個每一件事情你都想要驗證，你一件事情都走小步好了，就是有點像 day two 的思維，也導致這些公司就會變成一個進入一個比較像營運模式的一個團隊，那公司的成長就反而會放慢。
Stella：聽下來我忽然在想 data driven 是不是公司發展到一定規模之後的一個必然選擇？你的規模到一定大的時候，你一定需要某一種機制給你提供 visibility transparency，那這個時候 data driven 是不是就是唯一選擇，或者是你的最好的選擇？但是也是不是因為 data driven，所以我們看到很多的公司早期他們都非常的創新，但是到一定規模之後就只有小步小步的慢慢走，沒有再有大的突破了。
國父：我覺得是因為 data driven 是一個當他們，當我們公司很大的時候要管理每個團隊 performance 的時候，他會希望可以有客觀數據來看績效，因為你已經沒有辦法用很自信、很 face to face 方式瞭解每個人貢獻的狀況下，老闆就會覺得這些團隊離我好遠，那我要看到數字我才可以知道他到底做的好不好，所以自然而然就會走這個劇本，但它就會讓我們喪失了蠻多價值。
國父：是在 data 上看不到的價值，然後你就會覺得你很難在這方面會有貢獻，因為老闆不會看到，那也有可能因為這些機身你就很難走上一個真的是很正確，策略上很正確的路線。我覺得是它會自然而然發生，但到底要怎麼避免它發生，我倒還沒有很好的idea，因為我會希望大家在 performance review 的時候可以看更多執行的東西，看你怎麼思考，看你怎麼去決策，而不是只是看數字。但是畢竟人的能量，它的時間是有限，你沒辦法要求老闆把每件事情都看這麼細。
Amy：我們以前做很多廣告算法的時候，都一切都看起來非常的好，我們那時候有一個臨界點覺得說，唉，好像就是這麼好了，這就是我們能做到最好的地方了。然後我們組有一個 data scientist，就跟我說這個時候是不是 goodhart's law 就 kick in，然後goodhart's law 就是，嗯，我還是要講英文，哈哈哈， when a measure becomes a target it ceases to be a good measure。就是你一直在追求那個指標的時候，它就不再是一個好的指標了，因為它會使你大家變得有點像走流程，然後你一直在 optimize 這一個指標，可是你會去忽略其他應該注意的東西，因為指標它會是指標，是因為我們把它簡化成數字才能calculate，那其他你沒有考慮的因素就已經完全被 ignore 了。然後當整個 team 這樣跑的時候就容易流於形式，就是我們這指標到了，就是這樣而已了。
Stella：對，我覺得很多公司的 culture 是在兩個極端，要麼就是完全忽略data，不去看 data 或很少看data，或者就是完全的 data driven。但其實 data 自己做 data 的人你就知道 data 只能 capture 一部分的信息，還有很多信息是不在 data 當中的，而且每一個KPI，每一個metric，它也有很多assumptions，但是你在交流的時候大家就忽略了這個assumptions，就導致 data driven 就變成了一個像是標準化考試一樣。
國父： goodhart's law 還有另外一個我覺得比較記憶深刻的故事，就是那個英國接管印度的時候頒布一個命令，就是如果你可以抓越多的眼鏡蛇回來，你就可以換錢。因為那時候眼鏡蛇泛濫，然後這個命令頒布下去，大家可能想象的到就是不是大家努力抓眼鏡蛇，是大家努力的養眼鏡蛇，結果被政府發現以後就取消這個命令，最後眼鏡蛇就放回大自然，所以眼鏡蛇比原本接管前還要多。
Stella：誒不行，我們這個是一個數據podcast，這一趴 end on a positive note。
Amy：不過我覺得 data driven 還是一個需要實做的方向，因為你不可能永遠用策略本身去 drive 一個growth， drive 一個company，你一定是還是要有一點compass，我覺得它比較像是一個指南針的概念。嗯，就你往那個方向走應該是對的，可是你不能忽視其他的細節。對，就是你，例如你拿了一個Compass，你拿一個指南針一直往南走，那前面有一個冰山，你還是要繞過去嘛？所以你要去想說你要怎麼繞過去，而不是說，唉，我就是一直要往南走，那樣就變得有點 data driven by the book。
Stella：your directional guidance，但是要 take it with a grain of salt。
國父：說的沒錯。
Amy：國父跟我們討論訪綱的時候，我覺得看到一個蠻有趣的comment，他說他自己是一個非典型的成長經歷，然後有時候在面試的時候不一定可以被認可，就馬上去看了國父的學歷。然後國父是念電機跟那個 computer science 的學校也不錯。為什麼會覺得自己非典型？
國父：其實是我不覺得我學歷很好，起因是因為我很早就開始知道我的興趣在哪裡，高中的時候我就開始熱愛電腦，開始寫程式等等，甚至管理很多的Server，或是在論壇的參與度很高。應該說當時 linux 上相關的問題我應該回答問題排行榜是全台灣第二名。
國父：有高中時代那時候就是已經有點陷入這樣的一個自我感覺良好的一個世界，所以我那時候也蠻皮的，也沒什麼認真念書，就覺得反正我在某個地方已經做出一些小小不是很重要的成就，當時覺得很厲害，但是現在回頭過來想會覺得這就是nothing。哈哈，對，那所以我在很皮的狀況下，可能比如說包含我考大學的時候，國文直接交白卷等等的，這樣最後幾乎沒有學校可以選。
Amy：這樣還是有大學念的？
國父：對。
Stella：你為什麼要交白卷？
國父：就很皮吧。就是那樣。這個故事也蠻奇怪，就是反正一方面是我那時候很不喜歡國文，在第二方面就是反正也比較隨性的態度。對，就走向這一條路，所以大學其實也沒有到很好，但是我一直都知道我不算是笨的了，知道我有能力學自己學很多東西，也許我在我的學歷上不能反映出我真的可以解決問題的能力，但我至少相信我自己其實有能力解決這東西的這樣的感覺。所以這樣子沿路過來的話，當我可以說大學畢業或是研究所畢業的時候，我並沒有覺得我是一個 new grad，因為我其實在做自己的東西等等的，或做自己side projects 等等的經驗已經不少，但是這些東西又不太容易被這個社會或是面試官很容易看到這樣的一個價值。
國父：所以剛開始你可以說不容易被認可，但是當你開始進入職場環境，實際上去解決問題的時候，你會覺得在面試過程中被evaluate，這個職場明面上被標籤 evaluate 的這個東西跟我實際上的產出和能力應該會有明顯的落差，就是我會覺得我非典型是因為我可以說我還沒 20 歲之前就已經走向我的職業，但是我實際上走上那個職場上的第一份工作其實已經 30 歲了，中間是一個很荒廢的一個 10 年，在履歷上顯示不出來，但我也不會覺得我是浪費時間啊。
Stella：所以你說你在面試的時候不一定被認同，是因為你在簡歷上看起來你在你的第一份公司開始的比較晚。
國父：第一份公司開始的很晚，中間蹉跎了很多年，我 20 歲以前的職涯，不太能顯示出來。
Amy：那是一個大家不會看 GitHub 的時代，是不是這個問題也可以這麼說，像在美國求職的環境，好像你這些所謂的工作以外的活動，一些 contributions 其實都是可以寫在履歷上，然後面試官也都是會 take into account 的。
國父：也另外一方面就是面試官也許看得懂，但是其實在 recruiters，不一定他看得出這些tag。
Amy：那我們來聊一下學歷的重要性吧。國父一直說他學歷還好的，可是學歷又代表什麼？因為我們三個學歷還可以的情況下，好像出了社會有時候也不是那麼重要。可能是個敲門磚，也可能只代表你的智商跟你自律的能力。在一定的程度上面，我們覺得學歷以外最重要的是什麼？
Stella：國父，你自認為自己是一個好學生嗎？你會這樣定義自己嗎？
國父：從來不是，哈哈哈。
Amy：他都交白卷了。
國父：我連作業都不交了。哈哈哈，應該說我到新公司以後，其實同事的學歷其實大部分蠻好，至少我團隊裡面的好像全部都是台大電機還是資工的吧。可以感受到在學歷好上面，就是像剛剛 Amy 說的比較像是自律跟智商的，這兩個面相是最重要的。我在過去我自律，至少我的自律是我自己的自律，不是外面給我社會壓力的自律。老師對我的期待或父母對我期待，不會對我形成壓力，我對我自己的期待才會對我形成壓力，導致我在學校的那個表現其實並沒有特別的出色。
國父：同時我覺得一個比較名校的角度來講的話，你可以認可這些人在一個賽道上面，他們是可以跑在前面的。一個好的賽馬他們擅長於在一條賽道上面跑，在最前面他們可以學得很快，他們可以表現得很好，但不見得在一個沒有賽道的情境下，他們就可以持續的表現很好。從學校跳到業界的最大落差就是沒有人告訴你該做什麼才是最好的道路，沒有人告訴你該學什麼才是你可以持續的成長，它還不是一個被 plan 好的一個計劃，學歷好我覺得還是有它的優勢，學得很快。你要更自主一點的角度去看的話，比如說你的持續的發掘，找到下一個方向，你可能找到方向可能會是錯的，你會不斷的失敗，不會被這樣的持續的失敗給打擊，又持續在找下一個方向，這個是在學校經歷不太會體驗過的東西，它會變成說你會需要一些持續面對失敗的議題，還持續找下一個方向的好奇心。另外面相就會是人際上面、合作上面，在學校你要跑在前面，就像賽道賽馬一樣，你不需要合作。
國父：你有把書念好，把考試考好，在工作中你很多東西推進，你需要仰賴合作、仰賴人際關係，仰賴怎麼去分工，不僅僅在選題上顯示出來，在公司中就會很明顯。
Amy：Stella 有要補充嗎？因為我們三個裡面我覺得 Stella 的學歷算是最顯赫的。
Stella：我剛才就在想說，我會給自己定義為一個好學生嗎？我自己並不覺得我是一個好學生，我確實是善於考試的人。剛才我在聽國父講的時候跟我自己的體驗很像，我覺得我現在還在做的一個課題，就當你特別善於考試，其他的事情也一樣，你特別善於一件事情的時候，你很容易進入一個路徑依賴。
Stella：如果我們放到職場里來講的話，就很容易把很多事情當成是一個考試，我們在當學生的時候第一名只有一個這種思維，如果放到職場里來的時候，你總會覺得在這個環境當中有一個最好的人，最優秀的人，或者你想去做這個最優秀的人，或者是你在看一些工程上的解決方法的時候，你會覺得有一個最優解，你要去找這個最優解，就在我看來這個都是路徑依賴，我可能過去十年我都一直在擺脫這種路徑依賴，這個就是和剛才國父講的一樣，不要把自己框在一個軌道上。人生是曠野嘛。哈哈哈，其實有更多可能的方向。
國父：最常的比喻就是你是賽道上的賽馬，還是荒島上生存的猴子？你在荒島上生存，其實你一個人活不下來，你可能需要一群人一起合作，你想要找到下一個食物，下一個水分是不容易的，它也會中間遇到很多挫折。但是荒野中的猴子到賽馬上一定會落後別人很多，永遠跑不贏賽馬，到荒野中求生存，又不一定可以活得很好，當然我們都希望我們的同事或是什麼是一個兩者兼備的人，有時候真的蠻運氣的。
Stella：在有些職場文化當中，從公司的角度來講，他是想要賽馬，或者是在每一個人來講你的職業發展前半段你做一個賽馬可能你會更有優勢，但是到某一個bottleneck，到某一個瓶頸的時候，你就發現之前的那個方法其實已經不適用。
Amy：我第一個工作的時候學了一個算法叫 multi-armed bandit，那時候看到 bandit 的algorithm，我就想，哇，這個實在是太符合我們應該追求的人生，你要把你的人生分成 exploit 跟 explore 兩個。
Amy：對我來說，在求學階段，學歷是一個非常直觀可以 exploit 的東西。我對自己的要求是你要在一定的程度上面，我從來不會覺得要當第一名，在一定的程度以上的時候，你就等於有進去下一個階段的 express ticket，當你到下一個階段的時候，你就可以把之前的東西就都丟掉了，你就可以 exploit 這一個階段應該 exploit 的東西，可是你必須把你的探索的那個 branch 打開，對我來說一直在switch，就是我到一個新的地方了，最佳化我覺得大概到二三名那個地方的程度，不會去再去追求到第一名了。我可能就去想說那我另外還有什麼可能性？所以講到除了學歷最重要的是什麼？我覺得是這個。不覺得「就這樣」的能力，就是一直把那個雷達是開著的，覺得有突破自己的可能性。
國父：我覺得這也連接到另外我最近看 Andrew Chen 的文章，他說其實你很難在單一領域追求到最 Top 2% top 1%，但是你可以在多個領域變成前段班的人，這個多個領域的整合性就會變成你非常好的優勢。我們在做 exploit 的跟 explore 的 balance 的時候，有可能我們可以在多個面向有一定程度 explore 都不一定要做到 top one，但是整體起來整合上是最 top one 的。
Stella：還有你的 objective function 是什麼？這個也決定你在 explore 和 exploit 上面的這個 allocation 的不同。
Amy：建議大家都去看一下 bandit algorithm，我覺得這個實在是太 philosophical 了。這個 algorithm 特別有用，拿來做算法有用，拿來人生去想事情也是蠻有用的。
Stella：有一本書叫 living by algorithm，他就是從算法當中總結一些人生經驗。
Amy：最後，國父有沒有什麼問題想要問我們兩個？
國父：我想問你們做 podcast 到現在覺得最讓你們意外的收穫是什麼？
Amy：我意外的收穫是我發現我一直以來在美國上課、工作，中文越用越少，我現在發現我的中文開始 pick up 了。我覺得我的訪談能力還有待加強，中文肯定是變好了，認識更多的人了，從他們身上學到更多面相，這個是比較 cliche 的，肯定有的收穫了。強迫自己用中文的這件事情還蠻意外的。
Stella：剛才Amy說這個有啓發到我的，這個收穫應該不能算是很意外，如果我不做podcast一定不會有的一個收穫就是音頻剪輯，從這一點上你又可以看出來，quote unquote 學歷好的學生就很容易做這種事情，就是研究 technical details。
國父：那你們覺得做到現在最辛苦的點會是什麼？
Amy：沒有覺得辛苦誒。
Stella：如果做得很辛苦的話，應該是堅持不下來。
Amy：跟來賓聊天，或者我們兩個自己聊天都只是娛樂活動。
國父：所以包含剪輯也不會很辛苦。
Amy：剪輯有在邊剪邊覺得我現在能力大爆發。哈哈哈現在能出去還能當小編了。
Stella：對，哪天 data 幹不下去了出去做剪輯。
國父：我自己想象，我如果要開始做剪輯的時候就覺得好想有一個AI什麼的，幫我剪好就好了。
Stella：最近還真是有嘗試一些這樣的 AI products，但是真正做了這個之後，以及真正用了一些 AI product 之後，就覺得就和所有的 AI 產品一樣，它可以幫你做70%，但最後的 30% 最花時間的事情，所以他還是沒有辦法被完全的automate。
Amy：國父以後可以考慮多上一點podcast。
Stella：或者你想幫我們剪，可以嘗試一下。
Amy：他等下去 Audacity 的那個社群變得非常 active 就好笑了。
Stella：Audacity回答問題第一名。
國父：我現在已經不會做這種事情了。
Amy：你是會做Stack Overflow的嗎？。
國父：我以前回答問題的時代大部分是 Stack Overflow 出來之前比較多。
Amy：後來就受傷了？
國父：我以前蠻愛在網路上辯論或吵架，你會發現你打筆戰是打不贏不聽勸的人的。 太耗精力。所以我後來就覺得可能有一個很大的陰影，就慢慢的有一些陰影。我曾經蓋過 2000 樓的大樓，在台灣用詞就是一個樓，就是一個comment，一個post。
Stella：大陸也這麼說。
國父：蓋過 2000 樓是來回跟很多人筆戰的。
Stella：這種 2000 樓是討論什麼？是技術嗎？
國父：技術問題，我那時候在討論汽車，反正我是一個想要知道很多技術 detail 的人，買車就會想要把汽車完全搞懂，買相機就要把相機完全搞懂，就會想要知道很detail，就喜歡到這些論壇跟大家思辨，思辨到最後就有時候會變成筆戰。
Stella：你的人生是不是業餘時間就是在讀各種資料？
國父：是幾乎就是沒有在停的，一直看一直學。
Stella：我現在很愛問人這個問題。就你的人生有發呆的時候嗎？
國父：真的是好問題。哎，好難。
Stella：沒有就一直在吸收新的資訊。
國父：很難說有真的發呆時候，就算坐在路邊沒有幹嘛，沒有聽音樂，你都會發現你正在觀察周邊的人。觀察鳥在吃什麼啊？觀察老人在打太極拳。都還是腦袋一直在用。很難說是完全放空。
Stella：也還是有這種路邊看鳥或者是看老人打太極的時候。
國父：有，會刻意安排這樣的行程。
Amy：我總是在發呆，我覺得我很容易就進入發呆的情況了。
Stella：我也是。
Amy：我們上次另外一個嘉賓，我感覺他也沒有發呆的時候，我們問他有沒有躺在沙發上刷手機，他好像猶豫了一下，然後擠出了一些休閒活動可以聊，可是我覺得他沒有什麼休閒活動。
Stella：有時候不一定真的是字面意義的發呆，但是我的人生中還蠻多 unproductive hours 的，並且我很enjoy。
國父：大家都有吧。大家的 unproductive hours 到底是長什麼樣子？
Amy：我們覺得你去筆戰，那個都很productive。
Stella：就討論技術問題啊。
國父：沒有，我也是會滑短語音，聽小說這些也都是有，然後或是出去運動打球什麼的。沒有到這麼的每分每秒都在產出什麼東西的狀態，我還蠻沈迷小說。
Stella：那你是看哪個類型的小說。
國父：起點。
Stella：你說你看起點小說這件事情推翻了我們談的兩個小時我對你的印象，你是有休閒的。
國父：我發現聽小說是一個有趣的事情，後來發現我們長大以後很少有想象力聽小說，因為沒有畫面，所以你就會要從文字中去想象它的勾勒的空間和畫面，就可能像小時候看哈利波特一樣，你也沒有既定印象哈利波特應該長什麼樣子或者什麼，「去去武器走」它這個會發生什麼事情？你只有文字的狀況下，你就會發現你會努力去想象那個畫面，訓練一下自己的想象力。我也覺得我有點在訓練什麼東西，但是在訓練自己的想象的能力。
Amy：今天謝謝國父來我們這裡玩，大家掰掰。