EP9: 對話Zendesk Head of Applied Science 職業選擇、明星startup的隕落、LLM如何落地
「用聽的」
追蹤訂閱，不錯過數據女孩最新資訊
YouTube, Spotify, 小宇宙, Apple Podcast, B站, 小紅書, Threads, Instagram
「用讀的」
Amy: 大家好，歡迎大家收聽新一期的「數據女孩的中年危機」。我是Amy.
Stella: 大家好，我是Stella.
Amy: 感謝朋友們的喜歡跟支持，也歡迎新朋友們來聽我們聊天。大家在網上直接搜「數據女孩的中年危機」就可以找到我們了。在YouTube.各大Podcast平台，Spotify、Bilibili、小紅書、小宇宙都可以直接關注我們。
Amy: 我們都會分享各式的資源，還有新的Podcast的內容。
Stella: 今天我們的嘉賓又是Felix,哈哈哈哈。
Amy: 對呀， Another Felix.但是這個Felix的背景，還有姓也都不一樣。
Amy: 你要不要。先一句話，介紹一下自己啊， Felix。
Felix: 大家好， 我的名字叫Felix,然後呢是Felix Cheng.我現在在Seattle做一些AI相關的一些事情。
Stella: Felix也是我們很早就定下來的嘉賓之一。就說起來，還挺有意思的，我怎麼和Felix認識的。
Stella: 2024年剛開始的時候呢，我就在LinkedIn上許願說我的2024的New Year Resolution就是要認識更多的人。
Stella: 然後我在2024年剛開始的時候，認識了兩個人一個是Felix,另外一個就是Amy.
Amy: 認識了兩個Social Butterfly.
Stella: 所以現在我們就坐在一起錄Podcast,聽Felix跟我們分享一些他的職業發展的故事和一些他的 unique perspectives.
Felix: 對，我覺得認識Stella，我覺得也是挺奇妙的一件事情。我一直以來也會願意在LinkedIn還有別的一些social network上去找朋友然後聊聊天。
Felix: 覺得很有意思。所以當時reach out to you然後我們聊，覺得還挺聊得來，有一些共同的話題。然後對於一些technology, AI然後一些行業的那些發展，其實都有蠻多想法的，挺有意思。
Stella: 嗯，是的。而且Felix之前也是在logistics這個領域做了挺長時間的。
Stella: 然後現在我們三個人都在做跟LLM相關的東西。也是很有緣分。
Amy: Felix 其實經驗非常豐富。我們可以先從他的經驗來給大家分享一些行業的Gotchas。Felix 一開始是在Amazon做Research Scientist, Applied Scientist.
Amy: 其實我還蠻常被問到這個問題，就是Research Scientist, Applied Scientist-到底是差在哪裡?
Felix: 其實Amazon,這個所謂的Science Job Family還挺有意思的。你真的只有在那個裡面待過了，你就知道那些地方。你可以想整個Science Job Family的Spectrum可能從一邊是那種Business Analyst,然後偏向於Metric,偏向於query,偏向於insight,然後比他稍微technical一點的可能就是說 business intelligence engineer，那個也是會spend most of the time做那些dashboard reporting然後會做一些insight。然後再比他technical一點的就是data science,會做一些predictive modeling,做一些forecasting模型，做一些簡單的模型。然後比那個可能更technical一點是research science。那research science再過來是applied scientist。
Felix: 你如果去Amazon面試這些職位的話， research science它跟applied science的唯一的區別是你需不需要有production的coding.
Felix: 很多時候你其實看job family，看他的education background的話，很多的mathematics背景的或者是physics背景的，或者是說industry engineering, operations research這些，他們可能會比較直接的去當一個research scientist,因為他們建的那些mathematical programming的模型其實不是需要他們直接寫到production裡面，更多的是有一個solver在那，然後他們只是把那個模型給算出來，然後會需要engineer的幫助，把這個給package起來放到production裡面。
Felix: 如果是applied scientist的話，他們基本上大部分是computer science背景出來，他們是有machine learning這方面的專長，他們的expectation是你自己做的這個machine learning的model是直接要上production的，他們自己要maintain、own production的code.所以他們這個qualification有一點點小區別，就是那個工資compensation上也會有一些區別。
Amy: 哪一個工資比較高啊?
Felix: 你可以想到要求越高的工資相對越高一點。這個還挺有意思，在Amazon的人肯定就知道，其實你看Amazon內部的scientist會有不斷的想去換job family,這麼個事情。
Felix: 然後從business intelligent engineer BIE,換到data scientist.然後想想，換到research,換到applied scientist.
Felix: 當然我個人覺得大部分原因是因為 compensation會變高。但是也是一個學習的過程。很多人願意往這方面去學習。
Stella: Felix，你在Amazon的career path的發展大概是什麼樣的?
Felix: 我在Amazon可能早期會比較traditional一點。當時我讀industrial engineering operations research畢業了。
Felix: 之後很naturally就直接去做supply chain，那個時候就在supply chain那個organization，叫Scott。做的東西是一些什麼network flow vehicle routing, 特別typical那些OR的問題。
Felix: 然後在大概是2015年左右，那個時候deep learning開始出來特別火，catch a lot of attention.
Felix: 然後15, 16年的時候我就大概就覺得我不想一直在OR跟optimization這塊，想去做一些machine learning的東西。
Felix: 那個時候我也已經從senior scientist變成一個science manager了。就開始帶一些一個團隊了，所以我在16年，17年的時候就從amazon internally換到了一個machine learning的團隊，去建一個團隊去。
Felix: 那個時候是在amazon的廣告。17年的時候廣告還特別小，大概就是一個總共加起來就是個一兩個billion的revenue的一個business。現在好像是20幾個，還是多少個billion的 business。
Felix: 那個時候deep learning是一個處於在探索的階段，在production裡面很少。主要是原因是latency不夠。你像search跟recommendation跟廣告，它其實都有一個特別嚴格的latency，就是你顧客來到你的網站上搜索了一個東西點下來之後，所有的結果全部得出來，大概是個30到36ms of latency for the entire end to end，然後中間分給你做，比如說relevance check,做sourcing，做option.那一步的latency就很小，大概十幾二十個ms的一個quota.所以怎麼能夠把deep learning做到特別短的latency，實在是很大的一個challenge.
Felix: 所以我當時帶著團隊跟別的search的那些大的org去學習，然後做這塊做的還挺有意思。最後我們上線了當時amazon的sponsored brand第一個deep learning的一個relevance model，很大的改善。大概那一回從17年後來從science manager一直做到19年，然後19年就離開了Amazon.
Stella: 當時是為什麼決定離開Amazon？
Felix: 19年離開的時候我有一個Mentor，然後現在他是一個Meta的一個VP.他跟我一直有很深的交流。他當時跟我一個建議說，你在Amazon已經待了挺久的時間了，其實可以考慮去外面看一看。最主要的原因就是說，他覺得一個人30歲的時候，不去一個Startup體驗一下的話30 40歲的時候是比較難去的，因為有小孩，然後精力不是那麼旺盛，可能就不會願意去 take a lot of risk.
Felix: 年紀輕的時候是需要出去take additional risk，後來證明這個risk確實挺大的。我當時去的相當於是一個特別出名的一個startup吧，叫Convoy。
Felix: 當時是一個明星企業，然後上升特別快。當時是Seattle這邊屬於說的上升特別快的 Unicorn.
Felix: 當時是我去的時候是大概估值是900多個 million還沒有到一個billion.
Stella: 你去的時候是第幾輪啊。
Felix: 我去的時候是第四輪，D輪，快要announce了。所以我正好卡在announce之前加入。
Felix: 然後當時還特別著急說，趕緊加入這個startup公司。很多Amazon的人，因為兩個co founder都是Amazon以前過去的，然後招了很多Amazon的leadership，也招了很多Amazon特別強的engineer.
Felix: 所以覺得 it cannot go wrong, right？所以就去了。
Felix: 想說那行，正好一個小startup。而且當時我去的時候，我刻意想從 science leadership這一個角色換到去做產品。最後結果就是2023年的時候，10月份，這個公司經營不下去了，然後就bankrupt了。也是一個在tech industry一個比較大的一個冷門。所以很多都被報道了。
Stella: Convoy也是屬於logistics tech.我和Amy有聊過一期就是我對於logistics tech的看法。我覺得convoy就是一個挺典型的例子，就是在現在這個比較收緊的經濟環境下，然後沒有支撐下去的logistics tech公司。
Felix: 我去的時候是不到一個billion的valuation，然後中間我在convoy的四年公司還融了兩輪public還有一輪private，大概融了三輪。然後最後valuation一度達到3.8個billion，最後被賣的時候賣了19還是18個million的。
Stella: 啊是是是 這個對Logistics Tech公司這兩年這種情況還蠻常見的。
Stella: 你剛才提到你想去做產品。你在Convoy也確實做了三年的產品，而且是principal PM,是嗎?
Felix: 對，我當時有兩個要求。一個是我想去做產品。二是我不想去做一個產品的manager.
Felix: 就是我想做一個hands on的產品經理。但是，因為可能我去的時候，級別比較高，所以就直接給了一個principal，convoy沒有senior principal，這個已經是最高的那個IC了。最主要的原因是我想去學產品一些 hands on的一個經歷。
Felix: 有這麼一個經歷，當時我在amazon待的一段時間之後，很明顯，就是說作為一個scientist後來變science manager，很多時候這個問題被filter到我這個團隊的時候已經是有很多人經過考慮，思考，說為什麼這是一個science的問題。
Felix: 然後我當時就一直好奇說，哎，是誰決定了這個事情，對吧，為什麼我們要上一個deep learning的model,為什麼我們要上一個某某某模型什麼的。所以我就對這塊特別感興趣。
Felix: 然後當時在加入amazon的時候我一直對於customer interaction這塊是很感興趣的。我在amazon supply chain的那幾年，我跑了大概30多個amazon的那個倉庫去，各個倉庫跟運營的人去聊，然後帶團隊去參觀倉庫然後自己也去體驗一些倉庫裡面的各個流程什麼的。
Felix: 這些東西後來被證明特別有效。就是說，你知道這個倉庫進貨，出貨然後分件然後包裝，打包這些各個流程是怎麼活動的以後，你大概就知道supply chain大概什麼個意思。你在建model的時候，你會想到這些各種考慮的那些相關的因素的。
Felix: 所以後來願意去跟customer接觸，然後也願意去了解這些怎麼從customer的一個需求轉換成為一個對於technology的這麼一個需求。
Felix: 這個我覺得是產品經理在做的。所以當時我就說想去學習幾年怎麼做產品經理。
Stella: 我很好奇convoy的人當時聽到你提這個要求的時候，他們有很詫異嗎，覺得說你為什麼不繼續做你的 Applied Scientist或Science Track?
Felix: 我想想看，好像沒有太多的詫異。他們當時一個是一度招人，招得很瘋狂，然後只要是Amazon Tech Leadership或者是 Tech的人過來，大家就特別想要。
Felix: 另一方面是當時我去跟Convoy的 CPO Chief Product.他是我面試裡面最主要的一個人，我跟他聊的時候聊得特別嗨，最後我就直接跟他在黑板上寫了一個，我說我當時做過一個類似於 Sourcing的一個模型，然後裡面考慮到有幾個供應商，我們有不同的定價策略，然後大概思路就是說，有一個Base的比較Stable的，你可以籤一個長期的Contract，然後有一個比較Short term Spark的，那種Up and Down Fluctuation,你可以簽個短期的Contract。就是怎麼把這兩個Dual Sourcing的這麼一個Strategy給Balance一下。
Felix: 我跟他聊。他說誒，這不就是我們想做的一個什麼事情嗎?他一下就被打動了，然後他說你趕緊過來，然後行，我就過去了。
Felix: 對，我都不知道他們在做哪個，但是我當時覺得，卡車行業在跟拿訂單的時候定價策略，其實是可以考慮這些東西吧
Stella: 你在convoy做了三年的pm產品之後，後來又回去做machine learning了，是嗎?這個是一個什麼樣的考慮呢?
Felix: 後來做了三年多以後，立了幾個比較不錯的產品，然後呢，推出去有反響特別好。
Felix: 當然早期犯過很多錯誤，是一個學習的過程，後來覺得推出幾個比較不錯的產品，然後我逐漸覺得產品經理的這麼一個思路，我大概知道是怎麼回事了，那個時候我突然又開始懷念起tech的那種能夠寫code呀，能夠去read paper,這個還挺有意思的，所以後來就回了tech。
Amy: 所以你走了這兩遭以後，你覺得PM適合什麼樣的人，不適合什麼樣的人？像我們這種有ML背景，Data science背景的適合做PM嗎?
Felix: 他有一個說法說PM是一個mini CEO.就是說你其實做一個PM的話，你需要wear many hats然後你需要play a lot of roles.
Felix: 我覺得，如果我覺得任何人有一點點 entrepreneurship的這種精神的話，會都願意去肯定要去做一些PM的，就是說你得知道這個東西要最後做成功。 end to end是你you are responsible for it.
Felix: 不是說你把那個model寫完了，或者你把那個doc寫完了就可以了。我覺得這個是最重要的一個思路。這個也是大廠跟小廠的一個區別。
Felix: 你在大廠其實你做好你自己的本職工作，因為有上百個人在做別的 remaining parts,你也沒辦法管上百個人別的該做到怎麼樣。
Felix: 你只能trust這個system will work it out,對吧。然後你，如果是一個PM的話，你必須得關注到前前後後所有的地方，有的不需要你不是你的responsibility，你也去關注它。如果你對這種特別細的各方面面的東西都感興趣的話，我覺得是可以做一個PM的。
Stella: 那你覺得有data science背景或者是有MLE背景的人去做PM?他有什麼和別人不一樣的advantage嗎?
Felix: 他能夠講到他跟tech團隊一起交流的時候，是能夠說他們的語言，然後把那個問題說得很清楚。
Felix: 我當時去做PM的時候就很明顯，我跟別的PM比起來，因為我們那個產品都是跟science, modeling或者是machine learning modeling相關的然後我跟tech團隊去討論東西的feature怎麼做的時候，會覺得特別順暢，溝通就完全沒有問題。我能聽懂他們想表達什麼，他們的問題是想問什麼。
Felix: 這樣的話就效率特別高。我看到有一些PM的話他可能從business那邊過來而且又不是很願意去學習那些細節的時候，他的溝通只能就說我需要這個模型，你把它變出來，就可以了。這樣就發現，你都不知道這什麼時候簡單，什麼時候難。為什麼簡單，為什麼難，對吧?
Stella: Engineering team或者是Data Science team,很容易被這種PM激怒。
Amy: 雞同鴨講型。
Stella: 對你提了這個要求。 Do you know what you're talking about?經常看到這種就是不太好看的場面。對我們再回頭來講一下 Convoy,這一個startup.
Stella: 你在這個startup的經歷到最後你是做到了head of data還是head of machine learning?我有點不太記得具體的title了。
Felix: 是那個Head of Science，Demand這邊。我們當時有兩個Science org,一個是Demand,一個是Supply。我是在Head of Demand這邊的Science.
Stella: 嗯哼，這一個我其實挺好奇的。就是你作為Head of Science,在你當時的這個Level,看到的整個Layoff的過程是怎麼樣的，然後你的經歷是怎麼樣的呢?
Felix: 我們Convoy當時其實是一個特別突然的一個Shutdown，這個基本上Caught everybody by surprise.連我們的CTO,連我們的VP,基本上所有的VP都是By surprise.
Felix: 他們可能知道One day ahead this is going to be announced.然後我們的那個Founder跟當時的President,他們應該也是被Surprised.
Felix: 我寫了一篇文章就關於說，為什麼Convoy Failed這個事情。後來也是那個All In Podcast裡面有一期講到了就是說在Venture Funding的時候，有一種 Venture Fund叫Venture Debt,那個是其實你不是說VC投錢給你，是VC借錢給你，那個是要還的。然後如果是用到了Venture Debt的時候，那個VC是可以進來把這個公司給收走的。 Venture Debt跟Venture Fund的區別就是 Venture Fund它是希望有Multiple的那個Return,對吧? 它希望你公司Grow Multiple Fold這樣的話它就能夠Make a lot of money.但是它Risk也很高。它可能一分錢都拿不到。
Felix: 但是Venture Debt它不需要Multiple Fold.它覺得只需要比銀行賺的錢多。它大概說10%或15%的一個Return就可以了。但是它的那個Catch就是說，它可以進來把這個公司給收走。
Felix: 當時我們公司運營到後面的時候其實我們大概還有三到四個月的那個Runway,但是因為已經用到了最後我們融了有一輪融資大概是160個Million裡面，有100個Million是一個Venture Debt，好像是這個數。所以最後那個給我們Venture Debt那個公司直接進來就說 We shut down the business.
Stella: 所以是不是也是因為這幾年大環境不太好。所以Convoy當時才會去融這個Venture Debt.
Felix: 2021年是最好的一年，2022年，2023年的時候基本上融不到錢了，然後我們那個時候還是profitability是負的嘛，所以是每個月還要burn一定的cash，然後就看你怎麼能把你的runway給延長了。所以後來確實是需要融錢的時候，又融不到，然後就才去融了這個Venture Debt.
Felix: 我不知道是當時President跟那個Founder是他們沒有考慮到這個細節，因為我聽All In Podcast裡面他們那些人講他們當時很多Founder確實不知道有這麼個可能性在裡面就是說你，如果用到的這個Venture Debt就是那個銀行是可以進來把你的公司收走這麼個事。
Felix: 所以很多人就融了然後呢覺得無所謂。然後後來發現這麼有這麼一件事情的時候就已經out of your control了。
Stella: 就現在回看，覺得如果CEO和founder他們沒有意識到這個可能性，覺得還挺不可思議的。但是回過頭去，如果是前幾年，在環境特別好的時候，可能確實比較難預料說，這確實是會發生的一件事情。
Felix: 對，當時不知道經濟怎麼走也就相當於覺得好像只要能撐下去這個半年，一年過來，就好了嘛。
Amy: 這兩三年很多這種，「咦，原來你也不知道」的事情。然後就直接發生了，像之前銀行倒了 Silicon Valley Bank，這些都特別特別嚴重。但是回頭看這些founder,你的老闆，可能自己都不知道會發生這種事情。
Felix: 對 很有意思的。就是說我估計你們都沒有經歷過2008,也沒有經歷過2000,所以我跟很多我的mentor跟他們聊，他們因為經歷過兩個cycle,他們就知道說房價不是一直上漲然後呢，經濟也不是一直上漲。但是我們那種從12 13年開始工作的基本上覺得怎麼就什麼都是漲的，然後沒有想到還會跌，然後現在突然跌了。
Stella: 是這樣。我和比我年紀大的人聊天。我最喜歡問他們這個問題就是，2000年是怎麼樣的?2008年的時候是怎麼樣的?你覺得我們現在經歷的這個recession會有什麼不同或會有什麼不一樣?
Felix: 我當時我的mentor跟我說很有意思的故事是他說當時在灣區，他在雅虎，他當時在灣區是2000年的時候，有很多他的同事然後當天開著porsche回到自己家的single family的house,直接把所有東西打包回印度，再也不來了。就說他欠的債已經是什麼都保不下了，車房子就放那邊，不要了，就不來了。
Amy: 那我也很好奇，Felix，像你帶過Amazon,這種特別有structure的公司，然後也去了Convoy,這種比較明星startup的環境，這兩個地方有什麼不同?你自己是比較喜歡哪一種路數?
Felix: 對，我覺得這個是個特別有意思的問題。我個人的想法是，呃，technical的背景的人畢業的話，我是建議先去大廠，可能體驗一下。
Felix: 一個是大廠的這個環境跟平台確實很好，你使用的工具，你所做的問題，你周圍接觸到的人都是層次特別高的，然後給你的這個平台之後，尤其是如果是你PhD畢業，這樣的話，你基本上你學的東西，你用的東西還能夠用得上。
Felix: 因為它需要這麼high level的，這麼一個高度的一個complexity在那裡。但是你做了幾年之後，還是建議會要去換一個小的地方去體驗一下，因為去待大廠的另外一個負面的後果就是說，你在那裡永遠是一個 small piece of a big puzzle,然後你在那邊待久了之後你會 very good at doing that small piece of work，然後你就不知道這個問題end to end是個什麼樣子，不知道世界還有這麼多東西在那。
Felix: 如果沒有另外一個organization,上百個人的organization給你搭好了一個web lab的一個平台，你怎麼去跑實驗？然後沒有給別人花了幾年的時間給你整理好數據，你怎麼去run一個model，然後這些東西是你在大部分的地方是需要學會的。
Felix: 尤其是你將來如果想自己用一個小的企業或者自己跟一些人去做創業的話，我覺得在大廠幹了幾年以後呃，是可以適合去小一點的地方去體驗一下說自己怎麼去找一個customer,怎麼去convince他覺得呃，你能幫他們解決問題然後拿到你自己的團隊說從零開始，怎麼搭一個東西出來?我覺得這個還挺有意思的。
Amy: 這是現在常常在討論的問題，就是這些大廠的員工。他在公司所有的stack都非常齊全。他出來，他其實顯得技能不足，因為外面在用的工具他是不懂的，然後他也不可能把google裡面的東西拿出來用。
Amy: 那會不會。反過來會比較順暢一點。就是你先去startup然後再去大廠。你先體驗過了嘛，再去一個比較安穩的地方。還是你會覺得小廠待過，去大廠就不適合了。
Felix: 看，你想要什麼吧？你如果想要的是最後，像今天你用的那個關鍵字「安穩一點」，對吧?
Felix: 如果最後想去安穩一下，然後去找一個比較平穩的地方，對，大廠會比較好一些。但你如果想要說 You want to do something special,你想希望自己能做到的contribution是能夠noticeable的，那可能在大廠會比較難一點，除非你somehow know how to climb the corporate ladder-能夠爬到很高的地方，對吧?
Amy: 那我們現在可以來聊聊。Felix接下來要do something special，選擇的是什麼。 Felix現在是在Zendesk.
Amy: Zendesk是一個做客服整個solution很有名的一個平台。現在我也不知道它能不能算startup的，它已經非常非常大了。它是做整套這個customer experience的東西給大家一點context，就是例如你去一個網站，然後你可能需要有些客服的需求，Zendesk會提供任何的服務 去好好提供客戶服務。這跟Convoy要解決的問題非常不一樣。
Amy: 那Felix可以給大家解釋一下。你是怎麼做這個選擇，你在想什麼？
Felix: Convoy後來新聞出來以後我就正好自己要探索下一個機會。這次正好趕上了Generate AI是一個大的trend。所以就跟當年Deep Learning一樣，我就特別願意去在這中間做一些事。我覺得最重要的是Be part of it.
Felix: 然後我當時給自己的想法是大概有兩個方向。一個方向我可以去Gen AI first的startup，幾個人有一個idea，然後有一些tech背景，然後就弄一個startup，然後去找客戶，找應用場景， 找product market fit.
Felix: 然後還有一種是已經有一個established business.他可能在Machine learning出來之前，就已經存在了，然後有很多年的積累。
Felix: 現在突然發現Gen AI來了。就是說對他們的business會有很大的衝擊。
Felix: 所以想做這麼一個轉換。我兩邊都有不同的opportunity.最後我可能選擇了就是Zendesk,就是後者。前者，最大的一個風險就是說他更像是一個說拿著錘頭去找釘子的這麼個過程，就是我有Gen AI然後怎麼去找應用場景。那種情況下。而且Gen AI現在不確定性特別高。基本上GPT4出來，一大片startup就倒掉了，GPT5出來估計又要倒掉一大片。
Felix: 所以危險性就risk特別高。然後我更願意就是說，後者就是Zendesk.他是07年公司成立，他當時是三個founder在Copenhagen在丹麥那邊成立的公司，後來move到了Bay Area 這邊作為他們的全球總部。
Felix: 經歷了這麼多年，也積累了一定的很大量的customer跟一個business的一個數據的數據量在那。2022年底應該是當時公司已經在增長的時候有一些疲態了。這個就跟整個大環境增長是一樣的。就是說大家都在降本，大家都在增銷。降本的話你就砍掉不需要的成本然後減少AWS的consume,那個usage,減少customer service的usage,這樣的話我們作為customer service的provider的時候，這個growth就受到了影響。當時公司就被private equity給收購了，從一個public公司變成一個private.
Felix: 當時賣價好像是大概10.08個billion,大概是10個billion左右的這麼一個體量。
Felix: 然後我選擇這個的話有一個特別大的好處。就是說我自己對於Gen AI這個東西是很知道的。
Felix: 我不是說我知道細節，但是我aware這個是very important.然後我知道方方面面都要被改變。然後我就說那我可以在整個Zendesk這個生態環境裡面去找它的方方面面哪些是可以被改變的。
Felix: 有customer,有data,可以讓我們來嘗試，但是也需要有很多tech debt,一些baggage,需要carry.
Felix: 這個就是需要一個企業文化的問題。傳統公司的話相對來說小的startup move的特別慢，然後你怎麼把這個思路給它轉變了，怎麼跟leadership有一個很好的一個chance讓你做一些改革的話。這個是接下來需要面臨的挑戰。
Stella: 我想問一下，Felix，當時你在convoy結束之後找下一個opportunity的時候你看中的有哪幾方面你剛才說的genai,它就是一個方向，就除了方向以外還有什麼因素在你的這個決定當中play a big role?
Felix: 這個很有意思，我當時convoy這個事情出來。之後呢，我大概前面兩個禮拜可能就是花大量的時間幫我organization裡面那些人找到下一個job,因為很多人有visa的issue,當時就沒有考慮太多自己的。
Felix: 後來自己開始找工作了以後，我就想說每個禮拜可能自己寫一篇自己的總結，自己的想法，但是正好想到了這個問題，說我到底下一個需要什麼樣的criteria,下一個opportunity.
Felix: 但是我後來想了可能就是還是兩點還是三點吧，第一點很清楚就是說我希望是在跟successful的那些人跟他們有很緊密的聯系，這是第一點，就是我把人放在最主要的一個因素，公司、跟做什麼事情，這是其次的。
Felix: 第二點是我希望在generate AI的這個領域裡面就剛剛我們說的。第三點我希望能夠是有一個hands on的experience，就是我以前當了很長時間的那個manager leadership之後，我覺得離action是有點遠。所以我就覺得挺懷念能夠come back to做一些modeling然後一些coding什麼的事情能夠hands on參與到這個團隊的一些運營的這些事情上。
Felix: 所以這三個是當時我最看重的一個。而且是有這個先後順序的一個排序的
Stella: 對插一句我當時其實最早在linkedin上知道Felix,也是因為看到你那一系列的blog post.我覺得是寫的非常的好。就分享你當時的一些思考和你在找尋下一個機會的時候的一些怎麼講。
Felix: 心路歷程。
Stella: 對，心路歷程和你思考問題的角度和方式，我是覺得特別有趣。我們也應該要會分享給我們的聽眾你當時的一些blogpost.
Felix: 謝謝。
Stella: 所以說到你現在在Zendesk做的事情你可以詳細介紹一下你的職位，你的title和你的team具體是做什麼事情的呢?
Felix: 我現在在Zendesk是head of applied scientist然後我們Zendesk內部可能大概有兩到三個的AI上面的leader，然後我是其中的一個。
Felix: 我具體要做的事情呢。目前來說還是處在說怎麼幫 Zendesk,這公司，去explore gen ai 該在哪裡落地會比較合適。
Felix: 我們之前有過一些嘗試就可能說一些小的feature說，你怎麼改一個message的tone然後你怎麼去summarize這個text,所以比較commonly known這種cute small feature.
Felix: 但是我們一直想說，比如說在fully automate一個bot大家都說能做， 但是風險又很高。
Felix: 前段時間我不知道你們關注沒有 Air Canada就出了個事情就是說他們當時有一個bot跟一個customer聊天說可以refund的一個ticket.
Felix: 那個customer就說他就買了一個ticket後來想去refund然後公司就deny說這個是bot說的，不是我說的，不能refund policy，不允許。
Felix: 然後那個consumer就直接把Air Canada就告上法庭。最後法庭就判了說這是你們的bot，沒有人能夠區分到底這個bot，是人還是不是人。所以Air Canada是最後需要賠償。所以說，對於business他其實是有一些concern，就是我這個bot的hallucinate怎麼辦，然後給的一些false information怎麼辦，所以他也沒辦法。
Felix: 就是說會很謹慎。這是一點。然後，但是這個technology在那，然後它的趨勢肯定是對的，怎麼能夠找到一個合適的道路，說應用的這個技術並且能夠擁有human in the loop然後給一些guardrail，一些control。
Felix: 這個是我們這幾個AI leaders在一直探索的。我們現在AI leaders的話大概就是地理上是這麼分的，有兩個AI leaders在歐洲那邊然後美國這邊，也是我跟另外一個AI leader，然後我們大概就是說怎麼去考慮在各個地方，各個產品線，然後怎麼去找到一些比較實在的AI能夠落地的地方?
Stella: 如果說用quantifiable的KPI的話， Felix，你和你的團隊的KPI是什麼呢?
Felix: 我們的KPI應該不會跟公司的KPI有特別大的區別。最high level的可能就是還是說customer satisfaction，對吧，就是用了我們軟件的business,他們跟他們的那個客戶去溝通的時候能夠讓客戶就很滿意這樣的話就一方面是說你這個automatic的bot能夠把問題解決掉，或者是有一個human agent然後怎麼能夠讓human agent most effectively把這個問題解決掉?那這個是最關鍵的。
Felix: 然後，如果specifically講到AI這塊的話，那我們更多的就是說一個AI adoption rate.
Felix: 就是我們給了這個feature到底它多少時候用了。我們recommend的一個reply到底它多少時候用了。我們recommend的一個summary它覺得好不好，對吧，這個是一個adoption rate.
Felix: 以後這個industry會有一個變化。就現在已經在發生變化。就是以前像CRM這樣，customer relationship management,這麼一個行業的話，賣軟件，其實是賣給按人頭算。就比如說我們跟Salesforce跟Tableau或者是他們賣軟件就是說一個agent,一個license,多少錢一個月，這麼去算價格 per seat.
Felix: 但是現在我們如果是做automation的話，那這個seat會越來越少，對吧?
Felix: 那你怎麼去charge這個錢?那我們現在在轉變一個思路，就是說怎麼我們AI幫人家automatically解決問題的這個時候到怎麼去算他的錢會從一個per seat變成per assumption,就是你used了多少，然後呢AI幫你解決了多少問題，然後那個按那個來算錢，那個也會將將來也會是我們的一個metric就是success metric,就是多少人願意pay for the AI consumption，然後多少人覺得這個是一個確實是在幫他們解決問題的，這麼一個事。
Amy: 我覺得這對做客服行業其實還蠻controversial的，因為你收越少seat的話，你純粹按AI usage來算錢的話，應該是AI usage會付的錢比較少，還是按seat算，他的generate revenue會比較多？
Felix: 他大概是這個意思就是說，你如果是一個business，就比如說Amy & Stella LLC,對吧，你們有一個business。
Felix: 然後以前，你有10個Customer Service Agent,那我賣給你的就是Per Seat，100塊錢一個人一個月。
Felix: 現在你有Agent,有那個AI在，那你只需要兩個人。那我再賣這個的話，怎麼花這個錢?那就只能說那我AI賣的這部分你需要charge。
Amy: 所以這個economic要figure out，因為你如果是10個Seat的話，你是有recurring revenue，就是每個月10個人就來，你只會增加。通常你的生意蒸蒸日上的話，你只會增加Seat,但現在，如果有AI的話，就變成他完全Change the Game了。
Felix: 但是你，如果通過AI能夠幫你快速地解決很好的問題這樣的話，Customer願意跟你溝通。這個Ticket Volume跟這個Transaction Volume會變多，你的Business變多的話 AI幫你解決的ticket也會變多。那這個ticket的volume不就上去了，不就usage就比較高了嗎?
Stella: 嗯，就極端情況下，就是如果你的AI tool或者是AI assistance可以完全代替人力的話，那就不需要任何人。
Felix: 那就全部變成consumption based.我們AI幫你解決了多少ticket你滿意了。這個就是按這個收錢。
Stella: 嗯嗯，對 Felix,我知道你的team也是新成立的team，你要在這裡打一個招聘廣告嗎?
Felix: 謝謝你給我這個機會。對我現在正在特別願意去認識更多的在AI也就是general AI這塊practice的人。呃，我希望在seattle跟灣區這一塊，尤其是在美國這塊，建一個小的團隊，希望能招到就是對這方面特別passionate，然後也願意make impact的這麼個人。
Felix: 呃，這是第一點。即使說for whatever reason,不能夠來Zendesk工作或者不能跟我一塊工作，我也願意跟這些AI的一些practioner一起聊，一聊然後，因為在這個行業，在這個領域裡面現在是屬於百花齊放的過程，大家都不知道未來會怎麼發展能夠一起交流。其實是挺有意思的一個事，大家一起共同目睹了一下新的一個創新。
Amy: 大家要怎麼找你比較方便？
Felix: 可以直接就在LinkedIn去搜Felix Cheng.應該會就是上面，就會看到我是Zendesk,這麼一個profile.就可以直接找我了。
Amy: 好，我們也會把你的LinkedIn分享給我們的聽眾朋友。
Felix: 謝謝。
Amy: 那現在做LLM產品。其實最大的debate就是要fine tuning還是不要fine tuning這件事情。
Amy: 那我知道，Felix，所以這個有很多思考。我們不用直接說Zendesk的strategy是什麼，不過Felix是寫了一篇我覺得很有意思的文章，叫explaining LLM to my neighbors。那他把LLM的，這幾種不同的strategy,分析得非常清楚。Felix要不要跟我們分享一下這個問題。你覺得過了半年以後你的回答會改變嗎?
Felix: 首先我要特別感謝你們倆。當時我寫那篇文章其實很大是跟你們倆聊完了，然後還跟另外幾個人聊了之後加上自己的一些想法，然後想到一個比較簡單的方法，把它表述出來。後來我寫完了，之後發現對我自己對於這個問題的理解就一下變得很清晰了，我的看法就是說現在general purpose的模型的training就像一個教育小孩子一樣，對吧?
Felix: 然後現在大家都claim說GPT 4或者是那個Claude 3,他能夠達到基本上接近於一個college graduate這麼一個水平。那你，如果是對於一個college graduate,你想象一下，你培養這麼一個人到college graduate，然後呢希望他成為某一個領域的一個expert,幫你解決問題，就比如說customer service,他能不能立刻就做好，就招了一個regular university的一個college graduate.然後你說你幫我解決這個customer service。
Felix: 我當時的理解就是說，如果這個應用，這個business的應用場景比較簡單，就是說我是一個supermarket,你就是幫我做supermarket的一個收銀員，那其實不需要特別special training,你就知道貨在哪，怎麼收錢然後呢怎麼找錢就可以了。
Felix: 所以大部分的應用場景如果是簡單到這個程度的話，那general purpose的模型就可以達到了你GPT 4就能夠幫你解決問題。
Felix: 但是如果你是一個pharmaceutical,你是一個banking,你是一個比較special的industry,那它有各種compliance,有privacy，regulation。
Felix: 你需要去花時間去學習這個，而不是一個regular college graduate就能夠掌握這個問題。
Felix: 所以那種情況就看你需要怎麼去train他。給他additional context.最簡單的辦法就是說你，如果能給他一個handbook,他拿著一個dictionary,一直在找。那就像一個RAG的一個概念。就是說其實他自己沒有學到任何東西。你只是給了他一個notebook去look for something,然後他就不停地在那找，但是你想象到，他能找到很多的要求，但是他這個latency就是一個很大的一個constraint，就是你能不能及時的找到。這是一點。
Felix: 還有一點呢，就是說那你可以去做fine tuning的話，就是你可以想辦法讓他去上一個master degree,你這個college graduate,你給了上一個medical或者是什麼 legal或者是什麼finance engineering的一個master degree.那這樣的話，你給了他additional的數據，你給了他additional context讓他去學也花不少時間，花不少力氣，投資，然後最後學出來。你覺得這個人應該是對這方面的很懂。
Felix: 然後還有一點，就是說你特別極端，就是我不需要從 foundational general purpose model開始。我就找一個框架從零開始，那種相當於你從一個嬰兒的角度，說你小孩還沒出生。我就想這個人我要做一個pharmaceutical的一個customer representative,然後你怎麼去train從零開始去train,但那個時候，我覺得沒有必要你很多general的knowledge.其實是相通的。你花了大量的力氣不要重復別人做那個應該是划不來的。
Amy: 嗯，你覺得客服這個領域。其實LLM出來以後，第一直覺就是客服領域最好做，就肯定是用LLM就能automate。那事實是過了現在已經一年多了，我不認為有哪個公司可以很confidently說啊，我已經用LLM解決這個問題了。然後我的客戶都能夠confidently把他的customer service交給我的LLM，沒有人敢打這個包票。那就像Felix剛才說的，我覺得這個analogy特別好，就是你想要一個特別特別specialized,不會犯錯，很有素養的LLM,那你勢必要投入相對的金錢，你得hire一個master graduate，你如果想要省錢的話，那你肯定是，你就hire一個college graduate，然後丟給他一個playbook,叫他全部背下來，就好了。
Amy: 所以這兩個的折衷也就是現在大部分的LM產品需要做抉擇的，就是你願不願意去花這個錢，投入這個時間跟金錢去把它train成一個很specialized的agent可以做你各式各樣的task.
Amy: 那Felix覺得Customer Service這一個領域的客戶，因為你對客戶的接觸還是比較多嘛，一般什麼樣的企業會願意 Hire一個college graduate,一個簡單的LLM,然後加個RAG讓他直接上就可以了。但是有什麼樣的Customer,他一定要找一個比較specialized的agent。絕對不能犯錯。
Felix: 這個應該會比較容易理解。就是說你很多那種risk特別高的，對於犯錯的tolerance比較低的，像金融行業，像醫療行業，像律師行業，這些就不能給那些特別vague的answer。這些地方就犯錯了以後那個代價會很高的。這些就相當於說比較謹慎。大家希望有if那些condition然後一些比較black and white的rule在那。
Felix: 然後對於e commerce,然後我refund的多了一點， refund的少一點，那個shipping order早了一天到晚一天到，損失不是很大。
Felix: 所以這種來說對於LLM的那些接受的程度會相對來說高。一些剛剛聊到把general purpose LLM想象成為一個college graduate.
Felix: 其實這個也會在不斷的變化。在開始的時候就是GPT 4出來之前可能大部分的GPT 3.5或者是它之前的很多模型可能更像一個high school graduate，然後你這個general purpose可能達不到這個要求。
Felix: 但現在各個大廠像什麼Claude 3出來接下來GPT 5也要出來然後基本上會把這個水平線拉得特別特別高。
Felix: 你高到一定程度相當於所有的大模型都變成一個哈佛畢業生或者是一個ivy league的畢業生。那他基本上能夠控制他現在已經像standardized的test，他已經能夠說legal test接GRE test就他那個math test能夠達到很高的要求。那也許不需要再去train一個master degree additional on this one.
Stella: 我可以分享一下。我最近做的一個project就是大家現在很多人想做的natural language to SQL query.
Stella: 我最早開始做的時候是用一個叫SQLcoder的這麼一個model.好像是一個defog這個organization他們做的一個fine tuned model專門用來寫SQL query的。
Stella: 我用了一段時間其實效果還不錯。後來GPT 4出來。之後我就switch to GPT 4.
Felix: 所以就Amy,你剛剛問的那個問題，各個公司也在對這個做一個大的決策。這個確實是對的，就我們自己內部也有思考，我也發現很多別的公司也在思考，看到一個例子比如說那個Bloomberg當年出了特別有名的Bloomberg GPT，他們現在基本上沒有聲音了嘛，對吧?
Felix: 我個人猜測是因為不行，很大一部分原因，就他們那個進入的節點太早了。但是你，因為進入的節點早了，你投入了大量的錢跟算力，最後拿到的一個模型他們當時比較是比較GPT 3,而且還比不過GPT 3還不如3.5
Felix: 那不就重新造了個輪子，發現這個完全不行嘛。所以就全部浪費了。
Amy: 我個人也是比較喜歡搭順風車的，我覺得很多現在這些Model Infrastructure都在不停的變化。那我們可能一直都在看OpenAI哇，他難道可以一直當最厲害的model嗎?那事實是，到現在還是算是前一兩名，然後同時Hardware的那個進步也越來越多，就是你train一個model,你公司需要去投入的成本以及需要figure out的事情，只會越來越便宜，然後你figure out的事情只會越來越少。
Amy: 所以，入場點，我覺得是公司需要figure out的地方。
Amy: 就是我什麼時候進去我可以最省錢，然後拿最多別人已經做好的東西然後投入。
Stella: 對這和買股票一樣。就是time. the market是永遠是impossible.
Amy: 對，你以為你time好了。結果前兩天黃仁勳出來再拿兩個，對不對?
Amy: 現在更快，更強。那你就會想說哇，就是上個月我有這兩個GPU不是快多少?
Felix: 對，我也關注了GTC, NVIDIA GTC的conference，然後我覺得接下來應該有一波回調。
Felix: 就是你想早兩年的時候， GPU的需求極度的增加，以至於NVIDIA的訂單極度的增加，以至於台灣的台積電的訂單極度的增加，但是這個周期很長。
Felix: 所以那個時候大廠買了大量的GPU囤在那裡。現在這些GPU被貶值了，被降價了。然後現在台積電還在加大馬力不斷的生產，因為需求量還是那麼大，生產訂單一下全部回來了之後也許這一波熱潮下來之後發現以前的訂單不需要了。這個時候會有一波需要cycle回調的一個過程。
Amy: LLM,硬體，設備，GPU，這些東西都是很fomo的，就是你要不要先做，你做了以後是不是就當浪花就過了? 真的很難說，所以我剛才才問說Felix,你覺得你半年後的回答還是一樣的嗎? 其實我也自己也沒有自信回答這種問題。
Felix: 我自己的判斷啊，就接下來大模型這個發展的方向，我覺得底層模型，general purpose的模型會越來越接近performance,不管是開源的還是閉源的。
Felix: 限制條件在哪?限制條件在數據不夠了，現在基本上能夠把public的數據都拿過來去train模型了，然後現在再開始做synthetic的數據，讓大模型生成數據再去train大模型已經是一個很大的趨勢，因為數據量就在那。所以我們看到像那個Google跟reddit是不是他們簽過合同，買他們的數據然後那個stackoverflow然後也是一樣，他們有自己的special的數據。
Felix: 像Elon Musk一直說他們的x就推特上面的數據是不給別人去train就最後就是說把所有的數據train完了，之後只剩下單獨那麼幾塊數據是沒有被人拿到的，就是限制在這兒。那最後大模型開源的閉源的，陸續趕上了之後也就，算力到了那，數據到了那，基本上performance也就在那了，像grok,最大的那個opus.他們是兩個trillion那個parameter跟GPT 4是1.8個trillion就比別的大概30個，50個billion模型已經大很多。所以其實就是說你要把你的模型大小足夠大，那個scaling load足夠大了。
Felix: 以後你把所有數據拿過來，然後基本上就能夠用得上這performance基本上就相差不差了。另外一個觀點就是說我們現在聊到的這些所謂的data.
Felix: 其實是text,就是internet上的text很大一部分數據沒有拿到就是說audio跟video那個像YouTube,像很多這樣的網站的話，其實有大量的數據是還沒有拿到的那個可能是未來下一個爆發的點。
Amy: 所以我覺得像Felix這樣的就最聰明。他go where the data are。好那我們這個聊不完。LLM我們陸續會再請更多的業內人來跟我們聊聊，這個就high起來根本就聊不完。
Stella: 我們接下來換一個話題。我們想聊一下managerial track。Felix,其實也是過去這些年有很相當一部分的時間是做manager,做managerial roles.從你的經驗和你的角度，你可以跟我們分享一下什麼樣是一個好的team,然後什麼樣的manager是一個好的manager嗎?
Felix: 我覺得最重要的其實，不管是一個team還是一個organization,organization就是說好多team在一起的，嘛最重要就是說有一個特別exciting的一個vision在那。這個東西雖然聽起來可能有點cliché，但是確實是這樣的就是說我自己做產品經理的時候也是。這個tech團隊他願意跟著你一塊做事情，尤其是你，不是他們的manager的情況下，怎麼motivate他們，那你只能把這個故事講得特別好。講故事的過程其實就是一個vision的過程。國內現在很多那些有明星的企業，他就是上台能把故事給講好，讓你覺得這個東西真的是很美好的，或者是說很exciting。
Felix: 然後在有這麼一個vision的情況下，你這個團隊，就會不自覺的聚攏一些，願意在這個vision的帶領下做一些有意義的事情。
Felix: 我情願工資少一點，我情願休息的時間少一點。我願意把這個事情東西做出來。我覺得這個是任何一個想high performing團隊是一個共同的點吧。在那個基礎之下， team跟organization有一些什麼管理經驗相關的東西，就是說你怎麼有一個mechanism,怎麼能夠讓大家accountable怎麼communication跟efficient.
Felix: 我覺得那個都是都是細微末節的了，當然肯定是要需要注意的，但是運營起來的話，你基本上任何一個大公司的那種所謂的管理思想啊，管理理論那些什麼leadership principle拿過來，搬一搬，其實就差不多可以一個團隊，就很efficient了。
Amy: 嗯，你覺得一個manager可以同時是一個好的manager to the top level,然後同時對下面的人也是一個好的manager,這樣的manager一般長什麼樣子?
Felix: 我看到不少能夠把兩個都做好的，但是更多的是其實只能做某一方面，就有的是跟stay with the team特別近，有的是only manage up,兩個都能做好的，他就是確實是特別flexible,能夠一方面說attention to detail,能夠speak the same language with the team and motivate everyone.然後又能把它summarize成為一個比較 digestible的一個format給leadership.
Felix: 我覺得這個可能是需要這個人能夠有比較diverse的一個background的吧。
Felix: 所以，我自己當時有過這樣的思考，就是說我想自己是science,我想去當一個product,怎麼去學當一個product,怎麼去學當一個leadership,然後你做了好幾種之後，你就知道能夠不停的轉換這樣一個一個身份。呃，我的想法或者我的建議是說，有機會去多感受感受或者體驗一下不同的job family或者不同的role.這樣能夠讓你在不同的時候，用不同的話語，描述不同的問題。
Felix: 嗯，這樣的話對上對下，都會能有達到一個不錯的效果。
Amy: 我覺得Felix應該是一個蠻好的manager.剛才他不經意透露他被layoff以後第一件事是幫隊員找工作，不是幫自己找工作。
Felix: 謝謝。我倒是有一個，嗯，關於你說這個manager未來的一個發展哈，我前兩天跟我的團隊還聊到這個事情，然後我覺得未來的發展會有很多特別小的公司會變得特別簡單。
Felix: 然後呢，那個level會變得特別少，然後團隊會變得特別精而細啊，因為每個人的productivity全被那個generative ai給提高了。
Felix: 所以每個人都變成一個，就是從一個比喻的話，可能是說從大規模的一個部隊變成了全是特種部隊，然後你不需要很大的人，但是就是三五個，三五個，三五個。
Felix: 而且這個特種部隊，他也不需要有好多個manager manager,這個each other就是說可能就兩個manager直接到CEO.
Felix: 就是這種情況。我覺得這個是可能，是未來的趨勢吧。
Stella: 我和Amy經常有在做mentor然後很多時候mentee會問我們一個問題就是要不要從IC轉到managerial track上去。Felix，你覺得什麼樣的人適合去做manager呢?
Felix: 什麼樣的人適合去做一個manager?我覺得喜歡跟人打交道並且喜歡有不少奉獻精神的人吧可能更適合到manager.
Felix: 你能感受得到就是說你帶著一個團隊然後呢，一起做事情最難的時候，你一直在那裡跟大家一起做。
Felix: 當這個團隊成功的時候，你是願意take a step back,讓這個credit給你的團隊，然後你會覺得很開心。
Felix: 這個事情尤其你看到大家成長是一個很開心的事情。一個struggle的employee:你幫他把這個situation找到一個合適他的一個位置，然後看著他做一個改變。
Felix: 然後一個特別有potential的，但是需要打磨的一個人，你給他一個很好的一個opportunity，讓他打磨然後看到他的成長，這個你能夠從內心深處得到很多那種滿足感。呃，我覺得這種人特別適合當manager.
Stella: 嗯，我聽著還挺有共鳴的就你剛剛說的這些也是我挺。我非常enjoy的部分，但是我比較不太能enjoy的部分就是每天都是back to back to back meetings.
Stella: 哈哈哈哈 Felix，你怎麼處理這件事情?
Felix: 我之前在Amazon或者是在Convoy也有這樣的問題就是meeting太多了。主要就是說一個是團隊很大。
Felix: 二一個是有一些meeting其實都就變後來效率就比較低了，沒有必要參加然後很多時候meeting就是一個communication的cost，我覺得接下來這個方面應該會變得簡單。
Felix: 主要是說很多那種小的特種部隊的團隊是需要能夠獨立的去做出決策，獨立的去運營，獨立的去中間很微弱的有一些聯系，但是你能夠知道大家都很實力，很強，有一個共同的一個vision的話就值得能夠autonomous,能夠execute出來。
Felix: 所以那個時候就不需要就很多的花很多時間做meeting了。但是所以為什麼我另外講到說我當時想換一個工作我也希望能夠有hands on的機會就是我不希望一整天全是meeting然後就是看doc,寫doc,有機會去get into the details.
Stella: 我們最後的一個set of questions就比較的random.我想問Felix:你，作為一個亞裔男性，你在美國的職場有碰到過什麼阻力嗎?
Felix: 沒有explicit的阻力，但是我會發現我早期的時候是有一些困惑。就是說有一些東西我是不喜歡，但是發現這是一個在這邊一個community裡面大家會是一個topic，就發現我不喜歡的話是很難融入進去，比如說football。
Stella: 這是我和Amy也是共同的困惑。但是Amy現在可能開始看football了，我還是沒有。
Amy: 我前兩天有一個我們因為之前podcast聊到這個football非常難帶入感的問題。然後我一個白人同事，一個男的，他跟我說我也不喜歡聊football,我特別的共情，我每次人家聊football就崩潰。
Felix: 對然後，比如說football,這個事情，然後說哪個球星最近怎麼樣，然後我發現我其實真的是不大follow這個。
Felix: 但是後來我找到一個比較平衡的點。就說不是football,不是我一定要聊football.我只是說要找到有一些自己能有興趣的地方。比如說我打高爾夫球，所以我對於高爾夫這個industry的球員動態然後比賽什麼最新的狀況我都知道，很了解就不由自主的會知道一些。
Felix: 然後另一方面我會盡可能比如說我去出去吃飯或者是有任何事情，我盡可能挑非中餐然後換一換口味。
Felix: 然後會會學到一些不一樣的東西。然後我現在兩個小朋友都在一個法語學校，所以他們會學很多法語的東西，然後那個法語的文化法國的文化，回來他們還教我，教我們說法語那些點餐的詞，我覺得挺有意思，所以接觸的多了之後其實是一個過程發現我也能喜歡就是不是一定要強迫自己喜歡所有的東西，但是接觸的多了文化的diversity在那絕對還是能夠接觸到。
Felix: 也覺得別的一些元素是挺有意思的這樣的話，在那個基礎上的話就基本上很難會有什麼會什麼主義什麼的。
Amy: 那你覺得，因為從你的視角看，可能會比較清楚。你覺得在你這個level現在男女比例是大概怎麼樣子。然後你覺得女生跟男生，他在這個level上，他的優勢是有什麼不同。
Felix: 男的是佔大部分。這個是obvious的，但是我不知道這個是intentional還是就是一個result我覺得大部分可能就是一個result而已。
Felix: 確實女的學engineering的或者是學computer science的，可能相對來說就比例就比較少。一些回頭我給你們倆可以聊個另外一個事情從去年下半年開始，我其實自己有做一個小的項目然後這個項目相對來說不是公開的，但是是在我們，我自己的，這個所謂的big family裡面。
Felix: 然後我去年回了趟中國然後當時跟很多我在國內的那些所謂的下一代的人，比如說我的niece,我的那些侄子，侄女，外甥女，尤其是侄女那一代然後跟他們聊完了。之後發現在中國的現在很多年輕人很迷茫然後說未來怎麼發展?然後就業很難就覺得哪裡沒有出路。
Felix: 所以要麼就躺平，要麼就回老家去當老師啊公務員。我當時對這個其實還感觸蠻深的，因為我在美國這邊看到了很多特別有想法，很成功的女性就我覺得你們兩位都算，自己會有想法，想做點事情然後自己有獨立的思考我覺得這個很重要。
Felix: 他們那一代人就沒有這個是最主要一個原因是沒有這個相對的平台。繞遠了。
Felix: 我給他們講了一個在我們這個家族裡面，我跟我的那些長輩還有我的同輩，我broadcast的一個消息就說我希望在接下來幾年我會帶幾個學徒在我的家族裡面帶學徒然後呢，這個學徒是而且是偏女性為主，是我的侄女，外甥女，然後就是這一代的那種人現在是快上大學了或者大學剛畢業的人。
Felix: 然後我找各種機會。如果我比如說我接下來4月份要回深圳然後我要跟一些企業家去聊天，我就把他們過來當我的助理，然後他就陪同我然後帶他去跟各種人去聊天。
Felix: 然後去見世面，然後我去出差的話盡可能把他們帶上然後跟他們聊一聊我自己的想法，然後我寫文章盡可能讓他們看看。
Felix: 然後我給他們指導一些看的書。就不管他們做什麼職業，我希望能夠給他們一些接觸我更深入接觸我的機會，了解我的機會。
Felix: 然後帶他們去認識我認識的人，跟我交流的人，相當於想讓他們做我的apprentice.
Stella: 這個好棒剛才你說的時候我稍微有點心虛，因為我現在對自己的職業發展包括自己的生活也還是有很多迷茫的。
Stella: 我也想問一下，Felix，你有感受過職業危機嗎?
Felix: 有。
Stella: 那你是怎麼克服這件事情的呢?
Felix: 你把你的想法寫下來，我覺得你們聊天這個，那個思路也很好。然後我自己找到一個比較恰當的方式，就是一個輸出的點，就是寫東西，把我自己想法寫下來，寫出來。
Felix: 有的時候發現你邏輯不通哎，這個確實邏輯不通，然後你回過去看一下，說哪裡不通?然後你就自己琢磨一下，然後發現哦，原來是這麼個事兒。然後你寫通了之後，我每一篇發出來的文章其實最後都有一個邏輯在那那個。其實是我自己捋順了這個東西發寫出來的。
Felix: 我覺得那個想法很好。然後有的問題稍微琢磨，琢磨，把它寫出來，發現這個就清晰了。
Stella: 那像是一個第三人視角。再去review了一遍自己的想法。
Felix: 對。
Stella: 那這個前提，條件是你要有想法。
Felix: 有的時候會會工作或者生活逼迫你必須得有想法，就這個也是一點啊，我當時回中國，然後跟很多家裡的晚輩去聊的時候，確實發現他們就不願意有想法。
Felix: 就是他們就完全沒有任何的勇氣覺得你看我的，就是他們的父母可能就這樣，他們的同學可能就這樣，大家都這樣為什麼我要去幹嘛，對吧。
Felix: 他們其實沒有想到說其實外面的世界或者是說跳出這個視角在一個更高的高度，看的，看到哎，完全不一樣了還有各種可能。
Felix: 所以，給他們一個勇氣去思考有想法然後再引導他們怎麼把這個想法給總結起來然後串起來。我覺得這個是應該挺有意思的吧。
Stella: 在你家族裡的晚輩就非常幸運有你可以去給他們分享一些資源和一些機會。你剛才說的就是下一代的這些迷茫，困惑，非常的常見，可能也不僅局限於女性那作為不能直接接觸到的人來說，你對他們有什麼建議或者你有想對他們說的話嗎?
Felix: 多去接觸人跟事我就覺得是一個很好的一個事就像Stella你今天說，你說你今年想多認識一些人。你跟Amy認識，你跟我認識。這就是一個本身。是一個很有意思的過程。
Felix: 我前兩天跟我一個Amazon的一個Mentee聊到說，他最近想不想換工作。然後呢覺得現在Amazon呆了很久了想想是不是要換，然後我當時就說你可以考慮說去跟那些一線的企業或者是商業去聊一聊。就比如說你學做物流 suppose很懂，你有跟自己的周圍的或者認識的電商的那種老板去聊過嗎？人家怎麼弄一個工廠賣衣服的賣什麼什麼東西的然後怎麼去僱一個去直播的主播，你了解過這個生態嗎？對吧你跟人家聊，其實還挺有意思就是那些人，他其實有自己的智慧在運營一個東西，也在苦苦的堅持著，然後他們可能學業很低或者是什麼知識量比較低，但是你suppose是學了一個phd的，然後suppose是在一個很高的層次做一個supply chain的這麼個東西，能夠把這東西運用回去嗎?
Felix: 中間其實有很大的一個disconnect.你去play這個role其實很有意思。當時我回去家裡有親戚是開什麼服裝廠的，然後他們自己去僱直播帶貨的主播，然後僱model，拍照片，他們當時特別有意思的一個事，就是他當時僱了一個人，每天盯著他們的電腦曲線就說，多少直播的人進來，然後他們就決定要推出多少錢的廣告，然後每個衣服什麼關鍵字什麼。
Felix: 我說這不就是最土的data scientist嗎?他其實有他們自己的所謂的一個data scientist，他當然不叫這個名字，對吧?然後我當時就想說我學了這個這麼多年，我要幹這個能夠比他幹的更好嗎?不一定。然後我就鼓勵很多人說你有機會去接觸一下，在一線運營的很多人，不管是做電商的，做transportation logistic tech,不管是做別的行業都是你跟賣餐館的，披薩店，你家裡附近的一個乾洗衣服的店，然後一個小的超市跟人家聊一聊其實還挺有意思。
Amy: 我覺得，如果有機會再早一點能夠嘗試一些service job真的是會得到很多，很多的感悟。
Amy: 如果做工程師的話，長期發展常常會越來越沒有人味。因為你每天面對機器，每天面對這些framed得非常好的問題，其實你會少了很多人情味。
Amy: 所以要特地去花時間去接觸這些東西，我覺得還蠻重要的，我覺得Felix講得特別好。
Amy: 那除了去多跟人接觸，我知道Felix也很喜歡自己寫東西，那比較inspire你的閱讀有什麼?
Amy: 不一定是書啊，有可能是一些blog之類的，有沒有什麼想要推薦給大家?
Felix: 對，我發現我聽書，聽得特別多，就是那個audiobook我聽很多，尤其我喜歡聽那種個人的傳記，最近在聽那個《窮查理寶典》。
Amy: 哦，他剛去世了。
Felix: 對，他剛去世了，對，我就正好趕到我上一本書的The Innovators: Walter Isaacson寫的那本書。
Felix: 還有一個就是podcast.我聽podcast.聽了很多。有的時候我在遛狗啊，或者說commute的時候在飛機上，或者是怎麼樣我就聽podcast. all in podcast很有名的一個，還有另外一個叫acquired,不知道你們聽沒聽過，對，那個也很有名。就講每個公司的獨特的故事的。聽那些podcast有個好處。就是說基本上書跟podcast都是特別long form,基本上一個小時起或者是更長。
Felix: 現在大家其實沒有很多精力投入很長的時間去focus在一個事兒。這對自己也是一個training,就是說你願意花多少時間聽一個不是短視頻什麼10秒鍾或者多少秒鍾的，會讓你的學習能力會提高很多。我覺得挺有意思的。
Amy: 我也會聽all in。Stella，還有什麼問題嗎?
Stella: 沒有啦，我覺得我們今天聊得好豐富。
Amy: 對啊，聊得好豐富。長度又要創新高了。
Felix: 跟你們聊天很舒服。我昨天晚上我跟我太太還在說我說我會不會緊張，就第一次被跟人家聊天。我說沒事，我想一想說他們倆應該就是就像朋友一樣，像fireside chat，想到哪就聊哪。我覺得沒事。
Stella: 對，我們就是。
Amy: 我覺得你也很會聊天啦。你有什麼好擔心的?
Felix: 因為有的時候會覺得是不是我得rehearsal一下，還得做個準備，寫個什麼script,然後說算了，隨便。
Amy: 我朋友之前來聊天。他是data labeler.
Stella: 對，很有意思，的意思。
Amy: 對因為我們聊這個算是比較嚴肅，比較積極，向上嘛，然後你聽那一集，就會感覺到一種。
Stella: 非常down。
Amy: 從那個口氣透露出來的鬆弛感。啊，沒有關係，就是這樣的。
Stella: 對，就人生，就是這樣。隨便啦出去曬曬太陽，逛逛公園，就好了。
Amy: 對啊，我就還label data replace我自己。沒有關係的。我覺得真的是跟人聊天可以理解到很多不同的perspective.
Amy: 我不知道我們有沒有機會可以多像你講的什麼洗衣店阿姨啊，她願意來跟我們聊的話。嗯，我覺得會對我們這個行業的人比較有意義啦。
Felix: 對，我最近還在跟另外一個朋友在合作。他是一個森林就是那個timber industry forestry這個industry的一個人，一個owner.
Felix: 他跟我聊然後我再跟他一塊做一些小的project,是嗎?我就覺得你能夠了解哇，這個forestry,這麼個事情就比如說他有一個簡單的例子。
Felix: 他說他們從一棵樹種到最後能夠砍是40年，所以他們在plant所有的這個東西其實特別long term.就是說他們現在砍的樹是40年前種的對吧?
Felix: 然後還有。我之前還有一個說我去那個phoenix然後當時有一個卡車司機叫rich,然後他自己有一個大概6到7輛卡車的一個小的business然後他自己是一個殘疾人然後開卡車，但是他自己在USC拿了一個master degree,所以他其實也比較偏tech，然後你跟他去聊他自己怎麼去optimize他的這個小的fleet，然後呢怎麼去cut, reduce lead time啊亂七八糟。其實就是指的supply chain學的東西嘛。然後你跟他聊完哦，人家其實就是在實踐這套理論，就特別有意思。
Stella: 對，確實是我之前在logistics工作的時候跟我合作特別多的一個logistics ops manager.他也是。他不是學這個的，但他其實實踐的就是我們從書上學的這些東西以至於我們做的第一個，iteration， the optimization algorithm,基本上就是去map他的想法。
Felix: 對其實很多為什麼說智慧在民間，就是，你跟那些，尤其是民營企業家，國內的民營企業家，然後呢他自己運營出的那套理論。其實是特別特別厲害的，你跟他們聊一聊，然後知道他們的痛點什麼，他們學一學這個，從一個學術象牙塔裡面走出來，跟他們去做一個交互，其實是特別有意思的過程。
Stella: Amy,接下來我想找這樣的人聊天。
Amy: 對，我得我們，這個可能要出門一下。哈哈哈哈。
Amy: 我要去Tinder上面滑。
Felix: 哈哈哈哈哈哈。
Stella: 可以嗎?
Felix: 有興趣可以去，比如說台灣或者大陸，走一走然後找個機會。你們倆就搭一個小攤子，就跟周邊的人聊。
Felix: 我覺得這個滿有意思的。
Stella: 可以。
Amy: 對啊，以後有機會，你可以推薦人來上我們的Podcast.
Felix: 沒問題。
Amy: 那今天很謝謝Felix來跟我們聊天，分享他一路一走來的經驗。那也可以看到一個Data Science Leader怎樣，從不同的角度，漸漸漸漸往上爬。
Amy: 我們就聊到這裡。大家掰掰。
Stella: 大家掰掰。
Felix: 掰掰。
聯繫Felix Cheng: https://www.linkedin.com/in/felix-cheng-9aa8b919/
Felix's Medium: https://medium.com/@felixjcheng/explaining-llms-to-my-neighbors-d804b6364fc8