EP10: ChatGPT成功背後的工蟻 標注數據，取代自己？
「用聽的」
追蹤訂閱，不錯過數據女孩最新資訊
YouTube, Spotify, 小宇宙, Apple Podcast, B站, 小紅書, Threads, Instagram
「用讀的」
Amy: 大家好，歡迎大家收聽第十集的「數據女孩的中年危機」。我是Amy.
Stella: 大家好，我是Stella.
Amy: 感謝朋友們的喜歡跟支持，也歡迎新朋友們來聽我們聊天。大家在網上直接搜「數據女孩的中年危機」就可以找到我們了。在YouTube.各大Podcast平台，Spotify、Bilibili、小紅書、小宇宙都可以直接關注我們。我們也會在上面發文給大家一些有趣的資訊。
Stella: 如果大家覺得我們的內容不錯，對你有幫助的話，也請幫我們多多宣傳，我們也會更有動力持續創作。
Amy: 今天來的是我的朋友，我大學的朋友，以前的室友小賀。
小賀: 哈囉嗨。
Amy: 小賀出現了。小賀現在在英國倫敦。大學畢業後，她就自己去那邊讀書，然後就留在那裡工作了。她也是一個Data Scientist.
小賀: 是的。我上一個工作就變Applied Scientist.都差不多，換湯，不換藥。
Stella: 那我們今天請小賀來是想聊一聊Data Labeling.要說起最新，這麼火的ChatGPT或是Generative AI大家肯定都聽過的。那ChatGPT當中最後這個字母 T,Transformers 其實也並不是一個很新的東西，或者說ChatGPT 所用的 model 可能對於關注這個領域的人來講，並不是一個什麼 big breakthrough。
Stella: 對於我來講，我可能更好奇的是他們的 data 是怎麼處理的，他們用來 train Transformers model 所用的 data 是如何收集來的。
Stella: 今天我是很期待小賀可以給我們介紹一下 data labeling 的這個過程以及他的工作是做什麼的。
Amy: ChatGPT的成功其實跟 data labeling 有非常大的關系。如果你看前幾代的 model, 他其實都大很多。但是ChatGPT既然體量上比較小，但卻能夠有這麼好的效果，跟他背後的數據特別乾淨，有經過很多的 pre processing data labeling,這整套流程都非常有關系。
Amy: 這也就是現在所說的 RLHF Reinforcement Learning with Human Feedback.那我們今天就用最接地氣的方式來了解這個RLHF是怎麼 put in action。
Amy: 先介紹一下小賀。其實之前跟我們一樣都是 data scientist.因為是我的好朋友，我也比較清楚他的歷程。
Amy: 他在前一年，他中間就辭職，就暫時沒有做 data scientist的工作。
Amy: 小賀，要不要先給大家先介紹一下在做data laborer之前，你是做什麼的？
小賀: 好，我來英國念研究生唸的是相當於GIS,就是地理信息系統，智能城市跟urban analytics.但其實就是GIS.我當時就是先做GIS，然後畢業的時候，也是大部分同學都去就算是比較傳統行業吧，就是什麼建築啊，或者是城市規劃，或者是這種civil engineering的事務所，然後當時就很想要找可以sponsor visa的工作，然後就發現好像好像data scientist,比較in demand。
小賀: 那是2016,17年的樣子嘛，可能在美國已經有那麼幾年，就已經有一些什麼bootcamp啊什麼的。
小賀: 英國就稍微要慢一點。然後當時就是我記得我去找Data Scientist工作的時候就是很多人都沒有聽過這個工作。
小賀: 然後我當時去的第一家公司是一家很小的公司。是一家初創企業吧。當時才六，七個人。
小賀: 那他們做的是 Consulting,就是Big Data Consulting就是相當於是Google Cloud的一個合作夥伴，就是相當於Google Cloud想要賣他們的那個雲嘛，想要跟AWS啊 Azure來競爭。
小賀: 然後Google Cloud就說那我們的亮點就是 AI on Cloud.然後他就要一些Partner去幫他們去給客戶就相當於表演一下！我覺得其實後來想想就是有一點是表演啦，就是給他們看說哦，你的Data我們給你就多麼簡單，對，就可以做一些Machine Learning, AI，然後客戶就很興奮。然後谷歌說那，你就先把你的數據都migrate到我們的雲上。
小賀: 我覺得還蠻有意思的那個時候。就是我們Data Science Machine Learning Team,我們做的都是很多POC嘛， Proof of Concept就是這都是我覺得後來仔細想，其實表演性質很強，然後真正公司就是Make Profit其實主要是靠Data Engineering，就是好幾個月的Big Migration來賺錢。然後我們這些Data Scientist就幫他們做一些Machine Learning。
小賀: 然後我就在那裡做四年，還蠻好玩，因為接觸到很多各行各業，不能說各行各業，就是不同的領域的Data Science的一些Projects，面比較廣。從什麼retail啊 media recommendation engine,然後還有一些很多telecommunication一些maintenance，一些IoT就是time series forecast,就是面很廣。
小賀: 所以我覺得還蠻好玩的。但是後來就是做了就覺得，好像真的是做的項目表演性質比較強，就是有的時候我們也有幫他們deploy啦，但是deploy完以後，我們也不知道，就是也不知道我們很有感情做出來的項目到底何去何從。
Stella: 就是你沒有辦法看得到反饋。你投入了很多時間去做POC或者去做deployment,但是就不會像，比如說，如果是in house的人去做的話，他可以看到最後的效果如何。
小賀: 對對對然後就包括我們到底做的東西。出現了什麼問題?也不知道。所以有的時候做的時候就有點心虛嘛，就覺得我都不知道人家怎麼maintain。
小賀: 然後我第二份工作就去產品公司去做一個叫Applied Scientist,就是大差不差，但是就是他有很多已經deployed一些Machine Learning啊，或者是一些algorithm然後要maintain,要on call,然後我相當於做了一些更偏MLE的一些工作吧，就是寫更多code。
小賀: 就幹了一年多以後，覺得好像主要都在寫unit test,寫了很多碼，就是都感覺挺repetitive，對吧，有一些framework然後你就抄啊，就是感覺有點無聊，然後就有點midlife crisis嘛，然後就先辭職了尋找一下人生，人生的樂趣和意義。
Stella: 那尋找人生的結果是去做了Data Labeler嗎?
小賀: 沒有啦。其實我覺得從上一次你們介紹的時候，我就想說，好像我做Data Labeling沒有那麼，沒有你們想的那麼有誠意啦！就是我沒有是真正是在轉行，就是屬於我。。。
Amy: 我來給大家介紹一下小賀是怎麼去做Data Labeling.
小賀: 因為Amy就是那個我的Pimp.
Amy: 對，我是她的Pimp.那個時候他辭職以後他就在找人生的方向。然後我說你這樣都不用繳房貸了嗎?然後我就看到一個Email來找我做Data Labeling.我Traceback，他其實應該是 Scale AI的一個Data Labeling的Job。那我自己是做不了。我就想到小賀！想說小賀可以賺一點零花錢，順便告訴我到底Data Labeling這整個產業是怎麼回事?
Amy: 然後我就把它Forward給小賀。結果小賀就順利的錄取，就去當Data Labeler.
小賀: Amy都Deploy我了。
Amy: 被deploy去做data labeller.
Stella: 但是當時你接到來自於Amy的這個request的時候，你就愉快的去做了？
小賀: 就是我也覺得蠻好奇的嘛。因為好奇的點有幾個啦。第一個是辭完職就是然後就想說想試試看freelance或者是contracting，就是打零工的工作。
小賀: 其實我剛辭職的時候我最想去幹的是送外賣就，因為我前幾年剛學會騎自行車，就很開心，就很想說那我就騎車就送外賣，就是我很想要體驗生活。
小賀: 但是後來發現了，送外賣就是大家，因為是食物嘛，就盯得很緊，就是要你要騎得很快。我覺得很危險就最後還是沒有去。
Stella: 對啊，倫敦送外賣是要騎自行車的。
小賀: 或者是騎摩託嘛，然後我是想騎自行車，但是速度拼不贏人家，就是就算了。
小賀: 然後就是我的心態是這樣，想要去打打零工，然後體驗不同的東西。然後我其實也是好奇啦，就是說嗯， gen ai裡面也是感覺，這個 data quality或者是 data collection就都是一個謎嘛，我覺得就是挺神秘的。我就覺得那就去看一看吧，對，就愉快的接受啊。
小賀: 反正就很簡單，你就把你的 cv 發過去。然後就是真的是感覺就幾秒鐘。就說 ok you are invited to the next stage of qualification.
小賀: 我想說哎，那，那就試試看。
Stella: 那做 data labeling 的?你的僱主是誰呢?是有一個公司嗎?
小賀: 這個就是一個有點也是不明不白的事情，哈哈哈。
Stella: 現在依然是不明不白嗎？
小賀: 對，就是我這個平台叫Remotetasks,對吧，然後它跟Scale AI關系就是其實應該我感覺是一家嘛，但是不知道它到底是有什麼樣的分工。
小賀: Remotetasks這個平台，就是它就是對各種各樣的Data Labeling，其實很多都是圖像。比如說什麼， Scene Understanding,就是一張照片然後要把每個Object的輪廓勾勒清清楚楚，包括 LiDAR Image,Satellite Image,這些很多image labeling，然後在整個Remotetasks裡面他有一個叫 expert community，我後來理解到就是說，他招一些所謂特長的人，就其中就包括像 data scientist，然後還有一些 programmer，各種 programming language還有各種語言嘛，什麼大語種小語種，還有一些什麼 biology 啊，什麼 physics呃，還有像一些關於美國，不同的州的一些當地的法律啊，法案什麼的。都有，就非常細化的不同的domain knowledge的人。
小賀: 說到僱主，為什麼我覺得有點不明不白，就是好像你也沒有真的在簽合同，就是你就只是click,他是有一個term & services，你click on it，就算是相當於簽合同了，然後我也不知道他們知不知道我名字叫什麼，然後你只要給他你的paypal的郵箱，他每週二就準時給你打錢，就好了。
Stella: ok哈哈。
小賀: 哈哈。
Stella: 對這個才是最重要的事情。
小賀: 哈哈哈哈，對，就是第一個星期到週二的時候，我就覺得這個錢真的會到嗎？然後，就真的就到了。然後覺得，哦，ok i guess we're on哈哈哈哈。
Stella: 他給你的工作就是這種task based是嗎?就比如說我給你一個包，然後這個包裡面的就是 data要怎麼label跟你說清楚，然後你就在規定時間內做完，再返還給我就可以了。
小賀: 呃，他是這樣子的，是一個他們的平台，他是計時的。是計算到分鍾。然後他一般一個task就是一個browser,你點進去，然後，他時間一般來說是45分鍾到90分鍾之間，但他那個platform很多，很多bug,所以經常出故障。
小賀: 也不知道他到底是想要時間是多久。應該一般來說，最長時間是90分鍾，然後他就會計時嘛，然後他就是按時收費，跳表，跟打出租一樣。
Stella: 哈哈哈。那每個人的收費標準是完全一樣嗎?還是會有不同啊?
小賀: 他都不一樣，根據不同的職位嘛，而且根據他招人的地點。這個是我在看他們的那個job description裡面，反正我可以講，就data scientist他當時招就是在像美國，英國，加拿大，澳大利亞，什麼這幾個國家，然後他招就是45到1小時，但同樣的工，就是同工，不同酬，同樣的工作。如果你在其他幾個地點，比如說他有很多在拉丁美洲或者是印度或者是菲律賓啊，我記得當時的那個時薪就不一樣，我不記得具體多少，但是就是差蠻多。
Amy: 我想補充一下。就是當初我傳給呃小賀的那個 job description.他就是在找一個專業的data scientist。就是，你不是data scientist,你還沒有辦法去做這個data labeler的工作。
Stella: 對。
Amy: 對，然後時薪也蠻好的，就像他剛才說的。美金四十幾塊是job description直接寫的，那我當時看到覺得說這個零工很高級啊，所以才會把它再轉給小賀。
小賀: 賺賺外快，我覺得還是還不錯。
Amy: 你sign up以後他的qualification process大概是什麼樣子的？他怎麼qualify你真的懂data science，可以做expert labeling.
小賀: 嗯，這個就是當時讓我覺得非常震撼的一個過程。第一個部分，很簡單，就是英語。他考你的英語能力嘛。然後就有點像咱們當時考什麼SAT啊，就是問一些很精細的，比如說什麼逗號，比如說A, B and C逗號，這個地方要不要放逗號，這種很細的語法。就有幾個 multiple choice。
Stella: 我覺得我會fail.
小賀: 你可以試試看。
Amy: 美國人會fail.
小賀: 我可以refer你。對，反正我當時覺得這就是很龜毛的點，我看這些就是讓我想到考SAT的時候，這些知識點 anyway.
小賀: 那個就很短，就是考幾道選擇題，然後完了以後。就考你的data science相關知識了。我記得印象很深刻，他有一個prompt然後底下有兩個answers，然後他讓你來選擇說哪一個answer更好，哪個answer更concise,哪個answer更truthful。他就是有幾個這個打分的標準讓你去選。
小賀: 我記得有一個prompt。假如你是一個data scientist,然後你跟一些e commerce的一些stakeholders們一起開會，然後他們問你k means到底是什麼？他們問你 k means對他們的business來說到底能夠產生什麼樣的價值，你會怎麼回答?
小賀: 然後有兩個answer就是我覺得十之八九啦，應該就是LLM生成的，但是都講得非常好。就是兩個答案都非常好，又詳盡又清晰，然後兩個都有舉例子，use case有哪些，customer segmentation什麼的。還生成一個 Jupyter Notebook，就是展示如何用K Means來解決這個用途。我當時覺得omg，那不就是我之前在那家公司做的表演性質的公司data scientists嗎？
小賀: 讓我覺得當時有點震撼。我就覺得LLM真的要來取代我之前那些寫unit text那些工作，那是肯定應該要取代的，非常簡單重複的工作。
小賀: 但我原來以為說在consulting.你要跟人打交道，你要跟人家，講故事。
Amy: 表演要表演的好。
小賀: 對，我就覺得這部分好像沒有那麼好取代吧？結果LLM那個答案，雖然不是說完美，但是我就覺得比我當時第一家公司，我們面試的很多candidate的回答都好很多，我危機感就衝上頭了。所以那個qualification就是有連續五六道這樣的題，然後還有比如說code,就是讓你選哪一個generate的code更好啊，什麼的。對，就是做題。
Amy: 這其實是RLHF的一個很重要的點，就是你data modeling, data labeling做得好。它是有層次的，就是它不是yes or no。你常常label就會，這兩個其實都不錯，但是你覺得哪一個比較好，然後那個就會變它的data label進去train這個large language models.
Amy: 當兩個東西都相對好的情況下，它能夠判別出哪一個更好，然後用那個去生成更多的文字。它的Label是精細到這個程度的。
小賀: 對，我覺得那個Label的那個信息量就很大嘛，因為它還讓你精確的比較說這兩個各種打分標準，哪一個更好?
Amy: 它是有一個Rubric是不是?
小賀: 對對對 就是什麼 Conciseness Truthfulness Relevance Completeness之類的，就有四五項。然後每一項你都要給這兩個打分。它經常換，後來我做的有些Task也有這個嘛，它經常會換它的那個UI。有的時候就讓你給兩個分別打分，就是0到5，有的時候還讓你比較，說哪一個更好。有時候還要你寫Justification,就是說為什麼你覺得 Answer A比Answer B更Relevant.
Stella: 我覺得，對於我來說，這種打分真的很難。我有一個有點搞笑的事要講。
小賀: 你講講。
Stella: 對於這種什麼0-5， 0-10 scale的事情說起來是有點慘了。就是我生小孩的時候，我是就是water broke,就破水了。之後呢就衝去醫院了，然後在醫院就當晚就要入住醫院了。醫院的護士就跟我說這個，你的疼痛級別到4了，你再告訴我。然後我想說4是什麼？他說4是between 0 and 10,就是從0到10.我說我還是不知道4是什麼。他說0就是不疼，10就是非常非常疼，然後我就很崩潰。我還是不知道四是什麼，我就趕緊，趕緊掏出手機google 0-10到底是什麼。就看到有寫網上寫說四是很疼，但是你還是可以有清醒的意識的。但我這個人就是pain tolerance特別高，我算是比較不怕疼的人。所以最後，等我叫護士來的時候，我其實已經到七和八了，就是你知道，如果到太後面你是來不及打epidural的，就是來不及打那個麻藥。有的產婦，她真的錯過這個打麻藥的時間，她就真的得。
Amy: 忍痛。
Stella: 硬生。所以我還好是趕上了。但是就從此以後在工作當中每次別人跟我講，說 from zero to five,然後from zero to ten 你覺得是幾？我都要拿這個故事出來跟他們講。
小賀: 我有一個類似的經驗。我是相反，我的pain tolerance非常低，就是有點drama queen,就是會有點痛，都會覺得很痛。有一次我是肚子很疼，然後就打不是那種急救，算是不是那麼嚴重的急救。他就問我的pain level是多少?
小賀: 然後我也是0到10,我就不會回答。他就說那你現在疼痛程度，你覺得你還可以看電視，就是還可以enjoy watch tv嗎？我說不行啊，然後他們就覺得很嚴重，就直接叫了一輛救護車來，然後我其實就沒有那麼嚴重。救護車來了。我去下樓開門，救護車問我說「病人在哪裡？」，我說「我就是病人」。然後他們就「啊，你怎麼站在這裡?」然後我就說「對不起，我也沒有想要叫這個救護車。可是他問我能不能就是享受看電視的過程?我當時真的覺得不可以。」
Stella: 對啊。我覺得這種打分都非常的subjective。那你在做這個data labeling的時候，他會給你一個reference嗎?我很努力的在把話題扯回。
小賀: 對，我覺得這個打分要簡單一些，因為確實是打分，因為它會有一些description,就是說它有很多training material。給你一些例子，就是0分長什麼樣，5分長什麼樣。你看例子，就覺得打了兩個以後就覺得大差不差，有點感覺。
Stella: 那他再給你就是不同的任務。他會都有這種不同的 training material嗎？
小賀: 有。他經常時不時的給你推送一下新的training material。我覺得他的platform不是做的非常好，然後就是他就是，怎麼講，就是整個這個labeling讓我感受到這個產業和這個公司的作風，就是非常move fast，他們會一直不停的release新的那個 version of the platform。我覺得好像都沒有怎麼經過test，就是經常很buggy.
小賀: 他就release出來，就讓我們這些platform user用。用後你覺得，哎，怎麼出問題了。你就上slack就tag那個project lead，反饋，然後他再改。如果他覺得有夠嚴重或者他非常需要，你趕緊生成很多label的話，他就會很及時的去改，一天他可能會改好幾次。
小賀: 真的非常scrappy。反正我記得蠻清楚有一次我用了那個 platform,那個url裡面都有canary,就是canary deployment,怎麼我就已經在用了？！然後很多很多非常明顯的bug啊。但是他就是move very fast。我label了兩三個月吧，就是感覺日新月異的變化。
Amy: 哈哈哈。
Stella: 嗯，小賀，你可以給我們介紹一下就是具體data labeler的day to day是什麼樣？你每天都是做一些什麼樣的tasks呢？
小賀: 就是沒有day to day啊。 freelance嘛就是哈哈哈。
Amy: 是說你早上起來想說，我今天來label兩下好了，然後你就打開，然後label一兩個小時，就自己clock out,下班了。是這樣嗎?
小賀: 啊，對啊，就很閒散啊。就是我每天醒來以後就就打開label，然後就開始喝咖啡，吃早飯，然後label一下，然後如果天氣不錯，就是一邊吃早餐一邊label，然後如果天氣不錯的時候，那我就出去走一走或者出去騎機車，我就出門了。
小賀: 如果天氣不太好，又沒什麼事，然後就在家label一下，也沒什麼事幹。
小賀: 哈哈哈，就是很閒散，哈哈哈。
Stella: 勉為其難來賺一下錢好了。
小賀: 就是有一點那種感覺，但是我發現其實有的時候也有點上癮。因為就像出租車打表一樣，你就知道每分鐘的時間，然後就是我覺得我有的時候會進入到那種就是，如果我的label比較多啊，一兩天，我就會突然進入到那種停不下來。
小賀: 然後如果，要是，如果要是有事，比如說跟朋友約好出去玩，或者是看電影，然後就要離開我的電腦，不能label,我就覺得非常grumpy,就不想離開這個電腦。
小賀: 這時候我就會覺得ok,這就很像addiction。
Amy: 所以有點gamify這個job.
Stella: 對。
Amy: 讓你有點想要打怪通關的感覺。
小賀: 對對對講到這個。他們真的很認真在搞gamify,但是我一次都沒有趕上這個福利，他有一個mission，會給你什麼一個星期，如果label了三個或者是十個task或者是怎樣，然後他就給你bonus，但是他這個很buggy這個website.所以我一次也沒趕上。
Stella: 哇，聽起來跟小紅書一樣。我好煩這種。
Amy: 拿勳章。
Stella: 對，就各種badge.
小賀: 然後各種。
Stella: 升級。
小賀: 對他就是有升級的。有級別，然後還有什麼global ranking.我不知道global ranking我的ranking是怎樣。反正我當時有跟Amy分享就是，我第一次發現有這個feature的時候是400多名，然後過了一會200多名，就不知道這個到底是怎麼來的。
Stella: global裡大概有多少人，你知道嗎，在用這個平臺的我
小賀: 剛才上了一下他們的網站。我來看一下哈。
Amy: real time在check data。
Stella: 非常真實的聊天。
小賀: Remotasks這個整個網站。他上面寫，他有240k total taskers在90多個國家。
小賀: 但是Remotasks它整個真的是Global Operation，就面很廣。它分出來就是這個Expert Community，叫Outlier,就是小一些。
小賀: 我記得我當時做有一個Projects，我被加到是一個SQL，就是你自己想一個Prompt然後自己再寫SQL Code，自己給自己出題然後自己再做題。你要Come up with this pair.然後當時這個項目我記得是在Slack Channel裡面看到是三四十個人吧。
小賀: 就是比較難一點的Task,
Amy: 其實沒有幾個人全世界。
Stella: 你剛才講的這個Task,它都不是。這還算Data Labeling嗎?我覺得像是在Generate Training Data,是嗎?
小賀: 對對對，我覺得其實就是在Generate Training Data。都叫labeler,他有分級別，就是有attempter,就是你是這種generate的。然後就比如說像SQL,就是你要generate這個text和code.
小賀: 我當時那個項目裡面就attempter做了一會兒，然後就莫名其妙被promote,被promote。這個還是很好笑。就是我當時還以為系統出了bug,因為我平時用的那些button都不見了。然後我就還去slack channel裡面報告。我說哎，因為那段時間platform經常出bug,我就說是不是又出bug了？我那些button都不見了，換了新的button.然後那個人就說「哦，那是因為你，你昨天被promoted,變成reviewer了」。我說「what,哈哈」然後就也沒有人會告訴你這到底是意味著什麼，你到底要幹嘛。你就在platform裡面自己看，「哦，review的意思就是，我現在變成就是別人寫的這個 Question answer」
小賀: 我來打分還蠻明顯的，大部分都是別的用戶，就是別的Labeler,是自己寫的。
小賀: 偶爾會參一些我覺得看上去像AI寫的，但是我不知道是別的Labeler用ChatGPT寫的，還是他們混雜的真的是就是AI寫的，對，就是有各種不同的Task。我覺得他們就是這個 Human Feedback的這個Data Set，他Curate得還蠻仔細的。
小賀: 好像就有Attempter，然後Level 1 Reviewer你可以Accept,你可以Edit it或者是Reject it,然後打分，然後好像還有另外一層的那個Reviewer，我不知道是Peer Review還是怎樣，反正它就有好多層Redundancy吧，來提升他們一些數據的質量。
Stella: 我現在稍微有一點confused.就是說這個平台的一些user，像小賀你們這樣的 data labeler，就是去review或者是去generate data的人，是有公司或者有clients他們有這個需求，然後放到平台上再去distribute給你們？還是說這個平台收集很多這些data然後拿來賣給別人？
小賀: 這個東西，我不知道他們是怎樣，但是因為這個平台背後的，背後。。。說得好像很神秘，哈哈哈哈。好像他這個公司是scale AI嘛。這scale AI他不是跟很多就像open AI啊 anthropic cohere,他們都有合作嘛。我的猜想是，像我知道open AI跟scale AI的那個初期合作是很緊密的嘛，所以我覺得從看新聞，我完全沒有任何inside information.
小賀: 看看新聞感覺是可能是open AI有 requirements for these datasets然後scale AI去收集，然後之後可能scale AI會有些跟別的客戶有合作，至於他是 who came up with the task?這個我就不知道。
Amy: 如果公司去找Scale AI來做這些 task的話，Scale AI它的expertise反而不只是crowd sourcing labeler，它其實也要去設計整個數據標記的operation。
小賀: 對。
Amy: 那在最下層的labeler，這一層可能完全不知道自己在label的這些數據到底會去哪裡做什麼。跟 Amazon Mechanical Turks 也蠻像的。你只是做這些tasks，那他們怎麼去使用，就不幹你的事了。他給你錢的同時你已經sign away你知道這些的權利了。
小賀: 就是這個process。我記得我是去看Scale AI的網站的 blog post.
小賀: 他們的 blog post 寫的還蠻好。他就好有幾篇寫的非常詳細。就他們怎麼樣用各種 peer review, 各種 mechanism 來保證這個數據的human labeling的quality啊，他有很多ranking之類的系統。
小賀: 但是這些東西就是你作為labeler吧，我覺得對我來說，是個文化衝擊吧。就是沒有人跟你有那個閒工夫或者是even bother to explain anything to you。
小賀: 你每天打開那個網站都不一定跟你昨天看到一樣，然後你也不知道發生了什麼，就是這個跟我們原來工作，就是做data scientists or engineers，你在公司受到那種待遇是很不一樣的。在公司大家都會覺得哦，我要跟你解釋context.然後還問你這個幹的開不開心?你知不知道你到底有什麼impact，就哄你開心嘛，對吧。然後這個地方，我覺得讓我看到了，我覺得有點寒心的一點，就是覺得可能世界上很多人的工作都是這樣，他們在工作中都是這樣被對待的吧。
Stella: 會是一個特別容易被 replace或者說完全replaceable的狀態是嗎？
小賀: 對。而且就是我覺得被replace,我覺得倒是大家的工作，大部分人工作都是可以被replace的。
Stella: 就是replace的cost很低是不是?
小賀: 嗯，就是我覺得有點人與人之間的尊重就沒有，因為就是很anonymize嘛，沒有人知道你是誰，你也不知道別人是誰。是一個 distributed global force,哈哈哈，就是很anonymize，那種工作的感覺真的是很不一樣。
Stella: 我還想問小賀，你們label的data,除了剛才你講的，有這種就是自己generate SQL或者是去review SQL，然後有一些text的data，還有什麼不同類型的數據嗎?
小賀: 嗯，有，還有一個Google Cloud Platform的Python SDK。我在那裡面是generate data,它的prompt其實很簡單。你去看那個 Python SDK的documentation,你要生成一些Jupyter Notebook as tutorial to showcase different parts of the documentation或者是API.
小賀: 所以就是相當於你要自己想一個prompt，然後自己寫一個Jupyter Notebook tutorial,然後就是要可以run的，然後就是讓我當時有種感覺哎，這個不就是？
Amy: 不就是你第一個job嗎?
小賀: 對啊，就是，就是要給客戶或者是給人家培訓寫的。就是一樣啊，就是跟本來data scientist的工作本質上是差不多，只不過因為anonymize了，然後就變很trivial.
小賀: 但是原來，會給你可能好幾天或者是好幾個小時，慢慢做的活。現在就是，你自己打表了。
Stella: 這個想想還挺有意思。的就是你以前做雖然說是同類型的活，但你以前做的那個東西其實是一個output，是最終呈現的結果，但是你現在做的，它是一個input，然後要把它變成一個更generic的black box去再生成可以。。。
小賀: 取代我們大家工作的東西。我真的是這種感覺，自己取代自己。
Amy: 就自己給自己出題，自己給自己寫完題，然後還去掉你可以開心的去外面表演的成分，就直接喂到model裡面去做training了。
小賀: 對。對我來說，就是這個打工經驗讓我這種危機感，就是上了一個新台階。
Amy: 那，你有認識別的data labeler嗎?就是你有交到朋友嗎?有什麼其他背景的人在做labeler?
小賀: 我沒有真的認識人，就說說趣事吧。因為Slack Channel裡面就一般沒有人講話，唯一有人講話，就說，我的payment又delay了，就是氣勢洶洶在那裡 Tag ＠product lead, Where is my pay?一般就是這種信息。我當時就覺得「喔，原來是這樣的dynamic」。
小賀: 當時platform經常壞，我就是一個好員工，雖然我都不是人家的員工。我就是在那天天就report bugs.就天天說platform這裏出bug，那裏出bug，描述那個bug。其他label就會底下回復呃，用emoji回復一個「same」，就很多人回覆same,但是沒有別人在report.
小賀: 當時那個project lead，每個slack channel有一個project lead。他們叫task successful manager, TSM。
Stella: 這個tsm也是。就是這個平台上的用戶是嗎?他是怎麼選出來的?
小賀: 這個就很好玩了。他們一般就是都在回答問題。然後當時有一個tsm,就因為我經常反應問題，他就會直接dm我，「are you there, can you huddle?」然後就直接打過來說，你可以給我看看，你可以share screen給我?或者是給我描述一下你說的那個問題到底是什麼?然後他就做筆記，做筆記，做完筆記，他就說ok,我會report給team.
小賀: 有一次我們就用huddle嘛。然後他打過來，我們就聊了一會兒，我就說你是怎麼樣，就是how did you end up here?我說你的employer到底是誰?他說我也不知道。哈哈哈哈。
Amy: 你講how did you end up here?聽起來也太奇怪了吧。
小賀: 哈哈哈哈。
Stella: 感覺是在監獄裡面大家會互相問這個
Amy: 在監獄或在妓院聽到的對話。
小賀: 哈哈，我就是被我的pimp Amy拉過來的。
小賀: 我就想說，你怎麼開始做這個的?好啦，不說end up here,可能沒有問的那麼難聽。
小賀: 然後那個女生是個西班牙女生。她就給我rant了很久，打過來說 oh my god I don't know what's going on。她說就是每天開會，也不知道是誰，就是感覺好像大家都不知道在幹嘛。她說她是先開始做，就是好像是做 Spanish language的那個 labeling.她說打打零工。結果打著，打著，就有人問她，妳要不要做那個 community manager什麼的。她就說那行吧，就開始做。
小賀: 然後我就說那妳的employer是scale還是Remotasks。她說我也沒有什麼employer也就是每個星期paypal拿錢就是了，反正就是一個這樣子的糊裡糊塗的組織，我覺得。
Stella: 那小賀，你覺得就是做 data labeling的人。他需要的核心競爭力是什麼？就，他有核心競爭力這個說法嗎？對於這一行?
小賀: 我覺得這個有點大詞，哈哈哈，我也說不清楚，可能是我對這個行業還沒有那麼了解。
小賀: 然後我覺得你叫這個為一個行業，我覺得也有一點點，嗯，不能說誇張吧，就是有點。。
Amy: 有點像是你可以去當送外賣的 delivery man，可是你又沒有辦法去變成設計整套 delivery system的人，就很難嘛。你再怎麼升，你可能升到operation manager就像那個西班牙女生一樣，但是你不會再上去了。所以你的競爭力就到那裡的天花板了。
小賀: 我不知道欸。因為我覺得大家去幹那個都不是為了career progression，我也看到很多，就是看起來挺心酸的故事，就是在那個channel裡面很多人都會說哎呀，怎麼沒有我的task?或者是說我的pay delay了，我還等著這個pay bill呢什麼的。就是說的挺心酸，就很焦急，讓我也是意識到這個gig economy就是順風順水的時候是蠻爽的，你就喝著咖啡，反正寫寫code或者看一看code,你就賺點零花錢，好像很方便，他項目task很多的時候，你就覺得你想什麼時候幹，就什麼時候幹，想幹多少，幹多少，就很爽。
小賀: 但是它完全不predictable啊。根本上來說，你跟這個公司之間沒有任何的 promise,沒有任何的那個期待嘛。就是它有project給你，你就可以幹，有收入。或者像我今年其實都沒有在做，因為我那個platform出了一個bug,我的earning rate變成了1 dollar per hour,然後我就一直在raise ticket或者是tag那個task success manager說這個出bug。他就說哦，出bug,我幫你看一下。然後就一直也沒什麼解決。反正一直在出問題。
小賀: 所以就是說你不能靠這個嘛。所以我覺得，如果把它當career就是在這個setup下，我覺得應該不會有多少人在想怎麼樣在這裡爬梯子。這沒什麼梯子可以爬。
Amy: 那我知道小賀Label的很認真。那怎樣會被Fire?
小賀: 欸對！我自己Label的時候沒有意識到我Label有多認真，直到我被Promote當Reviewer，我看到別人寫了。我想說天啊，你寫的這是什麼鬼。就是很多人會，寫的SQL Code根本就不Run,他就Submit。我覺得真的是比較沒有底線。或者重複率很高，或者就是不夠Creative。
Amy: 寫SQL,還要Creative？
小賀: 哇，我覺得，唉，我現在覺得平心而論，我當時寫的真的蠻Creative, 因為你要它那個data set,然後你要編一個use case嘛。我要研究這個跟這個之間的區別，然後它會給你complexity level的requirement，如果是hard的話，那它給的例子其實是很複雜的，就是那個SQL code寫，就很複雜那個logic，你要make sense,然後就很多人很偷懶嘛，就總是寫那個what's the name of the football player with number x，然後這種就reject.
小賀: 哈哈哈，太偷懶。
Stella: labeler寫出來的東西，或者說labeler generate的data被reject的很多的話，會相應的adjust。。？
小賀: 他們會被kick out of the platform。
Stella: 哦， 我還以為說是會，就是比如說把他的rate調低一點，是會直接被踢出這樣。
小賀: 沒有啦，就沒有人有時間跟你adjust這個東西或者是給你pip什麼的，就直接把你踢掉就好了。就不認真幹活。
Amy: 你create dirty data，不如create no data,不是嗎?
小賀: 對啊， 所以我覺得如果你consistently 經常被 reject 的話，就是說明這個人做事不認真或者是不行，然後就不要你了，哈哈哈哈。
小賀: 然後關鍵，他都不會給你 feedback的。因為他很多東西有 delay 嘛，如果 reviewer 不夠多的話，你可能一開始就半天你就寫了很多 attempt, 你都不知道錯在哪裡。然後突然，有個 reviewer，比如說像我，聖誕節的時候就很無聊，然後就 review 了很多，就 bulk review 了很多，然後就有很多又是 reject。現在想想，可能第二天那個人突然發現他的 acceptance rate 很低，然後可能低於哪個 threshold以後，反正他也不會有 warning,你就打不開那個 browser,因為很多人在 slack channel 裡面 moan 說我不知道為什麼突然就說我的質量太低，然後就不讓我做 task.
Stella: 是因為小賀 bulk review 了。
小賀: 哈哈哈哈，哎呦，我應該也不是唯一一個啦，不能全怪我。
Amy: 哇，讓你們自己去對自己負責。好可怕。
小賀: 對，就是很 brutal 嘛。
Amy: 確實 對。那這樣收入其實也不會穩定欸，因為像小賀 label 的 task 可能是還比較 expert level 的，人沒有那麼多。如果你 label 的東西像是普通的 language task,是不是收入不會穩定，因為可能會 run out of task to label。時薪大概多少啊？ 你知道嗎?
小賀: 別的工作啊，我不知道，但是我們可以看，要在線看嗎?我有個印象啦，就是上次我有看一張 job description.就是很多，就是二三十刀一個小時吧大概。
Amy: 那也不錯也。
Stella: 不差啊。
小賀: 我覺得不差，但是就像你說的，就是很不穩定嘛，就包括SQL那個項目就已經結束。他可能目前不需要更多data.然後我覺得其實主要是，你每個人有你會的skills,對吧?但是他要把你move on to another project，他就需要一個operation cost.
小賀: 他會在channel問，誰會幹這個？他就一般效率都很低。所以每天都看到那個TSM在channel裡面。「哦，今天我們沒有SQL了。今天需要mongodb的，誰會你就DM我」。可能不知道過幾天可以把你move on to that project.
小賀: 完全沒有穩定性了。有的時候他platform down或者是他就在更新系統什麼，就幾天都沒有，所以你不能指望他。
Stella: 你剛才說的時候我腦袋裡面有畫面。我以前看過一個紀錄片還是什麼的，就是關於橫店的臨時演員。
小賀: 嗯，對對對。
Stella: 對。每天早上很早的時候去等著看有沒有工作，然後就有那種選角導演來說我今天要找什麼什麼樣的，然後你們滿足要求的舉手。然後沒有舉手的人都走掉。
小賀: 其他人都回去了。對對，完全就是這樣感覺。就是群眾演員嘛，真的是這種感覺。
Stella: 那小賀，你覺得，如果以後你找到了一份穩定的full time job,你還會把data labeling當做一個side hustle來做嗎?
小賀: 我覺得時不時的我會去看一看啦，我覺得第一個是說，如果他platform穩定，他把我的時薪調回，45刀的話，有的時候做做還是不錯啊，賺點零花錢。
小賀: 我覺得主要是feedback loop很快，那種爽的感覺。就是你每天做計時，然後你就可以看得到他會告訴你這個是多少錢，然後第二週週二，你就準時收到。
小賀: 這個feedback loop快，比原來收工資還要爽哈哈哈，就是對，這是第一個。
小賀: 第二個我覺得我也好奇這個field,到底這個日新月異的變化會發展到什麼程度。他們在需要收集什麼樣的數據？發展到什麼程度？我覺得就是好奇。我也會時不時去看一看。
Amy: 我覺得在裡面應該可以看到很多苗頭。
小賀: 對，我覺得會啊，因為就可以看得到他包括那個LLM生產的東西的quality什麼的。還有包括就是他那些topic,他的scale AI的客戶們在想要fine tune的是什麼。還蠻有意思的。
Stella: 或是小賀又開始label某一種data，跟data science相關的，就說明data science的這一塊可能又要被automate了。
小賀: 我覺得反正。。。
Amy: 她不是說已經差不多了嗎?
小賀: 已經知道了我覺得。所以這個讓我現在去找工作，就是有一種，你知道嗎。就是感覺好像有點像去date,但是你覺得看不到長遠的未來的那種感覺。
Stella: 哦。 ok，以你自己data science的背景，你覺得還有什麼樣的工作是可能會有稍微長遠一點的未來的嗎?
小賀: 嗯，這是我的危機，因為我原來做data scientist就算就是做modeling偏多的嘛，就是machine learning什麼的。
小賀: 然後我覺得就在LLM開始之前，就已經有很多AutoML的一些工具嘛，就已經讓我覺得，那我之前熟悉的那些code就都不用了，就直接塞AutoML就好。
小賀: 所以我的感覺是，可以做的ML好像越來越少，因為現在真的AI，大家都去做，可是我的印象哈，是感覺，嗯，除了在OpenAI的那些精英們，其他大部分人，你可能需要就是Plug in API，對吧，都做integration。那很多公司就直接去找software engineer.
小賀: 如果他們只招一個人，他就招software engineer,就integrate API就好了。那你能做的機會是越來越少嘛。所以，對，就是感覺不知道新的skillset到底在哪裡。
Amy: 那現在英國的Data scientist的就業市場怎麼樣？跟美國一樣，比較差嗎?
小賀: 嗯，我也沒有看那些新聞或者是數據回答你的問題。我只能從我這個小的data point傾向進來，因為我今年就有去面試一些full time job嘛。我覺得聽起來就是沒有像美國那麼嚴峻。因為我還有很多open positions，然後從linkedin上看到，我不知道這個數據可不可靠啊，就是已經申請的人數來說，也就還好，一般就幾十個，最多有名一點的公司，上百就不錯了，就好像沒有像聽到的美國那些公司那麼嚴峻。
小賀: 但是我覺得從我自己為數不多的，就是跳槽找工作經驗來說，確實不像可能兩，三年前或者是四五年前，就感覺自己可以當princess。現在要平和心態，大家來互相挑一挑。之前真的是感覺，好像大家都覺得你promising，可以趕緊來我們公司。可能我原來也很幸運，就好像怎麼面大家都覺得你來你來，現在就覺得，我們還有別人。可能還是有些落差。
小賀: 但是從數據和周圍朋友找工作的感覺，也還好，沒有那麼人人自危的感覺。
小賀: 然後我也沒有真的認識人，就在英國，data scientist被layoff的，也沒有聽過。
Stella: 是不是也因為英國或者是歐洲的公司， mass layoff沒有那麼容易啊。
小賀: 我覺得法律上肯定有差，但是還有一點。嗯，我覺得在英國或者歐洲啦，我們工程師， Data scientist,你也知道，就是工資比跟美國完全不能比嘛。
小賀: 所以我第二個公司是美國公司，就是蠻明顯的就是同工不同酬啊，我看到一個趨勢，可能不少美國公司為了降低成本吧，就可能一些工程師會去加拿大歐洲招嘛。感覺自己在王婆賣瓜，自賣自誇，但是我有點物美價廉的工程師的感覺。
Amy: 我想給聽眾朋友一點perspective，你從你的角度來講，美國的Data scientist同工不同酬，他的薪水大概會是英國的幾倍。
Amy: 不要講倍，就是，多多少？
小賀: 對對對就會幾倍。
Amy: 啊，會幾倍？
小賀: 幾倍對。具體看看情況，但是從我anecdotal和一些就是偶爾看到的data point是兩三倍的差不多。
Amy: 那在英國請一個組，一個data science team.當然非常的合算啊。他可能兩三倍的薪水可以省掉，然後也都講英文，那時差，因為我之前去英國待過，然後時差也都可以work around，還蠻簡單的。那對美國公司來說算是一個蠻好的選擇。
Stella: 嗯，但是我也是有聽過另外一面的看法是覺得歐洲和英國的employees他的福利會比較好。所以其實公司的成本在福利這方面的成本會很大。最近美國公司的這個tech layoffs他如果是要lay off歐洲的員工的話會難很多。
Stella: 所以也是有看到有一些美國的Tech公司，他可能接下來會不太敢在歐洲再招那麼多員工了。
小賀: 對對對。我覺得在歐洲其實主要就是lay off比較難。我們notice period什麼都是兩三個月嘛，就是你辭完職以後，你還要幹兩三個月。或者是公司要開你，你也可以要兩三個月，一般都是這樣。所以開除會難一些。
Stella: 要麼是高福利，要麼就是高風險，是吧?
小賀: 但是美國的Tech公司前幾年為了增強Talent，福利都捲得很厲害嘛。我覺得在歐洲的公司除了假期多一些嘛，法定假期多一些和難被開以外，其實別的福利競爭力也是沒有美國那些Tech公司給的那麼大方的。
Amy: 我個人認識的人。我覺得歐洲的人，他打工的心態也比較好。比較是比較好的員工。
Stella: 哦，是嗎。
Amy: 他工作會比較就是當作工作來做吧。因為engineer data science,類似工作在美國，他可能有點被捧的比較高。大家可能覺得自己的選擇會比較多，因為前幾年的關係嘛。但是歐洲這個氣氛就比較還好。大家就覺得，這就是我的一份工作，那待遇就是這樣，差不多，心態會比較平常一點。
Stella: 不太會像，比如說典型的傳說中灣區很多人，他可能會就是會有這種焦慮感，說我要去待遇更好的公司，會一直要想跳槽的這種狀態是嗎?
小賀: 我覺得歐洲，因為我覺得跟稅高啊，還有大家可能工作就覺得就是一份工作嘛，反正就好好幹就好。然後比如說像這個side hustle啊，或者是gig economy,這個概念，我覺得大家心態就不一樣。
小賀: 比如說我做這個 Labeling,做這些Hustle嘛。我跟我這邊的朋友們講，他們都覺得哇好新鮮，就想聽八卦，可是沒有一個人會覺得，也不叫沒有一個人啦，就是好像沒有人說「哎，那，我也想去賺這個外快」。就是大家都覺得哇，還挺好玩的，那種Hustle的心態就不是很明顯吧，不管是哪個方面。
Stella: 我要問你一個跟data labeling沒有關系的問題。
小賀: 哦 ok。
Stella: 小賀，你是Amy很多年的朋友嘛，在你眼中Amy是一個什麼樣的人呢?
小賀: Amy是個很會hustle的人。哈哈哈，好啦，沒有，就是Amy是一個非常神奇的人。
Stella: 怎麼說?
小賀: 我不知道怎麼講，就是她是個非常original的人。我覺得就是我們認識10年了吧，Amy，大概有超過10年。
Amy: 有 差不多10年。
小賀: 超過了10年，就是很了解。但是Amy的很多點子就是每次我跟她打電話就覺得你怎麼會來幹這個？就是個非常有趣好奇心非常強，然後執行力非常強，然後很愛工作，很愛創作的人。她有很多hobby,聽眾朋友們。
小賀: 我們讀大學的時候她就開始收集那個 Starbucks的那個 You are here, version 2是吧？那個V2的，那個 V2的那個Mugs,就是城市杯嘛。
Stella: 嗯。
小賀: 她超認真。我們當時大學的時候，我們是室友嘛。我們share一個房間。
小賀: 她有一個床，我有一個很小的床墊擺在地上，然後旁邊一整面牆都是Amy收集的杯子，哈哈哈。
小賀: 她還會就是跟世界各地的杯友們trade，就是那些不同的杯子。然後還會炒作就是因為每個杯子的那個，因為supply and demand不一樣，就是價格不一樣。
小賀: 然後我記得當時就覺得印象很深。她會因為台灣的杯子好像在世界市場上流通就是還蠻稀缺的吧。就是他就會從台灣還recruit他媽媽去坐火車，不同城市收杯子，收杯子以後都寄過來。
小賀: 他還給他媽拍視頻說，怎樣包那些杯子寄到美國。然後他就在網上賣什麼，拿兩個，換一個什麼非常稀缺的加拿大某個地方的杯子啊。
小賀: 當時我就覺得欸，你真的好厲害。現在還依然覺得。
Amy: 我媽的櫃子裡還有幾百個杯子。
小賀: 哇，你超多杯子，真的。所以，聽眾朋友們，如果你們當地有什麼， You are here那個Starbucks的杯子，你要表達對這個節目的喜愛，可以寄。
Amy: 我老公跟我媽聽到這個會很惶恐。不要再寄更多杯子了，不要再寄了。
小賀: Amy有很多很多趣事和feature。很難概括的一個人。我覺得非常 infinite.
Amy: 我那時候愛蒐集這個杯子，喜歡到我那時候去第一個工作上班，我們聖誕節交換禮物。我們公司的CTO去eBay上標了一個兩百多塊的杯子送給我。因為那個杯子一出，一發行以後，他印錯了，production error，所以就賣兩天就不賣了。然後全世界的杯友就瘋了一樣。我就要那個印錯的！然後我的CTO就去eBay上標過來送給我。
Amy: 我一開始打開，我還沒有發現。我就想這就是那個三十塊的那一個。結果他說再看清楚一點，原來我CTO去爬forum發現就是這一個最貴，他去標了那個v1的給我。他說你看，這個是有mistake的那一個。
小賀: 好感人。
Amy: 我們今天很開心，小賀來跟我們聊天，給大家介紹Data Labeling,這個神秘的產業。大家要是有興趣也可以去報名。賺一點外快。我覺得還不錯。
小賀: 嗯。
Amy: 去體驗一下。算是體驗一下LLM背後的生活。
小賀: 廚房小妹的生活。
Amy: 廚房小妹的生活。對，要怎樣願意從本來是主廚到，我想去做做看廚房小妹的工作。其實心態要非常好的人才能做到這樣的事情。
小賀: 但是我覺得他也是一個 Humbling experience。我覺得是挺有意義的事情。我們這些工程師Data Scientist平時，我覺得是在整個社會中比較，我們是被寵壞的人啦。所以我覺得要去接接地氣啦。
Amy: 那今天我們就聊到這裡，大家拜拜。
小賀: 拜拜。