我也看了這個訪談 所以故事應該是.. 幾個工程師想在公司弄LLM fine tune去跟老闆要三台DGX 老闆一看跟公司業務八竿子打不著拒絕了 工程師拿自家SSD變成4090的VRAM自幹LLM 老闆知道後發現自家產品居然也能跟AI沾上邊,開始大量宣傳新發明 這故事是不是告訴我們...養閒人還是很重要的 (但不是普通的閒人) 夠閒才會激發創意 整天趕進度是不會有新發明的 ※ 引述《myis8787 (white)》之銘言: : 來源: https://www.youtube.com/watch?v=mD6IZBnfJWU
: 標題:市值從零到一千億的創業過程!群聯電子如何成為台灣晶片設計傳奇?協助台灣 : 國際盃?專訪群聯電子創辦人潘健成董事長! : -------- : 訪談裡面提到群聯同事要求潘董購入三台NV : 總價六千萬的DGX來訓練公司自己用的LLM : 潘董直接回答最近市場不好 沒錢! : 台灣一線IC廠真的買不起嗎? : 還是潘董覺得沒那個價值呢? -- ※ 發信站: 批踢踢實業坊(ptt.org.tw), 來自: 185.213.82.243 (臺灣) ※ 文章網址: https://ptt.org.tw/Tech_Job/M.1716988837.A.35E
physicsdk : 這種故事真實性有多高XD05/29 21:26
nikolas : 規模大一點的公司都會有 沒做產品 純研發的部門05/29 21:26
jkl852 : 像gg的pathfinding阿 上班就是看機票跟股票05/29 21:46
havochuman : 這故事你會信?05/29 22:00
joefaq : 可以跟董事長說得上話的都是長官了05/29 22:09
a70327cow : 給潘蛇15分鐘05/29 22:23
jtsu5223 : gg PFD都在看機票和股票?笑死唬爛不打草稿05/29 22:42
jecint1707 : XD05/29 23:11
ashyang : NV是有錢人的AI,這個是窮人版AI05/30 00:40
iefast2004 : 給潘蛇跟皮衣刀客講15分鐘,群聯就起飛了05/30 01:53
qwe78971 : SSD 當vram 還跑LLM ? 一個月內就報廢了 來搞笑05/30 03:53
dildoe : 跑LLM當壓力測試新工具沒問題啦XD05/30 05:51
doranako : 改成ssd慢很多05/30 07:13
d58974 : 先不談ssd當vram的真實性啦,但的確要夠閒才會開始搞05/30 07:56
d58974 : 事,如果每天忙到連睡覺都沒時間,累都累死了搞事只是05/30 07:57
d58974 : 在搞自己而已05/30 07:57
flysonics : 很簡單的一個邏輯 假如是你自己當side proj作來玩05/30 08:55
flysonics : 的 沒資源時拿什麼理由開口跟你老闆要資源?05/30 08:55
flysonics : 除非是你跟你老闆有私交 或是這side proj本身就是05/30 08:55
flysonics : 你老闆job assignment的一部分 不然我想不太到這種05/30 08:55
flysonics : 情況下能跟老闆開口要資源的合理性 05/30 08:55
shikemurajy : 其實好像很多IC設計這樣幹ㄏ05/30 12:29
jeff85898 : 群聯發明的?確定不是別人研究成果拿來用05/30 13:03
jeff85898 : https://tinyurl.com/3jxf7tn605/30 13:03
tsairay : 他們手上ssd很多啊,拿一些來當消耗品還好啦05/30 13:19
wcre : 問題是誰當閒人啊,給我爽,副總下去做?05/30 15:37
baba1128 : 這個故事是真的,因為開口要的是他們現任技術長05/30 16:40
bizer : 台灣玩不起高階設備,AI都使用錢堆錢05/30 22:23
aria0520 : SSD當Vram跑LLM 阿不就只是用時間換取空間05/30 23:40
aria0520 : 當然還是可以train阿 阿你finetune完別人都出05/30 23:40
aria0520 : 下一代模型了 這"發明"是有什麼鳥用05/30 23:40
aria0520 : 阿你如果是拿來infer 你不offload到GPU本來就是05/30 23:41
aria0520 : 在RAM上 滿了就swap到SSD kv cache也放ssd05/30 23:42
aria0520 : 阿這不就標準操作 啥發明05/30 23:43
aria0520 : 老闆看起來是真的不懂才會想到要把這拿來吹05/30 23:43
aria0520 : 基層工程師大概也在苦笑 不就開源兜一兜結果被當寶05/30 23:44
physicsdk : 有時候老闆幹些工程師覺得很無聊的事 股東卻會高潮05/31 00:26
physicsdk : 然後股價就噴起來05/31 00:26
physicsdk : 蹭AI是現在的主流風向05/31 00:27
jeff85898 : 花個半年微調模型 效果好不好要半年後才知道 這觀念 05/31 01:22
jeff85898 : 的確是挺前衛的 05/31 01:22
leviathen : 前衛個屁,家裡用買個GPU啊,誰閒來沒事用SSD搞這個 05/31 03:11
leviathen : ,費時又麻煩 05/31 03:11
leviathen : 就概念是有人說可以徒手蓋房子不用工具,當然做得到 05/31 03:13
leviathen : ,但是意義何在? 05/31 03:13
leviathen : 單純是蹭AI的噱頭新聞罷了 05/31 03:14
joygo : 臉書 谷歌都在放出模型了,主要是要練公司內部資 05/31 20:06
joygo : 料吧 05/31 20:06