低價挑戰 NVIDIA！晶片大神 Jim Keller 曝設計關鍵是「捨棄 HBM」 https://tinyurl.com/23cvjvhj 傳奇晶片設計師 Jim Keller 打算設計比 NVIDIA 更高效的晶片，以降低 AI 應用價格並 搶占市占率。 Jim Keller 目前任 AI 晶片新創 Tenstorrent 執行長，認為很多市場 NVIDIA 都沒服務 到，隨著 AI 應用擴展到智慧手機、電動車和雲端服務，越來越多公司尋求更便宜的解決 方案，很多小公司不願為 NVIDIA 高階 GPU 支付 2 萬美元。 Jim Keller 在晶片設計界享有盛譽，也是 AMD Zen 系列的首席設計師，許多人認為他幫 助 AMD 東山再起、奮力追上英特爾。他也是開發特斯拉自駕軟體 Autopilot 晶片組的重 要人物。 日本人工智慧獨角獸公司 Preferred Networks 運算架構部門副總裁兼技術長 Junichiro Makino 形容「Jim Keller 簡直就是傳奇」。 設計 AI 晶片時，選擇捨棄關鍵的 HBM Tenstorrent 成立於 2016 年，準備年底推出第二代多用途 AI 晶片，稱某些領域比 NVIDIA AI GPU 更高能效和處理效率。Galaxy 系統比 NVIDIA DGX 效率高三倍，價格更 便宜 33%。 Keller 之所以能做到這點，是因 Tenstorrent 沒用高頻寬記憶體（HBM）。「即使有用 HBM 的人，也為成本及構建 HBM 所需設計時間掙扎，決定不用此技術。」 HBM 是生成式 AI 晶片的重要零件，對 NVIDIA 產品成功有重要作用，然也是 AI 晶片能 耗巨大、價格高昂的罪魁禍首之一。 典型人工智慧晶片組，GPU 每次執行進程時向記憶體發送數據，需 HBM 高速數據傳輸能 力。Tenstorrent 設計自己的晶片，大幅減少傳輸。Keller 指有了新方法， Tenstorrent 晶片可在 AI 開發某些領域取代 GPU 和 HBM。 Tenstorrent 也設計產品以盡可能實現成本效益，許多公司也在追求更適合的記憶體解決 方案，但 Keller 也坦承，要顛覆龐大 HBM 產業，還需數年時間。他預期與其一間公司 取代 NVIDIA，不如出現更多新公司，填補美國公司未涉足的各種人工智慧市場。 Tentorrent 晶片特點是百餘個核心，每核心都有小型 CPU，即「大腦中的微型大腦」。 通常情況單晶片核心只有一個小型電腦和記憶體，只負責解決一個任務，但 Tenstorrent 核心能獨立「思考」，決定先處理哪些數據，或放棄不重要任務，提高整 體效率。 Tentorrent 指每個核心都相對獨立，可將更多或更少核心堆疊起來，應用更廣泛。智慧 手機或穿戴設備只需少量晶片，AI 資料中心可將 100 個晶片組合，用途更靈活。 Keller 說還無法預測 AI 最佳應用是什麼，因此公司策略是打造出適合各種產品的技術 。 U.S. chip designer aims to bring down AI prices pushed up by Nvidia -- 推 pb220918:不爽可以當禽獸 五樓是禽獸!! 10/04 22:12 → pb220918:蓋 10/04 22:12 → pb220918:蓋 10/04 22:12 → pb220918:蓋 10/04 22:12 → Davisss:我是禽獸 我真爽 我在騎1樓 10/04 22:13 -- ※ 發信站: 批踢踢實業坊(ptt.org.tw), 來自: 180.177.0.241 (臺灣) ※ 文章網址: https://ptt.org.tw/Tech_Job/M.1721132748.A.CC5

推 Sex5F : 繼續吹，搞砸了幾個團隊和專案 07/16 20:38

推 alarm911 : 沒差，不管誰贏最後都是找台積找台灣AI供應鏈 07/16 20:42

→ kevinmeng2 : 享有盛譽？？？ 07/16 20:49

推 dagehoya5566: 吃老本罷了 07/16 21:14

→ Obama19 : 現在已經不是單打獨鬥可以成功的年代了 07/16 21:16

推 Skydier : 水啦 07/16 21:25

推 truelove356 : 嗯 還需數年時間 07/16 22:02

推 stosto : 你不用HBM就跑不贏別人阿 07/16 22:09

推 CCRun : 本文轉載自電子設計菁英 07/16 22:09

推 eric61446 : 還不是要先買nv產品去模擬設計 07/16 22:14

推 hanli99 : 樓上幾個看不起他的人，可以查看看他多神 XD 07/16 22:47

推 steak5566 : 大神也被酸成這樣喔 07/16 23:00

噓 pf775 : 還不是被臺積電屌打 07/16 23:05

推 LuforHCH : 真大神 07/16 23:15

→ olozil : 等HBM降價可能還比較快? 07/16 23:23

推 VSshow : 多神？要求不多，讓台積跌回500以下才神 07/16 23:27

推 alvistan : 他幹嘛打敗台積電？？他搞不好直接找台積電代工 07/16 23:28

推 wayne490 : 再神也要靠台積電,呵 07/16 23:30

推 AirLee : Jim很廢？ 07/16 23:49

推 CowBaoGan : 傻眼連JK都可以酸...不知道該說什麼了 呵呵 07/16 23:57

推 Skydier : 找出替代HBM的方案擊垮sk和美光 很讚的 07/17 00:04

→ ted3698 : 當NV塑膠喔... 07/17 00:05

推 SchoolStore : 除非找到讀寫比HBM快的方式 07/17 01:14

推 mopa : 問題是跟CUDA的相容性有多少，NV的護城河不是那麼容 07/17 01:18

→ mopa : 易打破的 07/17 01:18

→ jacky40383 : 想靠硬體打NV 真的想多了 07/17 01:22

推 Partition : 讓AMD重返農藥的辣個大神 07/17 01:43

推 bizer : 看起來是要用架構解，效率可能有，但支援性如何要看 07/17 04:52

→ bizer : 看 07/17 04:52

→ MoonCode : 大神沒錯啊 但應該是在過去了 07/17 05:45

→ MoonCode : 不然我也期待 john carmack 07/17 05:46

推 WaterLengend: 人家nv股王，新創連IPO都不知道啥時候，省省吧 07/17 06:08

噓 t19960804 : nv用錢就砸死你了 洗洗睡吧 07/17 06:26

推 librasky : HBM就很難買啊 07/17 06:42

推 una283 : 先牡蠣一下，不過在業界不是要做正確的事 07/17 07:09

→ una283 : 而是要做互利的事情才會長得超快 07/17 07:09

→ una283 : 魚幫水水幫魚咩 07/17 07:10

推 doranako : 還需要幾年，下一位 07/17 07:14

→ houseguy : 就拆開來做ASIC嗎 07/17 07:50

推 PRODIGALEX : Jim是真的神，但能否推出與Nv競爭產品還有待時間觀 07/17 07:54

→ PRODIGALEX : 察。 07/17 07:54

推 Prado4840 : 誰當年不是新創？不過應該要先問ai是不是對的方向 07/17 08:17

→ Prado4840 : ，太多人把它當成唯一方向 07/17 08:17

→ new122851 : 有多神又如何，這裡是資本主義社會，用錢和人脈和專 07/17 08:38

→ new122851 : 利就可以堵死你 07/17 08:38

→ ljsnonocat2 : 記憶體內運算?或者每個核心旁邊搭配記憶體? 07/17 08:41

→ ljsnonocat2 : 不過記憶體與邏輯製程就是不太一樣 不然早就做一起 07/17 08:41

→ ljsnonocat2 : 搞軟體的不一定懂得製造上的困難 07/17 08:42

推 Neistpoint : NV花點錢把它買起來，看起還是個GPU環繞CPU的蜂巢 07/17 08:43

→ Neistpoint : 式結構 07/17 08:43

→ houseguy : 記憶體管理跟介面速度看有沒有發展空間 07/17 08:53

→ houseguy : 如果要追上人腦的話啦 07/17 08:55

推 jizzyui : 便宜的顯卡要來了嗎？ 07/17 09:02

推 outzumin : 這間有機會 產線仔不懂 07/17 09:26

推 leoloveivy : 可以沒hbm 沒錯 大型attention 類的現在cuda/hbm 07/17 09:44

→ leoloveivy : 反而是瓶頸 一直優化怎麼讀寫記憶體不如設計一個 07/17 09:44

→ leoloveivy : 不這樣搞的 07/17 09:44

→ cookies0611 : 等HBM降價比較快吧 07/17 09:54

推 lancechance : 傻眼，連JK都在酸，人家哈波小說不知道賺多少版稅 07/17 10:16

推 lolpklol0975: https://i.imgur.com/LpAZBuf.jpeg 07/17 10:38

→ Alwen : 他之前又回去牙膏，但還是救不了牙膏 07/17 10:47

推 ppc : 神人 07/17 11:35

→ ma721 : 速度就是關鍵啊，等半天的回覆誰要用 07/17 12:06

→ cylee : 查 wiki 才知道他的成就，真強者 07/17 12:24

→ dslite : 高效沒問題 問題是不能跑cuda 07/17 18:43

推 linuxpi : 不用HBM要用什麼？ 07/17 19:34

推 centiyan : 關鍵是「某些領域」，贏特定領域應該不會搶到Nvidi 07/17 19:42

→ centiyan : a太多營收，說不定對反托拉斯纏身還有些好處 07/17 19:42

推 jin20040117 : 改玩MRDIMM看看啊 07/17 19:58

推 yychiuchang : 牙膏包袱那麼重，怎麼救？ 07/17 19:58

→ MTKer5566 : 再怎麼神都比比過台G輪班星奴呀 07/17 22:41

→ MTKer5566 : 這種奴性是學不來的台G knowhow 07/17 22:42

→ MTKer5566 : 比不過* 07/17 22:42

推 yeltek : 留言那幾個土包子亂酸，連ic設計跟製造代工都分不 07/18 00:48

→ yeltek : 清楚的，真的是他媽笨得有找 07/18 00:48

推 weezyriver : 現在加速器不是要往PIM去走嗎 07/18 01:07

推 tsairay : 靠設計有極限的啦,蘋果的8GB RAM也是吹上天 07/18 10:18

→ a9564208 : 現況比較會變成很強但沒人用 07/18 11:17

推 Battie : JK是誰？會輪班嗎？輪班技術有贏產線菁英嗎？ 07/18 14:48

推 fir191938 : 沒有輪班星人也只是紙上談兵 07/18 15:04

噓 Kazetachinu : 有講跟沒講一樣 07/19 07:29