Nvidia 最大夢魘來臨！AI 聊天機器人執行 Groq LPU 比 GPU 快十倍 http://tinyurl.com/2y4cehyv 不論何種 AI 應用，速度非常重要。當我們要求熱門 AI 聊天機器人撰寫文章、電子郵件 或翻譯文稿時，我們會希望輸出結果愈快愈好。如今一家專為運行 AI 語言模型設計客製 化硬體，並致力提供更快 AI 的 Groq 公司，能以比普通人打字速度快 75 倍的速度呈現 結果。 Groq 專為 AI、機器學習和高效能運算應用程式開發高效能處理器和軟體解決方案，千萬 不要和馬斯克（Elon Musk）的 Grok 聊天機器人混淆，它並非聊天機器人，而且這家總 部位於加州山景城（Mountain View）的公司目前沒有打算要訓練自己的 AI 語言模型， 而會致力讓其他公司開發的模型高速運行。 當前幾乎所有 AI 工具都使用 GPU，但 Gorq 卻使用截然不同的硬體，亦即專為處理大型 語言模型（LLM）而設計的 LPU（Language Processing Unit，語言處理單元）。 由於 Groq 的 LPU 專門設計用於處理像是 DNA、音樂、程式碼及自然語言之類的資料序 列，因此在這類應用方面的處理效能遠勝 GPU。該公司宣稱，其用戶已經使用其引擎和 API 運行 LLM 模型，其運行速度比基於 GPU 的替代方案快 10 倍。 目前 Grog 在自家官網上提供基於三種不同 LLM 模型（目前提供的模型包括 Meta 旗下 Llama 2、法國新創 Mistal AI 旗下的 Mixtral-8x7B 和 Mistral 7B）的聊天機器人， 使用者可以免費嘗試在 LPU 加持下的聊天機器人和一般 GPU 支援的效能有何不同 -- ※ 發信站: 批踢踢實業坊(ptt.org.tw), 來自: 180.177.2.53 (臺灣) ※ 文章網址: https://ptt.org.tw/Tech_Job/M.1708742210.A.771

→ shter : 自 FPU 開始又多了一種特化處理器 02/24 10:40

→ shter : 以前計概說 FPU 算小數比 CPU 快很多 02/24 10:42

→ shter : 後來玩遊戲又說 GPU 處理渲染比 CPU 快很多 02/24 10:43

→ shter : 現在又來 LPU 02/24 10:43

推 xurza : 各種 PU 就對了 02/24 11:02

推 sunuzo: 有錢人一堆包養好嗎 02/24 11:02

推 SilentBob : 懶趴優 02/24 11:09

推 jerrylin : 重點是有效內容吧 02/24 11:14

推 Francix : Sora都出來了，對LLM特化跑的動Sora嗎? 02/24 11:15

噓 PoloHuang : 這個特化過的不是廢話嗎 02/24 11:17

推 zonppp : 專門處理語言當然比較快...重點是商用化才會賺錢 02/24 11:29

推 UNIQC: 學生妹被包養多嗎 02/24 11:29

推 jeff85898 : 一張卡就要2萬美而且只有230MB記憶體 02/24 11:45

→ jeff85898 : 他們團隊跑一個LLaMA 2 70B就要十台多卡機架式伺服 02/24 11:47

→ jeff85898 : 器了 02/24 11:47

推 chliu6686 : 都要台積 02/24 12:11

推 motan : 難怪以後客戶都想自製，效率比較好 02/24 12:13

推 dewaro: 有錢人為啥都想包養 02/24 12:13

→ samm3320 : 這兩個用途不一樣吧 02/24 12:24

→ ms0344303 : Groq不能拿來訓練 02/24 12:32

噓 X28338136X : 專用的ASIC比GPU差就不要做了 02/24 12:32

噓 zxp9505007 : 短跑選手 vs 鐵人選手 比短跑 哪有這樣比的 02/24 12:38

噓 fedona : 只能推理 02/24 12:47

推 Elfego: 有錢人為啥都想包養 02/24 12:47

推 xmanhman : 感覺像之前挖礦的榮景 02/24 12:49

噓 lavign : Nvidia：誰？ 02/24 12:54

推 lolpklol0975: 通用GPU跟ASIC還是不太能比較 02/24 13:20

噓 physicsdk : 外行記者亂寫騙不懂的人 02/24 13:38

推 pponywong : 覺得有點唬爛 GPU算是基本的數學運算了 02/24 13:42

推 Nicodim: 亞洲最大包養網上線啦 02/24 13:42

→ pponywong : 你ASIC要做 也是把所有的運算串起來而已 02/24 13:43

→ peter98 : 跟石墨烯屌打線在半導體材料一樣讓我有夢靨 02/24 14:36

→ twinmick : 怎麼覺得這家公司買新聞買得很厲害，最頭先的新聞有 02/24 15:09

→ twinmick : 特別說明無法用來訓練，怎麼後面的新聞變超強的感覺 02/24 15:12

噓 Raikknen : 專門特化過的處理器要來跟通用GPU比有沒有搞錯 02/24 15:25

推 Foning: 我哥上包養網被我抓包.. 02/24 15:25

推 chen20 : 成本好像很高 02/24 15:32

→ MTKer5566 : 通稱DSP 02/24 16:02

→ FiveSix911 : google不是還有個TPU嗎 02/24 16:29

→ wuyiulin : ASIC 嘖嘖。 02/24 16:46

推 deolinwind : 如果價格夠低 可以賣斷給不懂又想省錢的客戶 02/24 18:04

推 AKNY: 有人包養過洋鬼子嗎 02/24 18:04

推 pacers : 不可能夠低啦 都用sram 02/24 18:14

推 haley80208 : 等a~z用完就可以開始PUA了 02/24 18:25

→ Alwen : 黃董都親自點名groq這類晶片很快就過時惹= = 02/24 20:21

→ Alwen : dojo都要過氣惹 02/24 20:21

噓 rkilo : 拿特化的比較是有啥意義 02/24 21:28

推 mysister: 有錢人為啥都想包養 02/24 21:28

推 stosto : 特化的又不是沒出現過，都一個一個消失了 02/24 22:53

推 NikolaTesla : 我覺得特化晶片還是有競爭意義，畢竟LLM也不是經常t 02/25 06:50

→ NikolaTesla : rain，剩下大家使用chatgpt 的活都是建立在inferenc 02/25 06:50

→ NikolaTesla : e上，所以如果推論的特化晶片好用了，能部署在雲端 02/25 06:50

→ NikolaTesla : 的話，可以少買很多GPU吧！ 02/25 06:50

推 cir72: 有人被洋鬼子包養過嗎 02/25 06:50

推 ImMACACO : 特化晶片ASIC未來應該有機會成為加分的奇兵 02/25 12:09

→ ImMACACO : 但主架構還是要 GPU 02/25 12:09

推 northsoft : 以後沒有軟體，全刻成IC 02/25 16:22

→ northsoft : 想玩天堂，就去7-11買ic來插 02/25 16:24

→ yunf : 相對而言這種特製的東西只要下一代一出來就整批沒用 02/25 16:35

推 ATrain: 到底要多有錢才會想包養 02/25 16:35

→ yunf : 你覺得做DNA的設備有可能會把設備轉賣給做音樂的嗎? 02/25 16:37

→ yunf : 大家都想最快到達終點誰願意慢人一步? 02/25 16:38

→ yunf : 功虧一簣懂嗎? 02/25 16:39

噓 Informatik : 記者寫這什麼洨 功能都搞不清楚 去讀書好嗎 02/25 23:01

推 leviathen : 但是很多沒本錢搞特化的還是乖乖用GPU 02/26 12:29

推 grado0802: 包養SD = aSugarDating 02/26 12:29

噓 a5180352 : 記者沒讀書好可憐 特化的比泛用的還爛建議收一收了 02/26 18:21

→ loking : 等新的演算法出來 特化的就是垃圾了 02/27 13:11

噓 ioeve : ASIC輸給通用GPU，那還要ASIC幹嘛? 02/27 15:06