看板 Tech_Job
稱 AI 仍處於「撥接時代」!Cerebras 發表全球最快 AI 推論解決方案 https://technews.tw/2024/08/30/startup-cerebras-new-ai-processor/ 目標挑戰 NVIDIA、專門開發 AI 運算系統的新創公司 Cerebras 宣布發表「Cerebras Inference」AI 推論工具平台,努力打破 NVIDIA 在 AI 晶片市場壟斷局面。 外媒《金融時報》(Financial Times)報導,包括 Cerebras、d-Matrix 和 Groq 等小 型公司的目標是在 AI 晶片市場中獲得市占率,並將重點放在更便宜、專運行 AI 模型的 晶片上。 Cerebras 全新的「Cerebras Inference」平台以 CS-3 晶片為基礎,晶片只有餐盤大小 。該公司宣稱,這個解決方案 AI 推理速度比 NVIDIA Hopper 晶片快 20 倍,成本僅五 分之一。 Cerebras 執行長 Andrew Feldman 指出,「擊敗 800 磅大猩猩(意指 NVIDIA)的方法 ,是將更好的產品推向市場,我們已從(NVIDIA)那搶走不少有意義的客戶」。 CS-3 晶片沒採用 NVIDIA 所使用的獨立高頻寬記憶體(HBM)晶片,而是提供另一種直接 將記憶體內置於晶片中的架構。Feldman 指出,其優勢在於記憶體使用方式,因為記憶體 頻寬的限制,會限制 AI 晶片推論速度,因此將邏輯晶片和記憶體結合至單一大晶片中, 可提供「幾個量級的速度」。 也因此,Cerebras 的晶片不像 GPU 和其他處理器,需要介面連接記憶體才能存取資訊。 彭博社報導,Cerebras 這個方法依賴由單片矽晶圓製成的巨型晶片。透過這種新技術, Cerebras 的晶片功能比傳統同類產品強,但傳統硬體無法容納這些超大尺寸晶片,必須 設計專容納這些晶片的電腦。 Feldman 形容,「直到今天,我們還處於撥接時代,沒多少 GPU 可拼湊在一起,實現這 個目標」,而他的電腦將顛覆 AI 產業,使 AI 系統反應更迅速,如同轉換到高速網路。 據悉,Cerebras 已提交一份首度在公開募股中出售股票的保密計畫,同時建立自家資料 中心,試圖將晶片銷售給微軟、亞馬遜等雲端服務供應商。 小標題 另一間新創公司 d-Matrix 也有同樣的野心。 d-Matrix 計畫今年底全面推出自有晶片平台 Corsair。d-Matrix 創辦人 Sid Sheth 指 出,該公司將產品與 Triton 等開放式軟體搭配,目前 NVIDIA 最大客戶支持使用 Triton 等開放軟體。應用程式開發人員不喜歡被某種特定工具所束縛,人們也逐漸發現 受 NVIDIA 的 AI 軟體平台 Cuda 限制。 d-Matrix 由創辦人 Sid Sheth 於 2019 年創立,在新加坡國有基金淡馬錫領投的 B 輪 融資中籌得 1.1 億美元,不到一年便啟動新一輪融資。d-Matrix 目標是在今年或明年初 籌集 2 億美元以上資金。 另一間 AI 推理競爭對手 Groq 本月從 BlackRock Private Equity Partners 領投的投 資者那籌集 6.4 億美元,估值為28億美元。知情人士透露,晶片製造商 Graphcore 上個 月被軟銀以略高於 6 億美元收購,少於 2016 年成立以來籌資約 7 億美元的風險資金。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.177.0.83 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1724994330.A.876.html
venomsoul : 好,從現在開始空NVDA 08/30 13:10
hugh509 : 晶片只有餐盤大小,糞 08/30 13:43
NexusPrime : 餐盤大小,這晶片有夠大 08/30 13:45
SilentBob : 什麼亂七八糟的 餐盤大小 08/30 14:17
Kroner : 維他命d的功效 08/30 17:37
tabrisPTT : 晶片如果跟餐盤一樣大,那良率? 08/30 15:00
toole : https://i.imgur.com/2SHKywF.jpeg 真的超大 08/30 16:23
tmdl : Cerebrase概念股 出列!! 08/30 17:37
Chricey : 魚油推薦ptt 08/30 18:29
john65240 : 先提怎麼散熱吧...... 08/30 18:21
yunf : 不要忘了google 是最早提出 alphago0的只是不知道為 08/30 18:29
yunf : 什麼他沒拿出來用! 08/30 18:29
Chricey : 含鋅食物 08/30 18:42
yunf : 有沒有一種可能根本就不用那麼複雜 08/30 18:32
yunf : 割雞焉用牛刀 今天我只是要固定處理一些小範圍的問 08/30 18:42
yunf : 題幹嘛把全宇宙都丟進來? 08/30 18:42
Chricey : 維生素b 08/30 18:46
yunf : 用過dos6.22就知到系統可以有多小 08/30 18:44
yunf : 到win 我還是可以用手術或者winlite讓他變小到不可 08/30 18:46
yunf : 思議 08/30 18:46
Kroner : 蔓越莓益生菌推薦 08/30 18:59
yunf : 同理只是你沒辦法直接接觸到決策圈 不代表沒辦法用 08/30 18:49
yunf : 一個usb就啓動ai 08/30 18:49
Chricey : 魚油功效 08/30 19:23
yunf : 02652 08/30 18:59
yunf : 我為什麼要那些欄位? 08/30 18:59
yunf : 我去看了一下原來17年前比爾蓋茲和那群印度人就決定 08/30 19:23
Chricey : 瑪卡功效女性 08/30 22:46
yunf : 了這條路! 08/30 19:23
cphe : 好喔 慢慢撿NVDA 08/30 21:13
LeonKuo : 為啥晶片比較大顆是優勢XD 08/30 22:46
Chricey : 苦瓜胜肽 08/31 08:42
LeonKuo : 46225mm^2 = 21.5cm * 21.5cm 考慮發熱 會不會能直 08/30 22:46
LeonKuo : 接當平底鍋用 08/30 22:46
easyman : 就是memory太小,看能不能疊幾片memory 才有競爭力 08/31 08:42
Kroner : 馬卡功效 08/31 08:42
twoboy : 唬爛比賽開始 08/31 11:12