-
比GPT
在LLM任务上,LPU比英伟达的GPU性能快10倍。在前段时间的基准测试中,Groq LPU推理引擎上运行的Llama 2 70B直接刷榜,而且比顶级云提供商快18倍的LLM推理性能。网友大波演示 Groq火箭般的生成...
-
英伟达被“偷家”全新AI芯片横空出世 速度比GPU快十倍
②其芯片推理速度较英伟达GPU提高10倍、成本只有其1/10;运行的大模型生成速度接近每秒500 tokens,碾压ChatGPT-3.5。③“快”是Groq芯片主打的优点,也是其使用的SRAM最突出的强项之一。《科创...
-
英伟达发布自研CPU芯片,称运行速度将比现有芯片快10倍
美股研究社4月13日消息,据界面新闻报道,4月13日凌晨,英伟达$英伟达(NVDA)$正式宣布其首款数据中心处理器(CPU),称其运行速度将比现有芯片快10倍。新款芯片名为Grace,以著名计算机科学家...
-
Cerebras 推出全球最快AI推理解决方案,速度是英伟达方案的20倍
该新解决方案为 Llama 3.1 8B 提供每秒 1800 个 token,为 Llama 3.1 70B 提供每秒 450 个 token,速度是微软 Azure 等超大规模云中提供的基于英伟达 GPU 的 AI 推理解决方案的 20 倍。除了令人...
-
全新AI芯片速度比英伟达GPU快十倍 SRAM龙头连续20CM涨停
近期,采用LPU技术路线的全新AI芯片横空出世,推理速度较英伟达GPU提高了10倍。据悉,该芯片采用目前读写最快的存储设备之一SRAM。A股方面,SRAM龙头股西测测试连续两日涨停。不过今天早盘出现...
-
创业公司Groq:让大模型的推理速度比英伟达GPU快了10倍
Groq声称,他们的技术使得大模型的推理速度比英伟达GPU快了10倍,同时成本仅为后者的十分之一。这意味着,现在任何大型模型都可以轻松部署。Groq的技术能够支持包括Mixtral 8x7B SMoE、Llama 2...
浏览更多安心,自主掌握个人信息!
我们尊重您的隐私,只浏览不追踪