Groq 自研 LPU,速度碾压英伟达芯片 

2024-02-21 | AI ,Groq ,芯片 ,英伟达

2 月20 日,AI 芯片初创企业 Groq 开放了自家产品的免费试用,其推理和生成速度更快,价格、耗电量都更低。这主要受益于背后强大的核心团队,大部分来自谷歌早期 TPU 核心设计团队。同日,亚马逊被纳入道指成分股;马斯克透露 Neuralink 受试者仅凭思维就能操控鼠标;淘宝宣布成立直播电商公司。 

亚马逊被纳入道指成分股 

标普道琼斯指数公司宣布,自 2 月 26 日起,亚马逊(Amazon)将取代药房连锁沃尔格林联合博姿(Walgreens),成为道琼斯工业平均指数成分股之一。同时,优步(UBER)将被纳入道琼斯交通平均指数。消息传出后,亚马逊美股盘后涨 1.5%,沃尔格林联合博姿则跌约 3.2%,优步涨超 0.6%。 

 

Neuralink 受试者仅凭思维操控鼠标 

马斯克在社交媒体平台 X 上参与的一场 Spaces 直播活动中透露,在 1 月 30 日完成人类首例脑机接口手术的 Neuralink 受试者似乎已完全康复,没有出现我们所知的不良反应。马斯克还表示“我们已经观察到了神经系统反应,病人可以通过思考在屏幕上移动鼠标。现在我们试图让受试者尽可能多的点击鼠标按钮。” 

淘宝成立直播电商公司 

直播电商今年将迎来更激烈的竞争。淘宝宣布正式成立直播电商公司,为有意入淘开播的明星、KOL、MCN 机构提供全托管运营服务,帮助初入淘的“新手玩家”快速上手,适应淘系生态直播方式。该公司由淘天直播运营团队操盘,不以盈利为目的,而是以招募新主播为主要目标,与主播采取保底或者分润的合作模式。 

推理和生成速度更快,价格和耗电量更低 

OpenAI 文生视频模型 Sora 引爆科技圈仅仅两天后,AI 芯片初创企业 Groq 开放了自家产品的免费试用,其芯片推理速度较英伟达 GPU 高 10 倍,而且但价格和耗电量都仅为英伟达的十分之一;其生成速度接近每秒 500 tokens,碾压 ChatGPT-3.5 约每秒 40 tokens 的速度。 

图片来源:Groq

值得注意的是,Groq 没有开发新的模型,它只是用了不一样的芯片。Groq 并未使用英伟达的 GPU,而是自研了新型 AI 芯片——LPU(Language Processing Units)。  

LPU 最突出的特点就是快。网友测试同时用 Gemini、GPT-4 和 Groq 完成一个代码调试问题,结果显示 Groq 的输出速度比 Gemini 快 10 倍,比 GPT-4 快 18 倍。 

“速度”是 Groq 的产品强调的特点,而“推理”是其主打的细分领域。然而,另有一些 AI 专家在社交媒体上表示,Groq 芯片的实际成本并不低,其综合成本相当于英伟达 GPU 的 30 多倍。更关键的是,LPU 目前仅用于推理,要训练大模型,仍然需要购买英伟达 GPU。 

超强核心团队领航,复制谷歌成功经验 

虽然 Groq 还面对着很多潜在的问题,但它还是让人看到了 GPU 之外的可能路径,这主要得益于其背后的超强团队。Groq 成立于 2016 年,总部位于美国加州圣塔克拉拉山景城。在 Groq 的创始团队中仅有 10 人,其中就有 8 人来自谷歌早期 TPU 核心设计团队。Groq 目前仅有 180 余名员工,甚至还不到英特尔等大型芯片制造商所需工程师数量的四分之一。 

图片来源:Groq 
  • Groq 创始人兼 CEO Jonathan Ross 是前谷歌高级工程师,是谷歌自研 AI 芯片 TPU 的设计者之一; 
  • 产品主管 John Barrus 曾在谷歌及亚马逊担任产品高管; 
  • 联合创始人道格拉斯·怀特曼也来自谷歌 TPU 团队,并先后创立了四家公司; 
  • 首席技术官吉姆·米勒曾是亚马逊云计算服务 AWS 设计算力硬件的负责人; 
  • CMO 曾主导了苹果 Macintosh 的市场发布; 
  • 副总裁 Estelle Hong 此前曾在美国军队及英特尔任职。 

Ross 等人的目标是在 Groq 复制他在谷歌的成功经验,打造一个内部芯片项目,引领整个行业向新技术迈进。他希望吸引少数关键客户,通过广泛部署 Groq 芯片为公司提供稳定的收入来源,推动公司的独立发展。目前,这家初创公司已开始向潜在客户发送样品。 

关注 Doo Prime 行业动态,每日为您梳理热门财经消息! 


前瞻性声明

本文包含"前瞻性陈述" ,并且可以通过使用前瞻性术语来识别,例如"预期"、"相信"、"继续"、"可能"、"估计"、"期望"、"希望"、"打算"、"计划"、"潜在"、"预测"、"应该"或"将会"或其他类似形式或类似术语,但是缺少此类术语确实并不意味着声明不是前瞻性的,特别是关于 Doo Prime 的期望、信念、计划、目标、假设、未来事件或未来表现的声明,均通常被视为前瞻性声明。

Doo Prime 根据 Doo Prime 可用的所有当前信息以及 Doo Prime 当前的期望、假设、估计和预测提供了这些前瞻性声明。尽管 Doo Prime 认为这些期望、假设、估计和预测是合理的,但这些前瞻性陈述仅是预测,并且涉及已知和未知的风险与不确定性,其中许多是 Doo Prime 无法控制的。此类风险和不确定性可能导致结果、绩效或成就与前瞻性陈述所表达或暗示的结果大不相同。

Doo Prime 不对此类陈述的可靠性、准确性或完整性提供任何陈述或保证,Doo Prime 没有义务提供或发布任何前瞻性陈述的更新或修订。

风险披露

由于不可预测的市场变动、基础金融工具的价值和价格波动,金融工具的交易涉及高风险,可能会在短时间内产生超过投资者初始投资的巨额亏损。金融工具的过往表现并不表示其未来表现。对某些服务的投资应利用保证金或杠杆效应,交易价格相对较小的变动可能会对客户的投资产生不成比例的巨大影响,因此客户在利用时应做好承受巨大损失的准备该等交易设施。

在与 Doo Prime 等交易平台进行任何交易之前,客户需确保已阅读并完全理解各自金融工具的交易风险。如果客户不了解任何与交易和投资有关的风险,则应寻求独立的专业建议。请参考 Doo Prime 等的客户协议和风险披露声明了解更多。

*以上策略仅代表分析师观点,仅供参考,不作为或视为任何交易的依据或邀请,不构成对任何人的投资建议。Doo Prime 不能保证此报告的准确性或完整性,不对因使用此报告而引起的损失负任何责任,您不能依赖此报告以取代自己的独立判断。市场有风险,投资需谨慎

行业动态IconBrandElement

article-thumbnail

2024-08-16 | 行业动态

全球重大经济事件|8 月 18 日 – 8 月 24 日当周

全球重大经济事件|8 月 18 日 – 8 月 24 日当周

article-thumbnail

2024-08-15 | 行业动态

美国核心 CPI 连降四个月,思科宣布裁员跳涨逾 5% 

14 日至 15 日,日本二季度 GDP 超预期增长,日股反弹;中国央行连三日大额净投放,中标利率 1.7%;美国 CPI 符合预期,降息预期减弱;思科业绩好于预期,宣布裁员后涨逾 5%;巴菲特再调仓,抄底优质美妆股。  关注 Doo Prime 行业动态,每日为您梳理热门财经消息!

article-thumbnail

2024-08-14 | 行业动态

美国 PPI 全线超预期放缓,美联储 9 月降息几成定局? 

<p>Doo Prime 每日热点 | 美国 PPI 全线超预期放缓,美联储 9 月降息几成定局? <br /> 13 日至 14 日,美国 7 月 PPI 数据全面超预期放缓,通胀降温利好降息押注,市场对 9月美联储降息 50 个基点的押注近 50%。尽管如此,美联储票委博斯蒂克强调需谨慎行事,希望开始降息后不会再被迫加息。</p>