拜难送,川难测,不见得是坏事

一般而言,在任最后的时间基本都是要“做好事,留官声”,最常见的基本就是“特赦”了(确实也有,对吧🤓),没想到老头最后几周的一番蜜汁操作,是想把下一任能打的牌都打光,还是赌下一任不会推翻上一任的决策? 喊出MAGA的下一任,一定会继续“探索总统权力的边界”,只有你想不到,没有他不会做的事情,比如:$TRUMP。所以,说不定对行业利好的新闻某天早上睡醒就看到了。

2024年底的时候,没有继续前两年的“财报季”去臆测分析一下国产AI芯片公司的收入情况,几个原因:

  • 懒,这个是毫无疑问的第一原因
  • “大模型+智算”大年,已经不能用正常逻辑去推测收入了,迈入十亿营收俱乐部的一巴掌都不见得数的过来了
  • AI芯片第一股似乎在说明一件事:收入与市值之间的关系,不知道有啥关系
  • 打工人不是那么好摸鱼的,还是要干活的
  • 家里有点事

DSA的新故事

要说AI芯片行业2024年末最热的话题,随着Broadcom的市值破万亿,ASIC(DSA)如果是第二,那么估计3D DRAMPIM也不敢说是第二了。

2023年4月的时候,在无论DSA是否死了,生活还要继续中,对于定制芯片的机会,我是这么看的:

ChatGPT出来后,很久没有认真学习的我,真认真学习了一段时间,并且得出了浅显的认识:模型终于有收敛迹象了,搞定几个模型走天下,大概率一定能找到饭吃的时代来了。

机会是真机会,算力需求,尤其是极具性价比的算力需求真实存在而且有量,不管是DSA还是GPGPU大家都有机会。

模型收敛看起来是大概率事件,那么泛化能力和可编程性这些需求的优先级大概率会下移,而TCO会成为非常关键的指标,尤其是推理。

从时间维度来看,一年多半过去了,如果当时有金主爸爸给我投点钱,我的大模型专用DSA这不是刚好回片可以送测了么,过几个月就”供不应求”,各大厂都在找路子全款拿货,小厂只能在水货市场以2倍价格一手交钱一手交货🤩,各位金主爸爸都要走向人生巅峰了……🤑🤑🤑

😩😩😩还好,口水😪没有弄到桌面上,还是不能趴工位上睡觉啊,做的梦都这么特么的不靠谱🙂‍↔️。

既然梦醒了,还是清醒点,看看Broadcom的“万亿故事”怎么叙述的。

作为一个以网络芯片为主的公司,博通的万亿市值最大的贡献是ASIC不稀奇,网络芯片本来就是ASIC的传统领域。但是,博通这次是靠AI芯片的ASIC这个新故事走向万亿市值的。

这几年,在CUDA兼容这个问题被客户一遍一遍的灵魂拷问的背景下,这个故事还是有点意思的。

来看看博通AI芯片主要客户:GoogleMeta字节跳动OpenAI。这几家公司特点基本上就是:

有钱非常有钱特别有钱

有钱人手定制的芯片,自己都不一定够用,肯定不需要考虑“芯片怎么卖,卖给谁”这样一个困扰了我们这行绝大多数公司(意思就是:NVIDIA除外)的商业问题。

明牌了,博通ASIC AI芯片的客户,都是巨佬:需求量不是一般的大,而且关键基本都是:自用

在看隔壁MarvellAI芯片大客户:亚马逊的Trainium流片了,微软的Maia好像也谈下来了,同样的巨佬客户,同样的基本上都是买了自用

英雄一般情况下,都是所见略同的,如果不同,那肯定不是一般情况了😎,目前大厂定制ASIC芯片的情况,看起来是一般情况。

这些不缺钱的,有巨量AI计算需求的“行业大客户”,不约而同走定制AI芯片这条路,也没被“卡脖子”,也不是拿不到黄老板的货,我猜肯定不是某个高P整点事情,刷刷存在感,刷刷KPI,只能这么猜测了:NVIDIA的东西再好用,也贵的太离谱了

一群利润在合理范围内并不算太高的公司(主要靠广告收入的不算,这也是个躺赚的生意),靠规模化才赚到点(这个点不过真不小)钱,疯狂的以十亿美金为单位,疯狂向一个毛利过七成的硬件供应商送钱下单,而且要想早拿货,还要老板们走关系,涨价锁单,这事情确实挺魔幻的。

恰好这些大买主还有一个特点:人才密度厚实,职业经理人靠谱,创始人都还在舞台上,技术判断和视野都是这个星球上无敌的存在。对于这样无脑给别人送钱的行为,短期没办法,认了。中长期,必定要有解决方案,毕竟:

没有老板会甘心给别人送钱打工的。

白手套除外。

无论DSA是否死了,生活还要继续中,我还写了这样一句话:

非自研、自用的整颗DSA芯片,在这一波模型收敛后,大概率没什么机会了。

在一年半后,配上BroadcomMarvell的故事,这句话是不是看起来还是有那么一小丢丢的有点道理呢?

当然“大概率”不等于绝对。

面向Transformer的AI芯片

上一篇中说过etchedSohu芯片了,隔了好几个月,也没更多的的细节和落地的消息,这次不多说了。

其实,我是非常希望看到Sohu芯片能有规模化落地的商业客户的消息的。

Sohu能真的规模化商业落地,说明从用户侧对于Transformer架构在未来几年的生命力是有信心的,否则对于这种走“极端”的ASIC很难会规模化的购买。这对于国内目前几个盯着大模型方向的创业团队的硬件设计取舍,绝对是有借鉴意义的。

从合理的逻辑上推理,几个巨厂基于各自的对AI芯片的需求、理解与判断,下场自己定制芯片,而不是去和NVIDIA谈一个好价钱,可以从两个角度去猜这个事情:

  • 价格真谈不下来
  • NVIDA的东西,距离他们对“AI芯片”的理解还是有距离

价格谈不下来好理解,从来没有听说过在卖方市场的环境下,买方有议价权的,对吧。

“距离”这个事情,其实各有立场、各有视角、各有对AI计算负载的判断,但是,一点其实是明确的:对于特定的计算需求和应用场景,NVIDIAGPGPU显然是有些Over Design的。

个人理解这里无外乎两个原因:

NVIDIAGP这个目标是为了应对更广泛的计算需求,而对于AI领域计算需求,这个GP也许就过于“重”了 CUDA护城河非常深,但是,前后向兼容以及还要支持图形图像的产品背景下,对于AI计算来说,CUDA在某种意义上来说,也是NV的一种技术负债

基于这一理解,换个角度其实可以将问题转换为:

巨厂有能力、有动力、也有资金去定制“自己需要的”AI芯片,也有足够的使用量来摊薄高昂的设计、流片成本,中厂小厂怎么办?

在国内来说,除了“智算中心”这种短期爆发市场,更长期、稳定的市场就是这些“中厂”和“小厂”了。

有需求、 当然,就是在性能、软件可用性、价格以及供应链安全等各维度上,都有足够竞争力的国产AI芯片公司的机会了。

这里面,还有一个变量:新总统

这个,没法预测,反正第60届美国总统就职典礼时间是确定的,我们就只能骑驴看唱本了,看看会不会有比$TRUMP更惊喜或者惊讶的事情发生吧。

看到TikTok在不到24小时完成了服务器下线与恢复服务的神奇一幕后,个人觉得,作为一个生意人,川普可能需要的是有更多的交易机会。

只要还有交易空间,就应该有谨慎乐观的预期。

如果,继续收紧或者即使限制到14~16nmDRAM、封装带HBM的几个方案正式落地,那么其实国产AI芯片公司的机会就更大了。毕竟,到这一步,这已经不是一个纯技术和性价比的问题了。

如果,废掉一些前任的政策,不指望放开GB200 NVL72这种级别的解决方案,就算能让满血版本的5090合规销售,推理市场真更难打了。

限制真的来了,怎么办?

这段时间,对国产AI芯片最要不利的几个限制点莫过于:

  • 对于DRAM的密度和TSV数量的限制

  • 先进制程的管控进一步降低到14/16nm300亿晶体管数量

  • 封装完成的芯片不带HBM

这几个限制,对于AI芯片来说,真是非常精准的往不具备竞争能力限制了。

兵来将挡,水来土掩,见山开路,遇水搭桥……天无绝人之路,既然不是往死里整,那就有活下去的办法。

最优解,肯定是全国产供应链的成熟,但是,这个不是一朝一夕能完成的,这个过程中,国产AI芯片公司,本来就在具有极大不确定性的初创期,的确是有点被动。

等国产供应链,莫过于“看天吃饭”过于消极与被动了。传说中的7nm产能就那么多,家家都上,真排不上队吧。

靠等产能,还是台难了。还是要想办法活下去,坚持到云开雾散的那一天。

如果,只能回退到12nm甚至16nm制程,还要做有一定竞争力的AI芯片,能考虑的办法也不是没有:

  • 计算部分那么走ASIC的路线,似乎就是唯一解了,用灵活性换性能。
  • 存储部分3D DRAM看起来是能用到了。
  • PIM也要考虑上了,不管近存还是存算一体,能扣一点功耗是一点。
  • chiplet也是一定要走的技术路线了,不然,就算7nm流回来300mm^2的Die也真不够用啊。

游戏规则内的资源用足,国内能搞定的事情,肉眼可见的越来越多了,组合式技术创新也是创新的一种方式。

说不定,因为各种限制,很多目标客户不得不接受这种用牺牲灵活性换性能的AI芯片,也是一种好事。

只要能上量,有用户,芯片软件才有不断迭代、完善的机会。才有自称“生态”的可能。

不然,做三代芯片三个技术路线,软件怎么去有机会迭代完善,螺旋上升呢?

有能力的IP团队,就可以放心的在不考虑CUDA兼容的情况下,去发挥想象力,去做一些架构创新的事情了。

从这个角度来说,放开一些制程、封装、HBM限制,同时对于顶级参数的NV产品还是禁售,可能国产AI芯片公司的机会就更大了(但黄老板肯定不答应啊)。

有些时候,没有办法的时候,可能才真是有办法的时候。

静待DSA芯片在2025年的新故事吧。


最后,提前㊗️大家:

🐍年大吉,新春快乐,回家路上,注意安全。