拜难送,川难测,不见得是坏事
一般而言,在任最后的时间基本都是要“做好事,留官声”,最常见的基本就是“特赦”了(确实也有,对吧🤓),没想到老头最后几周的一番蜜汁操作,是想把下一任能打的牌都打光,还是赌下一任不会推翻上一任的决策? 喊出
MAGA
的下一任,一定会继续“探索总统权力的边界”,只有你想不到,没有他不会做的事情,比如:$TRUMP
。所以,说不定对行业利好的新闻某天早上睡醒就看到了。
2024年底的时候,没有继续前两年的“财报季”去臆测分析一下国产AI芯片
公司的收入情况,几个原因:
- 懒,这个是毫无疑问的第一原因
- “大模型+智算”大年,已经不能用正常逻辑去推测收入了,迈入十亿营收俱乐部的一巴掌都不见得数的过来了
AI芯片第一股
似乎在说明一件事:收入与市值之间的关系,不知道有啥关系- 打工人不是那么好摸鱼的,还是要干活的
- 家里有点事
DSA的新故事
要说AI芯片行业
2024年末最热的话题,随着Broadcom
的市值破万亿,ASIC
(DSA
)如果是第二,那么估计3D DRAM
和PIM
也不敢说是第二了。
2023年4月
的时候,在无论DSA是否死了,生活还要继续中,对于定制芯片的机会,我是这么看的:
ChatGPT出来后,很久没有认真学习的我,真认真学习了一段时间,并且得出了浅显的认识:模型终于有收敛迹象了,搞定几个模型走天下,大概率一定能找到饭吃的时代来了。
机会是真机会,算力需求,尤其是极具性价比的算力需求真实存在而且有量,不管是
DSA
还是GPGPU
大家都有机会。模型收敛看起来是大概率事件,那么泛化能力和可编程性这些需求的优先级大概率会下移,而
TCO
会成为非常关键的指标,尤其是推理。
从时间维度来看,一年多半过去了,如果当时有金主爸爸给我投点钱,我的大模型专用DSA
这不是刚好回片可以送测了么,过几个月就”供不应求”,各大厂都在找路子全款拿货,小厂只能在水货市场以2倍价格一手交钱一手交货🤩,各位金主爸爸都要走向人生巅峰了……🤑🤑🤑
😩😩😩还好,口水😪没有弄到桌面上,还是不能趴工位上睡觉啊,做的梦都这么特么的不靠谱🙂↔️。
既然梦醒了,还是清醒点,看看Broadcom
的“万亿故事”怎么叙述的。
作为一个以网络芯片为主的公司,博通的万亿市值最大的贡献是ASIC
不稀奇,网络芯片本来就是ASIC
的传统领域。但是,博通这次是靠AI
芯片的ASIC
这个新故事走向万亿市值的。
这几年,在CUDA
兼容这个问题被客户一遍一遍的灵魂拷问的背景下,这个故事还是有点意思的。
来看看博通AI芯片主要客户:Google
、Meta
、字节跳动
、OpenAI
。这几家公司特点基本上就是:
有钱、非常有钱、特别有钱。
有钱人手定制的芯片,自己都不一定够用,肯定不需要考虑“芯片怎么卖,卖给谁”这样一个困扰了我们这行绝大多数公司(意思就是:NVIDIA除外)的商业问题。
明牌了,博通ASIC AI
芯片的客户,都是巨佬:需求量不是一般的大,而且关键基本都是:自用。
在看隔壁Marvell
的AI
芯片大客户:亚马逊的Trainium
流片了,微软的Maia
好像也谈下来了,同样的巨佬客户,同样的基本上都是买了自用。
英雄一般情况下,都是所见略同的,如果不同,那肯定不是一般情况了😎,目前大厂定制ASIC芯片
的情况,看起来是一般情况。
这些不缺钱的,有巨量AI计算需求的“行业大客户”,不约而同走定制AI芯片
这条路,也没被“卡脖子”,也不是拿不到黄老板的货,我猜肯定不是某个高P整点事情,刷刷存在感,刷刷KPI,只能这么猜测了:NVIDIA的东西再好用,也贵的太离谱了。
一群利润在合理范围内并不算太高的公司(主要靠广告收入的不算,这也是个躺赚的生意),靠规模化才赚到点(这个点不过真不小)钱,疯狂的以十亿美金为单位,疯狂向一个毛利过七成的硬件供应商
送钱下单,而且要想早拿货,还要老板们走关系,涨价锁单,这事情确实挺魔幻的。
恰好这些大买主还有一个特点:人才密度厚实,职业经理人靠谱,创始人都还在舞台上,技术判断和视野都是这个星球上无敌的存在。对于这样无脑给别人送钱的行为,短期没办法,认了。中长期,必定要有解决方案,毕竟:
没有老板会甘心给别人
送钱打工的。
白手套除外。
在无论DSA是否死了,生活还要继续中,我还写了这样一句话:
非自研、自用的整颗
DSA
芯片,在这一波模型收敛后,大概率没什么机会了。
在一年半后,配上Broadcom
与Marvell
的故事,这句话是不是看起来还是有那么一小丢丢的有点道理呢?
当然“大概率”不等于绝对。
面向Transformer的AI芯片
在上一篇中说过etched
的Sohu
芯片了,隔了好几个月,也没更多的的细节和落地的消息,这次不多说了。
其实,我是非常希望看到Sohu
芯片能有规模化落地的商业客户的消息的。
Sohu
能真的规模化商业落地,说明从用户侧对于Transformer
架构在未来几年的生命力是有信心的,否则对于这种走“极端”的ASIC
很难会规模化的购买。这对于国内目前几个盯着大模型方向的创业团队的硬件设计取舍,绝对是有借鉴意义的。
从合理的逻辑上推理,几个巨厂基于各自的对AI芯片
的需求、理解与判断,下场自己定制芯片,而不是去和NVIDIA谈一个好价钱,可以从两个角度去猜这个事情:
- 价格真谈不下来
- NVIDA的东西,距离他们对“AI芯片”的理解还是有距离
价格谈不下来好理解,从来没有听说过在卖方市场的环境下,买方有议价权的,对吧。
“距离”这个事情,其实各有立场、各有视角、各有对AI计算负载的判断,但是,一点其实是明确的:对于特定的计算需求和应用场景,NVIDIA
的GPGPU
显然是有些Over Design
的。
个人理解这里无外乎两个原因:
NVIDIA
的GP
这个目标是为了应对更广泛的计算需求,而对于AI领域计算需求,这个GP
也许就过于“重”了CUDA
护城河非常深,但是,前后向兼容以及还要支持图形图像的产品背景下,对于AI计算
来说,CUDA
在某种意义上来说,也是NV的一种技术负债
基于这一理解,换个角度其实可以将问题转换为:
巨厂有能力、有动力、也有资金去定制“自己需要的”AI芯片,也有足够的使用量来摊薄高昂的设计、流片成本,中厂、小厂怎么办?
在国内来说,除了“智算中心”这种短期爆发市场,更长期、稳定的市场就是这些“中厂”和“小厂”了。
有需求、 当然,就是在性能、软件可用性、价格以及供应链安全等各维度上,都有足够竞争力的国产AI芯片公司的机会了。
这里面,还有一个变量:新总统
。
这个,没法预测,反正第60届美国总统就职典礼时间是确定的,我们就只能骑驴看唱本了,看看会不会有比$TRUMP
更惊喜或者惊讶的事情发生吧。
看到TikTok
在不到24小时完成了服务器下线与恢复服务的神奇一幕后,个人觉得,作为一个生意人,川普可能需要的是有更多的交易机会。
只要还有交易空间,就应该有谨慎乐观的预期。
如果,继续收紧或者即使限制到14~16nm
、DRAM
、封装带HBM
的几个方案正式落地,那么其实国产AI芯片公司的机会就更大了。毕竟,到这一步,这已经不是一个纯技术和性价比的问题了。
如果,废掉一些前任的政策,不指望放开GB200 NVL72
这种级别的解决方案,就算能让满血版本的5090
合规销售,推理市场真更难打了。
限制真的来了,怎么办?
这段时间,对国产AI芯片最要不利的几个限制点莫过于:
-
对于
DRAM
的密度和TSV
数量的限制 -
对
先进制程
的管控进一步降低到14/16nm
及300亿晶体管数量
-
封装完成的芯片不带
HBM
这几个限制,对于AI芯片
来说,真是非常精准的往不具备竞争能力限制了。
兵来将挡,水来土掩,见山开路,遇水搭桥……天无绝人之路,既然不是往死里整,那就有活下去的办法。
最优解,肯定是全国产供应链的成熟,但是,这个不是一朝一夕能完成的,这个过程中,国产AI芯片公司,本来就在具有极大不确定性的初创期,的确是有点被动。
等国产供应链,莫过于“看天吃饭”过于消极与被动了。传说中的7nm
产能就那么多,家家都上,真排不上队吧。
靠等产能,还是台难了。还是要想办法活下去,坚持到云开雾散的那一天。
如果,只能回退到12nm
甚至16nm
制程,还要做有一定竞争力的AI芯片,能考虑的办法也不是没有:
- 计算部分那么走
ASIC
的路线,似乎就是唯一解了,用灵活性换性能。 - 存储部分
3D DRAM
看起来是能用到了。 PIM
也要考虑上了,不管近存还是存算一体,能扣一点功耗是一点。chiplet
也是一定要走的技术路线了,不然,就算7nm
流回来300mm^2
的Die也真不够用啊。
游戏规则内的资源用足,国内能搞定的事情,肉眼可见的越来越多了,组合式技术创新也是创新的一种方式。
说不定,因为各种限制,很多目标客户不得不接受这种用牺牲灵活性换性能的AI芯片
,也是一种好事。
只要能上量,有用户,芯片软件才有不断迭代、完善的机会。才有自称“生态”的可能。
不然,做三代芯片三个技术路线,软件怎么去有机会迭代完善,螺旋上升呢?
有能力的IP团队,就可以放心的在不考虑CUDA
兼容的情况下,去发挥想象力,去做一些架构创新的事情了。
从这个角度来说,放开一些制程、封装、HBM限制,同时对于顶级参数的NV产品还是禁售,可能国产AI芯片公司的机会就更大了(但黄老板肯定不答应啊)。
有些时候,没有办法的时候,可能才真是有办法的时候。
静待DSA
芯片在2025年
的新故事吧。
最后,提前㊗️大家:
🐍年大吉,新春快乐,回家路上,注意安全。