现金万博manbext网页版登录app平台字据SemiAnalysis爆料-万博manbext网页版登录「中国」官方网站入口
新闻中心
梦晨 西风 发自 凹非寺量子位 | 公众号 QbitAI 英伟达老黄，成了本年的圣诞老黄。 AI芯片大礼包刚刚曝光： GPU新核弹B300，以及附带CPU的超等芯片GB300。 高算力，在产物层面上比拟B200在FLOPS上提高50% 大显存，从192GB进步到288GB，亦然提高了50%。 △Grok AI绘制 包含72块GB300的“新一代策画单元”GB300 NVL72，更是被评价为“能让OpenAI o1/o3推理大模子的想维链长度，在高batch size下达到10万tokens的独
详情
梦晨 西风 发自 凹非寺量子位 | 公众号 QbitAI
英伟达老黄，成了本年的圣诞老黄。
AI芯片大礼包刚刚曝光：
GPU新核弹B300，以及附带CPU的超等芯片GB300。
高算力，在产物层面上比拟B200在FLOPS上提高50%
大显存，从192GB进步到288GB，亦然提高了50%。
△Grok AI绘制
包含72块GB300的“新一代策画单元”GB300 NVL72，更是被评价为“能让OpenAI o1/o3推理大模子的想维链长度，在高batch size下达到10万tokens的独一决策”。
这与本年3月份“AI春晚”发布的B200系列只隔了几个月。
字据SemiAnalysis爆料，从第三季度开动，好多AI巨头仍是将订单从B200转动到了B300（唯独还在第四季度络续购买了部分B200）。
有不少网友齰舌，更新速率委果太快了！
既是搞定了此前外传中B200因遐想纰谬被动推迟的问题，又是对近邻AMD MI300系列后续产物将在2025年进步显存容量的复兴。
又一款AI核弹
既然都是Blackwell架构莫得跨代，B300的算力提高来自那处呢？
字据此次爆料，主要有三部分：
工艺节点，与B200使用相同的台积电4NP，然则全新流片增多功率，GB300和B300 HGX的TDP离别达到1.4KW、1.2KW，比拟之下B200系列离别提高0.2KW架构微翻新，举例在CPU和GPU之间动态分拨功率
除了更高FLOPS以外，B300系列的显存也作念了升级：
从8层堆叠的HBM3E升级到12层（12-Hi HBM3E）显存容量从192GB升级到288GB显存带宽保握不变，仍为8TB/s
此外产物委派层面还有一个大变化：
GB200系列提供通盘这个词Bianca Board，也就包括两颗GPU、一颗CPU、CPU的内存等通盘组件都集成在一块PCB版上。
△GB200见解图
GB300系列将只提供参考板（Reference Board），包括两颗B300 GPU、一颗Grace CPU、HMC（Hybrid Memory Cube），LPCAMM内存模块等组件将由客户自行采购。
这给供应链上的OEM和ODM制造商带来了新的契机。
为推理大模子打造
显存的升级对OpenAI o1/o3一类的推理大模子至关矜重，因为推遐想维链长度会增多KVCache，影响batch size和蔓延。
以一个GB300 NVL72“策画单元”为单元筹议时，它使72个GPU能够以极低的蔓延处理疏浚的问题，并分享显存。
在此基础上从GB200升级到GB300，还不错带来好多平允：
每个想维链的蔓延更低终了更长的想维链辩论推理资本处理归拢问题时，不错搜索更万般本，最终提高模子才气
为了阐明注解这些进步，SemiAnalysis举了个更为直不雅的例子。
下图是在不同批处理大小下，使用H100和H200两种GPU处理长序列时，Llama 3.1 405B在FP8精度下的处理速率。
输入建造为1000个token、输出19000个token，由此模拟OpenAI o1和o3模子中的想维链。
从H100升级到H200，有两个显耀更正。
一是在通盘可比较的batch size中，H200的内存带宽更大（H200 4.8TB/s，H100 3.35TB/s），从而使得处理成果多半提高了43%。
二是H200可运行更高的batch size，这使得其每秒不错生成的token数目增多了3倍，相应地，资本也减少了约3倍。
内存增多所带来的效益远不啻名义上的这些。
无人不晓，推理模子反适时期一般更长，显耀裁减推理时期不错提高用户体验和使用频率。
况且内存升级终了3倍性能进步，资本减少3倍，这一进步速率也远超摩尔定律。
除此以外，SemiAnalysis还分析不雅察到，才气更强和具有表露互异化的模子能收取更高的溢价——
前沿模子毛利率超70%，而还在与开源模子竞争的次一级模子毛利率不及20%。
虽然，并不是独逐个家能增多内存的芯片公司，但若何英伟达还有杀手锏NVLink。
One More Thing
英伟达耗尽级显卡方面，RTX5090的PCB板也初度曝光了～
就在昨天，一张RTX 5090 PCB相片在网上疯转。
脾气即是超超超大号。
王人集此前爆料称5090有可能会配备32GB大显存，有望接济8K超高清游戏，终了60fps的勾搭游戏体验。
网友们径直坐不住。
对于5090的发布时期，大伙儿揣测大致会是1月6日老黄CES演讲的时期。
参考贯穿：[1]https://semianalysis.com/2024/12/25/nvidias-christmas-present-gb300-b300-reasoning-inference-amazon-memory-supply-chain/[2]https://x.com/mark_k/status/1871864813913330003[3]https://www.gamesradar.com/platforms/pc-gaming/rtx-5090-will-seemingly-come-armed-with-32gb-vram-and-id-be-surprised-if-8k-gaming-isnt-a-thing-this-generation/
【文/不雅察者网 陈想佳】罗赶快帝教教皇上周严厉谴责以色列对加沙地带发动“烦燥空袭”，攻讦以色列杀害儿童，但这一表态激发以色列政府不悦。据以色列《新音讯报》12月26日报谈，以色列社交部24日召见了梵蒂冈驻以色列大使，对方济各的言论默示抗议。 报谈称，在以色列社交部长吉德翁·萨尔的指令下，以色列社交部总司长埃登·巴尔塔尔（Eden Bar-Tal）24日召见了梵蒂冈驻以大使阿谈夫·蒂托·伊利亚纳（Adolfo Tito Yllana）。以色列社交部抒发了对方济各言论的“热烈不悦”，但莫得认真谴
查看更多
凭证中疾控最新发布的“寰宇急性哨点监测情况”2024第50周周报清晰，流感现在仍然是各样激发呼吸说念疾病的要紧病原体，并且正呈现出飞快飞腾的趋势。 监测数据清晰，12月9日到12月15日第50周，呼吸说念样本病原体核酸检测阳性率中，病毒的阳性率也曾由前一周的10.83%，进一步升高到了16.5%！底下这个趋势图中，流感病毒也呈现出了显耀的飞腾趋势。 濒临来势汹汹的流感病毒，关于大多量东说念主来说，与其等感染了再去治愈改善，不如在感染之前就积极作念好防护。在东说念主口密集花式戴好口罩，属目勤洗手
查看更多
原标题：阳性率升至16.5%，没病能吃奥司他韦吗？ 近日 寰宇多地投入高发季节 12月9日—15日 当周流感病毒的阳性率 达16.5% 较前一周（12月2日—8日） 增长5.3% 把柄中疾控发布的《寰宇急性哨点监测情况（2024年第50周）》的监测戒指，我国急性呼吸说念传染病呈现接续上涨趋势，其中流感投入季节性流行期，阳性率近期上涨趋势彰着。 单周敷陈114起 流感样病例增长彰着 12月9日—15日，南、朔方省份流感病毒检测阳性率连续上涨，寰宇共敷陈114起流感样病例暴发疫情，为本流感季（20
查看更多
梦晨 西风 发自 凹非寺量子位 | 公众号 QbitAI 英伟达老黄，成了本年的圣诞老黄。 AI芯片大礼包刚刚曝光： GPU新核弹B300，以及附带CPU的超等芯片GB300。 高算力，在产物层面上比拟B200在FLOPS上提高50% 大显存，从192GB进步到288GB，亦然提高了50%。 △Grok AI绘制 包含72块GB300的“新一代策画单元”GB300 NVL72，更是被评价为“能让OpenAI o1/o3推理大模子的想维链长度，在高batch size下达到10万tokens的独
查看更多