英伟达发布新一代 ai 加速芯片,官方称在推理吞吐与能效比上较上代显著提升,单卡可承载更大模型或更长的上下文。
对云服务与自建算力方,这意味着同样的预算能跑更多并发,有望进一步压低大模型 api 与推理服务的价格。
短期内高端卡仍可能供不应求,建议关注云厂商的实例上线节奏,以及新架构对现有框架的适配进展。
英伟达发布新一代 AI 加速芯片,官方称推理吞吐与能效比较上代显著提升,单卡可承载更大模型与更长上下文,有望进一步压低推理服务价格。
英伟达发布新一代 ai 加速芯片,官方称在推理吞吐与能效比上较上代显著提升,单卡可承载更大模型或更长的上下文。
对云服务与自建算力方,这意味着同样的预算能跑更多并发,有望进一步压低大模型 api 与推理服务的价格。
短期内高端卡仍可能供不应求,建议关注云厂商的实例上线节奏,以及新架构对现有框架的适配进展。