科技博主阑夕:大模型不光卷价格,还要卷并发

2024-11-15 11:02:08 admin

豆包通用模型lite-4k/32k,科技千tokens推理输入售价0.3厘;通义千问qwen-long,博主并千tokens推理输入售价0.5厘;百度文心ERNIE Speed、阑夕ERNIE Lite,大模宣布免费。光卷

针对近期的价格大模型降价狂潮,科技博主阑夕发文称:行业里说千Tokens价格,还卷光低价还不够,科技吞吐量太小的博主并话,再便宜也用不了多少。阑夕如果只是大模把价格降下去,吞吐还是光卷小水管,那真是价格降了个寂寞。

以下是还卷阑夕微博主要观点:

豆包大模型打响价格战已经过了一个星期,山雨欲来的科技效果还是挺明显的,同行要么跟着一起降价,要么开始写小作文阴阳,特别热闹。

有比较急的,拿以前云雀模型的限流指标和模型单元价格来算,暗戳戳说豆包实际使用价格要高。等火山引擎官网把不同版本、不同规格的销售方案全部亮了出来,不管是预付费还是后付费都确实是击穿地板的底价标准,瞬间打脸回去。

豆包模型定价,最值得关注的是把TPM(每分钟token数)提到80万,比同行(一般是10万到30万tokens)高几倍。如果对话文本小,RPM(每分钟请求数)上限1万,能支持的并发量是同行(一般是60到120,轻量版是300到500)的几十倍。其他大模型要不要跟?

科技博主阑夕:大模型不光卷价格,还要卷并发

行业里说千Tokens价格,光低价还不够,吞吐量太小的话,再便宜也用不了多少。如果只是把价格降下去,吞吐还是小水管,那真是降了个寂寞。

(关于免费)大模型的算力烧钱主要在训练端,推理端的成本其实是每年都有几十倍优化空间的。但再怎么优化,也不可能优化到0。

足够便宜,但依然能赚钱,由此促成应用/商用市场的规模增长,包括OpenAI在内的主流大模型开发商,都是这么一个思路,可以不讲武德,但是商业规律还是得敬畏的。

不管怎么说,大模型toB还在做大蛋糕的阶段,有更多公司一起解决企业入局的成本门槛,也都算是共赢吧。

雷峰网(公众号:雷峰网)

  • 文章

    7

  • 浏览

    11542

  • 获赞

    44

赞一个、收藏了!

分享给朋友看看这篇文章

热门推荐