北京商报讯（记者 魏蔚）11月17日，北京商报记者获悉，百川智能已与鹏城实验室合作，共同探索大模型训练和应用，合作研发基于国产算力的128K长窗口大模型“鹏城-百川·脑海33B”。“鹏城-百川·脑海33B”的128K长上下文窗口基于“鹏城云脑”国产算力平台训练，未来可升级至192K，是基于国产算力训练的最长上下文窗口。
上下文窗口长度对模型理解和生成与特定上下文相关的文本至关重要，更长的上下文窗口可以提供更丰富的语义信息、消除歧义，能够让模型生成的内容更准确、更流畅。为了更好地提升“鹏城-百川·脑海33B”上下文窗口长度和模型整体性能，百川智能和鹏城实验室对模型进行了全流程优化。
本网站所有内容属北京商报社有限公司，未经许可不得转载。 商报总机：010-64101978 媒体合作：010-64101871
商报地址：北京市朝阳区和平里西街21号 邮编：100013 法律顾问：北京市中同律师事务所（010-82011988）
网上有害信息举报 违法和不良信息举报电话：010-84276691 举报邮箱：bjsb@bbtnews.com.cn
ICP备案编号：京ICP备08003726号-1 
京公网安备11010502045556号 互联网新闻信息服务许可证11120220001号
