
大模型基准测试有了 ITU 国际标准,中国信通院牵头制定
本次发布的国际标准基于当前产学研界 500 余项基准测试系统性研究,一方面确立了大模型基准测试的 4 项核心要素,包括测试维度(测试场景、测试能力、测试任务和测试指标)、测试数据集、测试方法和测试工具。另一方面,针对通用场景的基础模型,提供了标准化的测试用例和范例流程,以支持企业规范开展大模型能力评估。
本次发布的国际标准基于当前产学研界 500 余项基准测试系统性研究,一方面确立了大模型基准测试的 4 项核心要素,包括测试维度(测试场景、测试能力、测试任务和测试指标)、测试数据集、测试方法和测试工具。另一方面,针对通用场景的基础模型,提供了标准化的测试用例和范例流程,以支持企业规范开展大模型能力评估。
评估对象主要适用于面向普通用户提供 AIGC 产品服务的提供者,例如提供智能对话、情感陪伴、智慧办公等服务的生成式 AI App 或智能体,提供语音对话、智能调用、任务执行等服务的 AI 终端等。
2024 年 1-12 月,国内市场手机出货量 3.14 亿部,同比增长 8.7%,其中,5G 手机 2.72 亿部,同比增长 13.4%,占同期手机出货量的 86.4%。
中国信通院预测,未来三年我国 ICT(信息通信业)的产业将呈现出年均 8% 的增长态势,到 2030 年,我国数字经济的总量会达到 80 万亿元,其中线上消费和数字投资双轮驱动数字经济发展的作用将更加显著。
中国信通院今日发文称,1-8 月我国规模以上互联网和相关服务企业完成互联网业务收入 11710 亿元,同比增长 4.4%,增速较 1-7 月回落 0.6 个百分点。
中国信通院今天傍晚发布了2024年8月国内手机市场运行分析报告:出货量2404.7万部,其中5G手机占比82.1%。
2024 年 1-7 月,国内市场手机出货量 1.71 亿部,同比增长 15.3%,其中,5G 手机 1.45 亿部,同比增长 23.6%,占同期手机出货量的 84.8%。
中国信通院今日公布 2024 年 1—7 月份我国通信业经济运行情况。在电信用户发展情况中,固定宽带接入用户稳步增长,千兆用户占比近三成。截至 7 月末,三家基础电信企业的固定互联网宽带接入用户总数达 6.56 亿户,比上年末净增 1977 万户。
平台将对全国范围内的算力资源进行标识注册和测试,通过平台可以查询全国范围内的算力资源和相关算力调度服务,为各行各业提供真实、可信的算力支持,加速推动算力互联互通。