小米首次公开披露大模型进展 重点突破轻量化本地部署


(资料图片仅供参考)

8月14日,雷军年度演讲现场,小米首次公开披露在大模型领域的技术进展。

雷军表示,小米2023 年研发投入预计超过 200 亿,5G必要标准首次进入世界前十。目前小米已布局 12 个技术领域,99 个细分赛道,未来 5 年技术投入 1000 亿元人民币。

从2016年组建第一支视觉AI团队到今天,历经6次扩展,小米人工智能团队已经有了3000多人,已建立起视觉、语音、声学、知识图谱、NLP、机器学习、多模态等AI技术能力,全面赋能从手机到AIoT、自动驾驶、智能制造、机器人等多个业务。

其中在人工智能领域,小米早在今年4月就组建了Al大模型团队,小米大模型技术主力突破方向是轻量化本地部署,目前小米AI大模型最新一个 13 亿参数大模型已经成功在手机本地跑通,部分场景可以媲美 60 亿参数模型在云端运行结果。

目前小爱同学月活户已超1.1 亿,现已开始升级 AI 大模型能力,今日起开启邀请测试。小米方面表示,经过大模型技术加持,小爱同学已拥有一个更加强大的大脑,可以答疑解惑、激发灵感、创造艺术,还能扮演角色进行自然对话。结合大模型的对话特点升级了小爱的交互模型,同时让小爱同学原有的丰富能力与大模型的强大通识能力结合。

此前,由小米开发的大规模预训练语言模型MiLM-6B 曝光,其参数规模为64亿。在 C-Eval榜单与CMMLU榜单上均取得同尺寸最好的效果。根据 C-Eval 给出的信息,MiLM-6B 模型在具体各科目成绩上,在 STEM(科学、技术、工程和数学教育)全部 20 个科目中,计量师、物理、化学、生物等多个项目获得了较高的准确率。

今年一季度财报电话会上,小米总裁卢伟冰表示,小米会积极拥抱大模型,但不会像Open AI一样做通用大模型,而是会深度和业务结合协同,利用AI技术提升内部效率。

关键词: