![](images/bvc_02.png)
新媒易动态
NEWS CENTER
NEWS CENTER
2023-08-25
成为浪潮之上的角逐者,必须有对技能的沉积和堆集。作为小米AI技能的“试验田”和“弹药库”,小米AI实验室会研制中长期的前沿技能,围绕小米事务做储备,在集团需求的时候输出“弹药”。小米对AI的深刻认识与把握的技能才能,也有用地赋能了手机、机器人等各个事务板块。
大模型是未来科技的发展趋势,更是下一个人工智能的高地。2021年开始,小米就对大模型的方向特别重视,并展开了对话大模型的预研作业。在闲谈对话场景下,依托于月活超过1.15亿的智能语音助理小爱同学,小米研制了参数规划为28亿的对话模型,到达了当时同等参数规划下业界的较高水平。这为小米堆集了多卡分布式练习的经历,为后续展开大规划言语模型练习奠定了根底。
小米具有品类很多的设备,是全球规划抢先的消费级物联网平台。设备多样,运用场景也各不相同,一个大模型难以兼顾。如果把一部分大模型才能下放到端侧,不仅能更好地维护用户隐私、而且有机会在本地完结千人千面的个性化定制。
软硬结合,生态连接,这是大模型技能与小米生态结合的最优计划,让用户既可以具有数据安全,又可以具有大模型的先进生产力。因而,“轻量化、本地布置”是小米大模型技能的主力打破方向。
现在,咱们自研的13亿参数的端侧模型已经在手机端跑通,部分场景作用媲美60亿模型在云端的运算结果。与早些时候市场上放出的手机端大模型的计划比较,小米会调整模型结构和参数巨细,适配各种芯片在内存和算力上的特色,致力于到达功耗、推理速度和生成作用的最佳平衡。
数据上,咱们自己发掘收拾的练习数据占比到达了80%,其间小米自有的产品和事务数据量到达3TB。因而咱们的大模型最懂小米的产品,最懂小米的事务。
结构上,咱们根据对Transformer结构的理解,融合了本身的实践经历进行改良;并且充分考虑设备端芯片的特色要求,合理设置模型的宽度和深度,致力于到达功率和作用的最佳均衡。
练习策略上,采用小米提出的ScaledAdam优化器和Eden学习率调度器,显著提高收敛速度的一起减少了优化器中显存的糟蹋。由于模型的知识容量有限,需求更精巧地安排练习数据的次序,使得模型尽可能多地把握知识点和技能,减少参数的糟蹋,以此完结“轻量化”。
模型布置到端侧后,信息不必上传到云端,所有核算都在本地进行,可以从根本上确保用户隐私不被泄露。即便在端云结合的服务框架下,隐私信息会存储在端侧,触及它们的核算也尽可能在端侧完结。即便偶然需求运用云端的才能,信息也会经过处理和加密。
截至2023年8月10日,小米自研的大规划预练习言语模型MiLM-6B,参数规划为64亿,在威望中文评测榜单C-EVAL和CMMLU中位列同等参数规划大模型第一。
在C-Eval评价中,MiLM-6B 的平均分为60.2,总榜单排名第10、同参数量级排名第1。
“C-Eval”是由上海交通大学、清华大学、爱丁堡大学共同构建的一个针对根底模型的归纳中文评价套件。它由 13948 道多项选择题组成,包括 52 个不同学科和四个难度等级,掩盖人文、社科、理工,及其他专业四个大方向,用以帮助中文社区研制大模型。
在CMMLU评价中,MiLM-6B在Five-shot和Zero-shot 测验中的平均分分别为57.17和60.37,均位列中文向模型第1。
“CMMLU”是一个归纳性的中文大模型评价基准,包括了从根底学科到高级专业水平的67个主题,触及自然科学、社会科学、人文、以及知识等,专门用于评价言语模型在中文语境下的知识和推理才能。
通过打榜,验证了咱们对特定垂域进行定向增强的技能可以到达怎样的作用,这也是用轻量化模型进行事务定制的必备才能。尽管小米大模型取得了优异的成果,但咱们不会把榜单排名与用户体会画上等号。好成果的背后,更重要的还是打磨技能、沉积方法论,将它们运用到产品,提高用户体会才是咱们的终极目标。
科技应着眼于处理问题,以需求与应用为落点。小米大模型采用“轻量化、本地布置”的计划,可以更好地处理多场景、个性化的用户需求。一方面,大模型本地运转无需担心“弱网、无网”情况,且呼应速度快,运用稳定;另一方面,在供给愈加个性化服务的一起,也可以更好地维护用户隐私,让技能真实改善用户体会,让成果真实落地有用。