AI是未来的生产力，也是决议长时间继续投入的底层赛道之一

AI是未来的生产力，也是决议长时间继续投入的底层赛道之一。咱们在很早就开端组成AI团队，相关团队成员现已超过3000人。这些年的继续投入，为咱们的主动驾驶、机器人等事务都获得了十分优秀的成果。

本年，咱们迎来了一次严重的技能革命——AI大模型技能，在4月份，咱们组成了AI大模型团队，并快速在小爱同学上落地使用。

咱们做大模型的思路或许和许多公司不太一样，咱们挑选主力突破的是轻量化和本地布置。

为什么呢？

首要，大模型需要海量数据，所以很简单涉及到隐私问题，还需要巨大算力，用起来本钱也很高。接着，咱们是一家手机公司，怎样把自己的优势利用起来？咱们想的是，它能不能轻量化？能不能本地布置，在手机端就能用上大模型？

沿着这个思路，咱们团队进展十分顺利，小米自研大模型在近来的威望中文评测榜单C-EVAL和CMMLU中，获得同参数量级榜首的好成绩；小米自研手机端侧大模型开始跑通，部分场景作用媲美云端。真的特别特别厉害。

许多人还想了解小米大模型研制的更多信息，今日，就和大家好好聊聊。

一、解码大模型

ChatGPT呈现以来，大模型优异的了解才干和生成才干令人惊艳，关于其用途的探究也越来越多。目前看来，许多传统的自然语言处理使命都可以用它来完成，比如查找、翻译、问答、摘要、信息抽取和分类以及写作等。在日常日子中，所有基于对话的服务，如客服、教育、咨询、导游等，以ChatGPT为代表的大模型都有必定的用武之地。

大模型指参数数量巨大、层次结构复杂的机器学习模型。这些模型一般具有十亿到千亿乃至万亿个参数，经过大量的数据进行练习，提供更高的了解和生成才干。

在咱们看来，大模型不仅是指模型参数多、尺度大，更重要的是代表了一种新的练习范式。咱们将其总结为：大数据、大使命、大参数。

• 大数据：指需要用海量的数据去练习，让模型从中主动挖掘出所需的信息。一般采用自监督或者无监督学习方法，无需人工标注就可以提炼规则、学习知识，然后提高模型的视野。
• 大使命：指学习的目标足够复杂、覆盖面广。这样才干“逼迫”模型依照模块化、高类聚、低耦合的方法安排知识点，完成举一反三的泛化才干。
• 大参数：指模型的知识容量。大模型的参数规划越大，模型的表达才干和学习才干也就越强。

在这个范式中，咱们以为大数据和大使命是不行或缺的。假如没有大数据，模型不或许学到丰厚的知识；假如没有大使命，知识点和技能点不或许在模型中有机高效地安排起来。

二、布局人工智能，全力突破大模型

1. 以AI为基石，沉淀技能堆集

咱们基于未来的思考与了解，挑选对人类文明有长时间价值的战略方向，并坚持长时间继续的投入。咱们现已布局了12个技能领域，99个细分赛道，未来五年（2022-2026）至少投入1000亿以上的研制经费！

AI是未来的生产力，也是小米长时间继续投入的底层赛道。小米很早就对人工智能进行布局，2016年小米AI实验室建立，并组成了榜首支视觉AI团队，本年4月建立专职大模型团队，历经7年6次扩展，小米人工智能团队现已有3000多人，逐步建立了视觉、语音、声学、知识图谱、NLP、机器学习、多模态等AI技能才干。