抖音号资讯：如何评判一个智能客服系统的好坏

 如何评判一个智能客服系统的好坏

（1）基于人工标注的评价

基于问答知识库来回答的系统，回答能力受限于知识库的丰富程度，也就是说知识库对用户问题的覆盖率，覆盖率越高，准确性越高。

因此并非能回答用户的所有问题，系统最佳的状态是将能回答的全部回答准确，不能回答的全部拒识，即拒绝回答。

因此这里的评价指标包括有问题解决率、拒识率、召回率和准确率等，我们的目标是让系统的有结果率无限接近数据的真实有结果率，召回率和准确率尽量高。

• 召回率 = 机器人能回答的问题数 / 问题总数
• 准确率 = 机器人正确回答的问题数 / 问题总数
• 问题解决率 = 机器人成功解决的问题数 / 问题总数
• 拒识率=机器人未回答问题数/用户问题数

通过从每日的全量数据集中抽样出一个小数据集，保证小数据集的数据分布尽量符合全量数据集，然后由标注团队对数据集做标注，标注出每个问题的实际答案，一般标注完成后还有质检的环节，以保证标注结果尽量准确，这样便生成了每日数据的标准评测集。

基于该标准评测集我们会去评价系统的好坏，并且每次做新模型迭代时都会使用标准评测集去评价新模型，只有新模型达到某个指标才可以上线。

（2）基于用户反馈的评价

人工评价能够评价智能客服系统的准确率，但是答案是否合理，能否为用户解决问题，需要用户去反馈评价，整个智能客服系统的最终目标是帮助用户解决问题。

我们会在产品上设计智能客服和在线客服的评价功能，例如会让用户评价智能客服的每个答案或者某次会话，在和人工客服聊天完毕会发送评价卡片给用户去评价满意度，如下图所示。

最终我们会统计参评比例、满意度等指标，这些指标能够真正反应智能客服系统的好坏。实际中往往用户参评比例低，我们会使用各种方法去刺激用户评价。