HI,下午好,新媒易不收取任何费用,公益非盈利机构
24小时服务热线: 4000-162-302
请扫码咨询

新媒易动态

NEWS CENTER

产品经理需要与算法工程师共同确认原始数据及数据标准结果

2020-06-23

产品经理与算法工程师要对业务进行理解,明确原始数据的意义与数据标注的价值。业务理解是所有产品工作的基础。

(2)确定原始数据与标注结果

产品经理需要与算法工程师共同确认原始数据及数据标准结果,并确定标注工具。数据标注的结果必须得到算法工程师确认,确保后续建模过程的顺利开展。

(3)撰写标注教程

在确认原始数据与标注结果后,产品经理需要撰写标注教程。标注教程就好像软件说明书,需要将标注过程按顺序一一列出。标注教程包含4个要素:标注软件(平台)、标注要求、标注对象、标注流程。撰写的标注教程同样需要得到算法工程师确认。

(4)数据标注

该过程为数据标注过程,产品经理需要不定时进行标注结果抽查。

(5)标注结果验收

产品经理与算法工程师共同对标注结果进行质量验收,验收不合格需要搞清异常原因并重新标注。对于有行业壁垒的数据,标准准确性需要行业专家进行判断。

针对不同的数据类型有不同的标注工具。图像类标注可以使用LabelMe,文本标注可以使用Brat或DeepDive等,当然还有很多后期开发的标注平台可以使用。

三、 模型建立与调优

早期的人工智能系统,被称为专家系统。专家系统通过学习或总结人类经验获得智能,并可以恰当应用这些经验来解决实际问题。如今随着大数据的发展,新生事物不断增加,各种知识层出不穷。很多领域的经验已经无法总结成系统化的专家经验,而这些经验被包含在大量产生的数据之中,所以说数据是人工智能发展的基础。

由此可见,建模的根本在于寻找人类经验。但根据寻找人类经验的方式不同,可以分为知识建模、非知识建模、混合建模3种。

知识建模属于早期专家系统的建模方法,重点在于如何将总结好的知识转化为机器可以识别、储存、运用的形式。知识建模适用于数据难以收集,或业务逻辑相对容易总结的问题。

非知识建模不需要提取人类经验,甚至不需要模型具有可解释性,通过数据特征得到对应的模型。非知识建模适用于业务逻辑难以总结,而业务数据容易获得的情况。

混合建模结合了知识建模与非知识建模2种方式,根据特定问题进行建模。

建模过程是一个系统而复杂的工程,需要根据业务类型、数据情况等多方面情况才能够完成。据笔者了解,当前很多人工智能工作者只重视非知识建模的方式,认为知识建模过时了,不适用于当今人工智能的发展。这样的认识是偏颇的,必须根据实际问题将不同建模方式结合起来才能达到较好效果。

1. 知识建模

知识建模源于人工智能起源的一大学派,该学派称为符号主义。符号主义认为人工智能源于数理逻辑,也可以说以一种高级的推理过程。从符号主义的观点来看,知识是信息的一种形式,知识逻辑体系是构成智能的基础。

人工智能的核心在于知识表示、知识推理、知识运用,知识可用符号进行描述,认知是符号的处理过程,推理是基于知识与搜索对问题的求解过程。推理过程同样可以用符号化的语言来描述,也就构成了我们认知的模型。符号主义认为可以建立起人类智能与机器智能的统一理论体系。

在知识建模中,有两个重要问题。其一是知识的符号表示,其二是推理方法。知识的符号表示是将知识转化为机器所能识别、储存、运用的数据化形式。推理方法是机器运用知识解决实际问题的能力。

(1)知识的符号表示

常见的知识符号表示有方法有谓词逻辑法、状态空间法、问题规约法等。由于知识建模构建的是一种推断逻辑,所以谓词逻辑法使用较为普遍。

谓词是用来描述或判定客体性质、特征或者客体之间关系的词项。例句“小明是我的朋友”中,“是”就是谓词,该句中只有“小明”一个客体,这样的谓词我们称为一阶谓词;例句“5大于4”中,“大于”就是谓词,该句中“大于”涉及到两个客体,这样的谓词称为二阶谓词。

使用谓词表示知识有两个步骤:

①确定每个谓词的个体以及确切含义。

②利用逻辑符号连接谓词,对知识进行表达。

[例]利用谓词逻辑法表述以下语句

人人学雷锋

①确定每个谓词的个体以及确切含义。

个体:人

谓词:学、是(“人人”隐含了“是人”的客观事实)

定义谓词:

people(x):x是人

learn(x,y):x学y

②利用逻辑符号连接谓词,对知识进行表达。

(表示对于任意)

(2)推理方法

推理方法是研究机器如何模拟人类进行知识选择,并运用这些知识分析和解决实际问题的逻辑方法。我们也可以理解为推理是依据一定的原则,从已有事实推出结论的过程。推理系统主要由谓词逻辑组成的知识库和控制推理过程的机构组成。

常用的推理方法有3种:正向推理、逆向推理、双向推理。

正向推理是由条件出发,向结论方向进行的推理过程。它以当前的事实出发,根据输入的推理规则,向结论进行推理。例如我们知道发烧、咽痛、关节酸痛具有较高概率能够推理出的结论是感冒。这种推理方式就是典型的正向推理。正向推理是早期专家系统解决问题的一个重要特征,即专家在解决问题时,首先是发现问题提供了什么信息,根据提供的信息再借助推理规则推导出新的信息,从而加深对问题的了解。

相关推荐