知识图谱会计应用

前言及背景：在构建知识图谱的过程中，大量知识信息来源于文档和网页信息，在从文档提取知识的过程中往往会有偏差，这些偏差来自于看两方面：

（1）文档中会有很多噪声信息，即无用信息，它的产生可能来自于知识抽取算法本身，也可能和语言文字本身的有效性有关；

（2）文档信息量有限，不会把所有知识都涵盖进去，尤其是很多常识性知识。

以上都会导致知识图谱是不完整的，所以 知识图谱补全 在构建知识图谱中日益重要。通过 已获取的知识 来对实体间进行关系预测，以达到对实体间关系的补全，也可以是实体类型信息的补全。该过程可以利用本知识库内部的知识，也可以引入第三方知识库的知识来帮助完成。整理了一份200G的AI资料包：①人工智能课程及项目【含课件源码】②超详解人工智能学习路线图 ③人工智能必看优质书籍电子书汇总 ④国内外知名精华资源 ⑤优质人工智能资源网站整理（找前辈、找代码、找论文都有） ⑥人工智能行业报告 ⑦人工智能论文合集p3.toutiaoimg.comorigintos-cn-i-qvj2lq49k036ae8d96bccf490bb4d877abda852f7d","uri":"","width":31,"height":27,"darkImgUrl":"https:p3.toutiaoimg.comorigintos-cn-i-qvj2lq49k0b81aea2925484cf5bdde9cbb4c2c62fd","darkImgUri":"","formulaImgStatus":"succeed"}" class="syl-plugin-formula"> 资料在网盘里排列的非常整齐干净！希望对大家的学习有所帮助， 私信备注【05】添加领取

知识图谱补全分为两个层次： 概念层次的知识补全和实例层次的知识补全 。往往提到知识图谱构建过程中只是提及了实体和关系的抽取，然后就可以生成实体和关系组成的RDF了。但是，仅仅获取三元组是不够的，还要考虑这些，因为三元组中的实体除了具有属性和关系之外，还可以 映射关联到知识概念层次的类型（type），而且一个实体的类型可以有很多 。

例如：实体奥巴马的类型在不同关系中是有变化的。在出生信息描述中，类型为人；在创作回忆录的描述中其类型还可以是作家；在任职描述中还可以是政治家。 实体类型的概念层次模型在这里：人、作家、政治家这些概念之间是有层次的，也就是所说的概念的层次模型。1、概念层次的知识补全——主要是要解决实体的类型信息缺失问题正如前面的例子所描述，一旦一个实体被判别为人这个类型，那么在以构建好的知识模式中，该实体除了人的类型外仍需要向下层概念搜索，以发现更多的类别描述信息。（1）基于描述逻辑的规则推理机制。 本体论和模式 ：实体都可以归结为一种本体，而这种本体会具有一组模式来保证其独特性，这组模式可以用规则来描述，因此，对于本体而言，其可以由这组规则来描述。 例如，奥巴马是个实体，他的本体可以归为人，而人的模式就是可以使用语言和工具、可以改造其他事务等等，这些模式可以通过规则来描述，于是基于描述逻辑的规则推理方法就出现了。描述逻辑 是一种常见的知识表示方式，它建立在概念和关系之上。 比如，可以将关于人的实体实例（可以是文本）收集起来，从中提取出其中模式并以规则的形式记录下来，这样一来，只要遇到一个新的实体实例 ，只需将其代入到之前记录下的规则中进行比较即可做出判断，如果符合规则，就说明该实例可以归类为人的概念类型，否则就判定为非此概念类型。 （2）基于机器学习类型推理机制经过基于描述逻辑的规则推理的发展阶段后，机器学习相关研究开始占据主流，此时 不是单纯地利用实例产生的规则等内部线索来进行判断，同时也要利用外部的特征和线索来学习类型的预测 。 对一个未知类型实体e1而言，如果能找到一个与其类似的且已知类型的实体e2的话，那么就可以据此推知实体e1的类型应该与e2的类型一致或至少相似。 此类方法主要可以分为：基于内容的类型推理、基于链接的类型推理和基于统计关系学习的类型推理（如，Markov逻辑网）几个方向。（3）基于表示学习类型推理机制将嵌入式学习和深度学习引入到类型推理，基于机器学习的类型推理方法大多假设数据中没有噪声，且其特征仍然需要认为选择和设计，引入深度学习可以避免特征工程。而类型推理要依据文本内容，也需要链接结构等其他特征的支持，此时嵌入式方法可以发挥其自身优势。

2、实例层次的知识补全可以理解为：对于一个实例三元组（SPO，主谓宾），其中可能缺失情况为（？，P，O），（S，？，O）或者（S，P，？），这就如同知识库中不存在这个三元组，此时需要预测缺失的实体或者关系是什么。事实上， 很多缺失的知识是可以通过已经获得的知识来推知的 ，有时这个过程也被称为 链接预测 。 注意 ：有时知识不是缺失的，而是 新出现 的，即出现了新的三元组，且这个三元组不是原知识库所已知的知识，此时需要将其作为新知识补充道知识库中，但此种情形 不是传统意义的补全 。（1）基于随机游走的概率补全方法（2）基于表示学习的补全方法知识图谱嵌入流程：①结构嵌入表示法②张量神经网络法③矩阵分解法④翻译法

（3）其他补全方法跨知识库补全方法、基于信息检索技术的知识库补全方法、知识库中的常识知识补全

面临的挑战和主要发展方向： （1）解决长尾实体及关系的稀疏性。 知名的明星的关系实例会很多，而对于普通民众的实例就很少，但是他们数量却众多，导致其相关的关系实例也是十分稀疏，而且在数量不断增加的情况下，这种情况会更加明显。 （2）实体的一对多、多对一和多对多问题。 对于大规模数据，不是一对十几或者几十数量级那么简单，而是成百上千的数量级，传统的解决方案无法有效深圳根本无法解决此种数量级别的关系学习问题。 （3）三元组的动态增加和变化导致KG的动态变化加剧。 新知识源源不断的产生，而之前的知识可能被后面证明是错误的，或者需要修正的。这些都会使得知识补全的过程也需修正改变，如何使得知识图谱补全技术适应KG的动态变化变得越来越重要，而这方面的技术还未引起足够的重视。 （4）KG中关系预测路径长度会不断增长。 关系预测能推理的长度是有限的，但在大规模知识图谱闪光，实体间的关系路径序列会变得越来越长，这就需要更高效的模型来描述更复杂的关系预测模型。

【1】能用html+css把页面做出来，能用js实现动态效果。【2】在1的基础上保证浏览器兼容性。【3】在2的基础上开始出现代码洁癖，代码会逐渐趋向于简洁高效【4】在3的基础上开始关注语义性、可用性和可重用性【5】在4的基础上开始关注页面性能【6】在5的基础上开始费劲脑汁的去寻思怎么能把开发效率也提升上来

笔者是一只已经离职的AI产品经理，主要擅长的方向是知识图谱与自然语言处理，写这些文章是为了总结归纳目前已经搭建的知识体系，也在于科普。如有不对，请指正。 知识图谱在国内属于一个比较新兴的概念，国内目前paper都比较少，应用方主要集中在BAT这类手握海量数据的企业，这个概念是google在2012年提出的，当时主要是为了将传统的keyword-base搜索模型向基于语义的搜索升级。知识图谱可以用来更好的查询复杂的关联信息，从语义层面理解用户意图，改进搜索质量。 个人认为，知识图谱最大的优势是在于对数据的描述能力非常强大，各种机器学习算法虽然在预测能力上很不错，但是在描述能力上非常弱，知识图谱刚好填补了这部分空缺。 知识图谱的定义非常多，我这里提供一部分我自己的理解： 1.知识图谱主要目标是用来描述真实世界中存在的各种实体和概念，以及他们之间的强关系，我们用关系去描述两个实体之间的关联，例如姚明和火箭队之间的关系，他们的属性，我们就用“属性--值对“来刻画它的内在特性，比如说我们的人物，他有年龄、身高、体重属性。 2.知识图谱可以通过人为构建与定义，去描述各种概念之间的弱关系，例如：“忘了订单号”和“找回订单号”之间的关系 知识库目前可以分为两种类型：Curated KBs 和 Extracted KBs Curated KBs：以yago2和freebase为代表，他们从维基百科和WordNet等知识库抽取了大量的实体及实体关系，可以把它理解城一种结构化的维基百科。Extracted KBs：主要是以Open Information Extraction (Open IE),  Never-Ending Language Learning (NELL)为代表，他们直接从上亿个网页中抽取实体关系三元组。与freebase相比，这样得到的实体知识更具有多样性，而它们的实体关系和实体更多的则是自然语言的形式，如“姚明出生于上海。” 可以被表示为(“Yao Ming”, “was also born in”, “Shanghai”)。直接从网页中抽取出来的知识，也会存在一定的噪声，其精确度低于Curated KBs。a)“姚明出生于上海”b)“姚明是篮球运动员” c)“姚明是现任中国篮协主席” 以上就是一条条知识，把大量的知识汇聚起来就成为了知识库（Knowledge Base）。我们可以从wikipedia，百度百科等百科全书获取到大量的知识。但是，这些百科全书的知识是由非结构化的自然语言组建而成的，这样的组织方式很适合人们阅读但并不适合计算机处理。为了方便计算机的处理和理解，我们需要更加形式化、简洁化的方式去表示知识，那就是三元组（triple）。“姚明出生于中国上海” 可以用三元组表示为(Yao Ming, PlaceOfBirth, Shanghai)[1]。这里我们可以简单的把三元组理解为(实体entity,实体关系relation,实体entity)。如果我们把实体看作是结点，把实体关系（包括属性，类别等等）看作是一条边，那么包含了大量三元组的知识库就成为了一个庞大的知识图。 有些时候会将实体称为topic，如Justin Bieber。实体关系也可分为两种，一种是属性property，一种是关系relation。如下图所示，属性和关系的最大区别在于，属性所在的三元组对应的两个实体，常常是一个topic和一个字符串，如属性TypeGender，对应的三元组（Justin Bieber, Type, Person），而关系所在的三元组所对应的两个实体，常常是两个topic。如关系PlaceOfBrith，对应的三元组（Justin Bieber, PlaceOfBrith, London）。（图中蓝色方块表示topic，橙色椭圆包括属性值，它们都属于知识库的实体；蓝色直线表示关系，橙色直线表示属性，它们都统称为知识库的实体关系，都可以用三元组刻画实体和实体关系）这里只是简单介绍一下数据结构，知识表达这一块会在《知识图谱基础（二）-知识图谱的知识表达系统》中详细讲解。 读者只要记住，freebase的基础知识表达形式：(实体)-[关系]-(实体)，(实体)-[关系]-(值)即可，参考图3，姚明和叶莉的关系。通过知识图谱，不仅可以将互联网的信息表达成更接近人类认知世界的形式，而且提供了一种更好的组织、管理和利用海量信息的方式。下图是笔者整理的知识图谱有关的应用，接下来的一些文章笔者会对下面的应用进行剖析。从图4上看，知识图谱的应用主要集中在搜索与推荐领域，robot（客服机器人，私人助理）是问答系统，本质上也是搜索与推荐的延伸。可能是因为知识图谱这项技术（特指freebase）诞生之初就是为了解决搜索问题的。知识存储这一块可能是企查查和启信宝这些企业发现使用图结构的数据比较好清洗加工。 在语义搜索这一块，知识图谱的搜索不同于常规的搜索，常规的搜索是根据keyword找到对应的网页集合，然后通过page rank等算法去给网页集合内的网页进行排名，然后展示给用户；基于知识图谱的搜索是在已有的图谱知识库中遍历知识，然后将查询到的知识返回给用户，通常如果路径正确，查询出来的知识只有1个或几个，相当精准。 问答系统这一块，系统同样会首先在知识图谱的帮助下对用户使用自然语言提出的问题进行语义分析和语法分析，进而将其转化成结构化形式的查询语句，然后在知识图谱中查询答案。