自然语言处理的形式模型笔记
通用句法生成器:(General Syntactic Processer,GSP)基本数据结构是线图(chart)。因为树形图只能表示支配关系,而不能很好的表示前于关系。后来有被扩展成活性线图,以后线图是指活性线图。如下图所示:
活性线图中的两个规则,
1、在线图中容许从某个点出发,中间不经过其它结点,又重新返回到该结点的圈出现,但不允许经过其它结点后再会到该结点的出现。
2、点规则:线图的边上的标记,不仅可以是简单的范畴,也可以是语法规则。这样的规则的右部的符号串中可以加圆点,圆点后面的部分表示没有证实的假设。圆点后面为空表示非活性边,否则为活性边。
活性线图的一条边可以用五元组来表示:
(<start>,<finish>,<label>--><found>.<tofind>)
其中:<start>表示起点index,是个整数。
<finish>表示重点index,是个整数。
<label>表示标记,是一个范畴。
<found>表示分析中已经证实的部分,是一个范畴系列。
<tofind>表示分析中尚未证实的部分,是一个范畴系列。
例如:(0,2,S-->NP . VP)表示活性线图的一条边,起点是结点0,终点是结点2,标记S在分析中已经被证实的部分是NP,尚未证实的部分是VP。
活性线图分析的基本原则:
如果一条活性边遇到一条非活性边,而且,这条非活性边的标记上 的范畴满足活性边的要求,那么,就可以在线图中添加一条边,横跨在活性边和非活性边上。如上图的(1)+(2)-->(3)。
活性线图的启动条件:
有一条非活性边和一条与它相关的活性边能按基本规则运行即可启动。通常我们通过查词典的办法,把单词在词典中有关的范畴信息记录到线图的边上,从而形成非活性边。如:(0,1,Det-->[the].)(1,2,N-->[boy].)(2,3,V-->[hit].)(3,4,Det-->[the].)(4,5,N-->[dog].),假如又有规则NP-->Det N,则可造出活性边(0,0,NP-->.Det N),则可以按照上图中的(1)+(2)--->(3)启动一步一步的分析了。
相关推荐
第9章 句法分析宗成庆:《自然语言处理》讲义,第 9 章9.1 概 述宗成庆:《自然语言处理》讲义,第 9 章9.1 概述任务:句法分析(syntactic p
针对传统的汉语句法分析算法进行改进,采用了自底向上与自顶向下相结合的线图分析方法,分析、设计和实现了一个汉语句法分析原型系统。该系统实现了基于最大词长匹配算法的分词模块、基于统计方法的词性标注模块和...
本代码主要是关于代码生成的一个简单的yacc程序,实现了简单的代码生成,寄存器分配
句法分析器的一个Windows可执行文件,其用法:1. 先打开规则库,读入规则集 (规则文件放在 \rule目录下) 2. 选择经过分词和词性标注的文件,进行句法分析 (测试文件放在 \test目录下) 3. 分析结果文件与测试文件...
在使用StanfordCoreNLP对文本句子进行分析时,需要先对句子进行分词 nlp.word_tokenize(sentence) 然后对分词后的句子进行...再之后就是句法分析与依存句法分析 nlp.parse(sentence) nlp.dependency_parse(sentence)
真正的Java版的斯坦福最新句法分析器支持中文,英文,阿拉伯文等句法分析,能直接在界面上上显示句法树,希望对大有帮助!
其中,P_i 〖,P〗_j分别是该词的起始位置和终止位置,j>i,P_j-P_i为该词的长度。 从Agenda中取出一个元素,其标志成分为X,位置跨度为(P_i 〖,P〗_j )。 对于每条规则A→Xγ,将A→X·γ加入活动边集ActiveArc的...
概率句法分析器,本系统是一个概率型的自然语言句法分析器。系统的分析算法是综合了多种优化策略的改进型chart分析算法。分析结果是概率最大的一棵分析树。在概率模型方面,本系统也在一定程度上突破了pcfg的上下文...
一个斯坦福的句法分析器包stanford-parser.jar,以及在java工程中加载汉语句法分析器模型包和英语句法分析器模型的调用源程序
加入概率的CKY句法分析器 包括前三步从CFG 到CNF的转换 规则来自《自然语言处理综论》 含有一个使用Perl tk制作的图形化界面
Stanford_Parser中文句法分析器使用教程
有良好的界面,提供简单的文法的词法分析和句法分析,词法分析输出符号表和词法分析结果,句法分析可以输出每一步的分析过程,功能强大清晰!
统计句法分析统计句法分析统计句法分析统计句法分析统计句法分析
自然语言理解,依存句法,句法分析,机器学习,人工智能
斯坦福大学句法分析 句法分析 语义分析,支持中文,比较好
句法分析的目标是分析输入句子并得到其句法结构,是自然语言处理领域的经典任务之一。目前针对该任务的研究主要集中于如何通过从数据中自动学习来提升句法分析器的精度。
句法分析器(C++)
句法分析,自然语言处理句法分析教程。。。。。。。。。
包括分析句子句法和生成句子两个功能 仅为示例程序,无应用价值^_^