博客
关于我
ACL 2020 | 基于机器阅读理解框架的命名实体识别方法
阅读量:184 次
发布时间:2019-02-28

本文共 1313 字,大约阅读时间需要 4 分钟。

基于机器阅读理解的命名实体识别框架

摘要

本文提出一种基于机器阅读理解(MRC)的框架,用于统一处理嵌套与非嵌套命名实体识别(NER)问题。该方法通过将NER任务转化为问答形式,利用BERT模型提取上下文信息,显著提升了嵌套NER的性能。在8个中英数据集上,实验结果表明该方法在嵌套任务中大幅超越现有最优结果,同时在非嵌套任务中也表现优越。本文还分析了不同问题构建策略、模型提升来源、零样本迁移能力以及训练集规模对NER性能的影响,为NER框架的设计提供了新的思路。


引言

近年来,命名实体识别(NER)技术在自然语言处理领域取得了显著进展,但大部分研究集中于“非嵌套型”NER(Flat NER)。然而,在实际应用中,“嵌套型”NER(Nested NER)占据了重要比例。传统的序列标注模型难以处理嵌套结构的NER任务,导致实体抽取的错误率较高。

为了解决这一问题,本文提出了一种基于MRC框架的统一NER解决方案。该框架通过将NER任务转化为问答形式,利用BERT模型的上下文理解能力,统一处理Flat NER与Nested NER任务。


方法

1. MRC框架概述

我们将NER任务转化为问答形式,例如抽取PER类型实体的任务可以转化为“文本中提到的哪个人?”的问题。输入到BERT模型中的上下文信息包括问题和文本片段,模型输出实体的起始和终止位置。

2. 数据构建

  • 问题构建:针对每个实体标签(如PER、LOC等),设计一个具体的问题。例如,标注说明为“标注说明:标注所有提到的地点”。
  • 实例三元组:将问题、答案和上下文结合,形成(Question, Answer, Context)三元组。
  • 模型输入:将问题和文本片段输入BERT模型,提取上下文表示。
  • 3. 模型细节

  • 预训练模型:使用BERT模型作为主体,提取文本片段的上下文表示。
  • 实体检测:通过预训练模型生成开始位置和结束位置的概率分布,提取可能的实体片段。
  • 实体分类:对提取的实体片段进行分类,确定其具体实体类型。

  • 实验结果

    1. Nested NER实验

    在ACE2004、ACE2005、GENIA、KBP2017等数据集上,MRC方法显著优于传统pipeline模型,提升了Nested NER的性能。

    2. Flat NER实验

    在CoNLL2003、OntoNotes5.0、MSRA等数据集上,MRC方法在多数实体类型上取得了更好的效果,尤其是在数据稀疏任务中表现突出。

    3. 比对实验

  • 提升来源:实验表明,MRC方法的提升主要来自于问题编码的先验知识,而非BERT模型本身。
  • 问题构建策略:通过实验验证,“标注说明”作为问题构建策略效果最佳。
  • 零样本迁移:在标签迁移任务中,MRC方法表现显著优于传统Tagger模型。
  • 训练集规模:即使训练集规模较小,MRC方法仍能达到Tagger模型的最优性能。

  • 结论

    本文提出了一种基于MRC框架的统一NER解决方案,显著提升了嵌套与非嵌套NER的性能。该方法简洁高效,适用于多种NER任务,并在中英数据集上取得了优异的实验结果。未来的研究可以进一步优化问题构建策略和模型架构,以应对更复杂的NER场景。

    转载地址:http://zdoj.baihongyu.com/

    你可能感兴趣的文章
    npm error MSB3428: 未能加载 Visual C++ 组件“VCBuild.exe”。要解决此问题,1) 安装
    查看>>
    npm install CERT_HAS_EXPIRED解决方法
    查看>>
    npm install digital envelope routines::unsupported解决方法
    查看>>
    npm install 卡着不动的解决方法
    查看>>
    npm install 报错 EEXIST File exists 的解决方法
    查看>>
    npm install 报错 ERR_SOCKET_TIMEOUT 的解决方法
    查看>>
    npm install 报错 Failed to connect to github.com port 443 的解决方法
    查看>>
    npm install 报错 fatal: unable to connect to github.com 的解决方法
    查看>>
    npm install 报错 no such file or directory 的解决方法
    查看>>
    npm install 权限问题
    查看>>
    npm install报错,证书验证失败unable to get local issuer certificate
    查看>>
    npm install无法生成node_modules的解决方法
    查看>>
    npm install的--save和--save-dev使用说明
    查看>>
    npm node pm2相关问题
    查看>>
    npm run build 失败Compiler server unexpectedly exited with code: null and signal: SIGBUS
    查看>>
    npm run build报Cannot find module错误的解决方法
    查看>>
    npm run build部署到云服务器中的Nginx(图文配置)
    查看>>
    npm run dev 和npm dev、npm run start和npm start、npm run serve和npm serve等的区别
    查看>>
    npm run dev 报错PS ‘vite‘ 不是内部或外部命令,也不是可运行的程序或批处理文件。
    查看>>
    npm scripts 使用指南
    查看>>