博客
关于我
ACL 2020 | 基于机器阅读理解框架的命名实体识别方法
阅读量:184 次
发布时间:2019-02-28

本文共 1313 字,大约阅读时间需要 4 分钟。

基于机器阅读理解的命名实体识别框架

摘要

本文提出一种基于机器阅读理解(MRC)的框架,用于统一处理嵌套与非嵌套命名实体识别(NER)问题。该方法通过将NER任务转化为问答形式,利用BERT模型提取上下文信息,显著提升了嵌套NER的性能。在8个中英数据集上,实验结果表明该方法在嵌套任务中大幅超越现有最优结果,同时在非嵌套任务中也表现优越。本文还分析了不同问题构建策略、模型提升来源、零样本迁移能力以及训练集规模对NER性能的影响,为NER框架的设计提供了新的思路。


引言

近年来,命名实体识别(NER)技术在自然语言处理领域取得了显著进展,但大部分研究集中于“非嵌套型”NER(Flat NER)。然而,在实际应用中,“嵌套型”NER(Nested NER)占据了重要比例。传统的序列标注模型难以处理嵌套结构的NER任务,导致实体抽取的错误率较高。

为了解决这一问题,本文提出了一种基于MRC框架的统一NER解决方案。该框架通过将NER任务转化为问答形式,利用BERT模型的上下文理解能力,统一处理Flat NER与Nested NER任务。


方法

1. MRC框架概述

我们将NER任务转化为问答形式,例如抽取PER类型实体的任务可以转化为“文本中提到的哪个人?”的问题。输入到BERT模型中的上下文信息包括问题和文本片段,模型输出实体的起始和终止位置。

2. 数据构建

  • 问题构建:针对每个实体标签(如PER、LOC等),设计一个具体的问题。例如,标注说明为“标注说明:标注所有提到的地点”。
  • 实例三元组:将问题、答案和上下文结合,形成(Question, Answer, Context)三元组。
  • 模型输入:将问题和文本片段输入BERT模型,提取上下文表示。
  • 3. 模型细节

  • 预训练模型:使用BERT模型作为主体,提取文本片段的上下文表示。
  • 实体检测:通过预训练模型生成开始位置和结束位置的概率分布,提取可能的实体片段。
  • 实体分类:对提取的实体片段进行分类,确定其具体实体类型。

  • 实验结果

    1. Nested NER实验

    在ACE2004、ACE2005、GENIA、KBP2017等数据集上,MRC方法显著优于传统pipeline模型,提升了Nested NER的性能。

    2. Flat NER实验

    在CoNLL2003、OntoNotes5.0、MSRA等数据集上,MRC方法在多数实体类型上取得了更好的效果,尤其是在数据稀疏任务中表现突出。

    3. 比对实验

  • 提升来源:实验表明,MRC方法的提升主要来自于问题编码的先验知识,而非BERT模型本身。
  • 问题构建策略:通过实验验证,“标注说明”作为问题构建策略效果最佳。
  • 零样本迁移:在标签迁移任务中,MRC方法表现显著优于传统Tagger模型。
  • 训练集规模:即使训练集规模较小,MRC方法仍能达到Tagger模型的最优性能。

  • 结论

    本文提出了一种基于MRC框架的统一NER解决方案,显著提升了嵌套与非嵌套NER的性能。该方法简洁高效,适用于多种NER任务,并在中英数据集上取得了优异的实验结果。未来的研究可以进一步优化问题构建策略和模型架构,以应对更复杂的NER场景。

    转载地址:http://zdoj.baihongyu.com/

    你可能感兴趣的文章
    numpy数组索引-ChatGPT4o作答
    查看>>
    numpy最大值和最大值索引
    查看>>
    NUMPY矢量化np.prod不能构造具有超过32个操作数的ufunc
    查看>>
    Numpy矩阵与通用函数
    查看>>
    numpy绘制热力图
    查看>>
    numpy转PIL 报错TypeError: Cannot handle this data type
    查看>>
    Numpy闯关100题,我闯了95关,你呢?
    查看>>
    nump模块
    查看>>
    Nutch + solr 这个配合不错哦
    查看>>
    NuttX 构建系统
    查看>>
    NutUI:京东风格的轻量级 Vue 组件库
    查看>>