論文の概要: Minimize Exposure Bias of Seq2Seq Models in Joint Entity and Relation Extraction

• arxiv url: http://arxiv.org/abs/2009.07503v2
• Date: Tue, 6 Oct 2020 08:56:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 22:43:05.064511
• Title: Minimize Exposure Bias of Seq2Seq Models in Joint Entity and Relation Extraction
• Title（参考訳）: seq2seqモデルの接触バイアスの最小化と関係抽出
• Authors: Ranran Haoran Zhang, Qianying Liu, Aysa Xuemo Fan, Heng Ji, Daojian Zeng, Fei Cheng, Daisuke Kawahara and Sadao Kurohashi
• Abstract要約: 共同エンティティと関係抽出は、プレーンテキストから直接関係三重項を抽出することを目的としている。 本稿では、露出バイアスの影響を最小限に抑えるために、新しいSequence-to-Unordered-Multi-Tree(Seq2UMTree)モデルを提案する。
• 参考スコア（独自算出の注目度）: 57.22929457171352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Joint entity and relation extraction aims to extract relation triplets from plain text directly. Prior work leverages Sequence-to-Sequence (Seq2Seq) models for triplet sequence generation. However, Seq2Seq enforces an unnecessary order on the unordered triplets and involves a large decoding length associated with error accumulation. These introduce exposure bias, which may cause the models overfit to the frequent label combination, thus deteriorating the generalization. We propose a novel Sequence-to-Unordered-Multi-Tree (Seq2UMTree) model to minimize the effects of exposure bias by limiting the decoding length to three within a triplet and removing the order among triplets. We evaluate our model on two datasets, DuIE and NYT, and systematically study how exposure bias alters the performance of Seq2Seq models. Experiments show that the state-of-the-art Seq2Seq model overfits to both datasets while Seq2UMTree shows significantly better generalization. Our code is available at https://github.com/WindChimeRan/OpenJERE .
• Abstract（参考訳）: 共同エンティティと関係抽出は、プレーンテキストから直接関係三重項を抽出することを目的としている。 先行研究は三重項列生成にシーケンシャル・ツー・シーケンス(seq2seq)モデルを活用する。 しかし、seq2seqは無順序三重項に対して不要な順序を強制し、エラーの蓄積に伴う大きな復号長を伴っている。 これらは露出バイアスをもたらし、モデルが頻繁なラベルの組み合わせに過剰に適合する可能性があるため、一般化を損なう。 本稿では,三重項内の3つに復号長を制限し,三重項間の順序を除去することにより,露出バイアスの影響を最小限に抑える新しいSequence-to-Unordered-Multi-Tree(Seq2UMTree)モデルを提案する。 我々は,DuIEとNYTの2つのデータセット上でモデルを評価し,露出バイアスがSeq2Seqモデルの性能に与える影響を系統的に検討した。 実験によると、最先端のSeq2Seqモデルは両方のデータセットにオーバーフィットし、Seq2UMTreeははるかに優れた一般化を示している。 私たちのコードはhttps://github.com/WindChimeRan/OpenJEREで利用可能です。

関連論文リスト

• S2F-NER: Exploring Sequence-to-Forest Generation for Complex Entity Recognition [47.714230389689064]
  本研究では、フォレストデコーダを介して文中のエンティティを直接抽出できる新しいシーケンス・ツー・フォレスト生成パラダイムS2F-NERを提案する。 具体的には,各樹木の最大深度が3である森林において,各樹木の各経路を自己回帰的に生成する。 このパラダイムに基づいて、我々のモデルは露出バイアス問題をエレガントに緩和し、Seq2Seqの単純さを維持することができる。
  論文  参考訳（メタデータ） (2023-10-29T09:09:10Z)
• Joint Entity and Relation Extraction with Span Pruning and Hypergraph Neural Networks [58.43972540643903]
  PLマーカ(最先端マーカーベースピプレリンモデル)上に構築されたEREのためのHyperGraphニューラルネットワーク(hgnn$)を提案する。 エラーの伝播を軽減するため,NERモジュールからのエンティティ識別とラベル付けの負担をモデルのジョイントモジュールに転送するために,ハイリコールプルーナー機構を用いる。 EREタスクに広く使用されている3つのベンチマークの実験は、以前の最先端のPLマーカーよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-10-26T08:36:39Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
  本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。 本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
  論文  参考訳（メタデータ） (2022-11-15T05:22:40Z)
• Conditional set generation using Seq2seq models [52.516563721766445]
  条件セット生成は、トークンの入力シーケンスからセットへのマッピングを学習する。 シーケンス・ツー・シーケンス(Seq2seq)モデルは、モデルセット生成において一般的な選択である。 本稿では,ラベル順序空間上の情報的順序を効果的に抽出する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-25T04:17:50Z)
• Joint Entity and Relation Extraction with Set Prediction Networks [24.01964730210045]
  我々は,結合実体と関係抽出を直接セット予測問題として扱う。 一定の順序で三重項を一つずつ生成する自己回帰アプローチとは異なり、提案したネットワークは1ショットで三重項の最終セットを直接出力する。 2つのベンチマークデータセットによる実験により,提案モデルが現在の最先端手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2020-11-03T13:04:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。