論文の概要: TTM-RE: Memory-Augmented Document-Level Relation Extraction

• arxiv url: http://arxiv.org/abs/2406.05906v1
• Date: Sun, 9 Jun 2024 20:18:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 17:28:18.733418
• Title: TTM-RE: Memory-Augmented Document-Level Relation Extraction
• Title（参考訳）: TTM-RE: メモリ拡張ドキュメンテーション-レベル関係抽出
• Authors: Chufan Gao, Xuan Wang, Jimeng Sun,
• Abstract要約: 本稿では,トケンチューリングマシン(Token Turing Machine)と呼ばれるトレーニング可能なメモリモジュールをノイズロス関数と統合したTTM-REを提案する。 文書レベルの関係抽出のためのベンチマークデータセットであるReDocREDの実験により、TTM-REが最先端のパフォーマンスを達成することが明らかになった。
• 参考スコア（独自算出の注目度）: 30.142461633461394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Document-level relation extraction aims to categorize the association between any two entities within a document. We find that previous methods for document-level relation extraction are ineffective in exploiting the full potential of large amounts of training data with varied noise levels. For example, in the ReDocRED benchmark dataset, state-of-the-art methods trained on the large-scale, lower-quality, distantly supervised training data generally do not perform better than those trained solely on the smaller, high-quality, human-annotated training data. To unlock the full potential of large-scale noisy training data for document-level relation extraction, we propose TTM-RE, a novel approach that integrates a trainable memory module, known as the Token Turing Machine, with a noisy-robust loss function that accounts for the positive-unlabeled setting. Extensive experiments on ReDocRED, a benchmark dataset for document-level relation extraction, reveal that TTM-RE achieves state-of-the-art performance (with an absolute F1 score improvement of over 3%). Ablation studies further illustrate the superiority of TTM-RE in other domains (the ChemDisGene dataset in the biomedical domain) and under highly unlabeled settings.
• Abstract（参考訳）: 文書レベルの関係抽出は、文書内の任意の2つのエンティティ間の関連を分類することを目的としている。 従来の文書レベルの関係抽出手法は,ノイズレベルの異なる大量のトレーニングデータの潜在能力を最大限に活用するには有効ではない。 例えば、ReDocREDベンチマークデータセットでは、大規模で、低品質で、遠くに監督されたトレーニングデータに基づいてトレーニングされた最先端のメソッドは、一般的に、より小さく、高品質で、人間にアノテートされたトレーニングデータのみにトレーニングされたトレーニングデータよりもパフォーマンスが良くない。 文書レベルの関係抽出のための大規模ノイズ学習データの可能性を最大限に活用するために,Token Turing Machineと呼ばれるトレーニング可能なメモリモジュールと,正のラベル付き設定を考慮に入れたノイズロス関数を統合したTTM-REを提案する。 文書レベルの関係抽出のためのベンチマークデータセットであるReDocREDの大規模な実験により、TTM-REは最先端のパフォーマンスを達成する(絶対的なF1スコアの改善は3%以上)。 アブレーション研究は、他のドメイン(バイオメディカルドメインのChemDisGeneデータセット)におけるTTM-REの優位性と、高度にラベル付けされていない設定下での優位性をさらに説明している。

関連論文リスト

• Importance-Aware Data Augmentation for Document-Level Neural Machine Translation [51.74178767827934]
  ドキュメントレベルのニューラルマシン翻訳(DocNMT)は、一貫性と結合性の両方を持つ翻訳を生成することを目的としている。 長い入力長とトレーニングデータの可用性が限られているため、DocNMTはデータスパシティーの課題に直面していることが多い。 本稿では,隠れ状態のノルムとトレーニング勾配から推定したトークン重要度情報に基づいてトレーニングデータを拡張するDocNMTのための新しいIADAアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-27T09:27:47Z)
• Consistency Guided Knowledge Retrieval and Denoising in LLMs for Zero-shot Document-level Relation Triplet Extraction [43.50683283748675]
  文書レベルの関係トリプルト抽出(DocRTE)は、文書から意味的関係を持つエンティティを同時に抽出することを目的とした情報システムの基本課題である。 既存の手法は、かなりの量の完全なラベル付きデータに依存している。 ChatGPTやLLaMAのような最近の先進言語モデル(LLM)は、素晴らしい長文生成能力を示している。
  論文  参考訳（メタデータ） (2024-01-24T17:04:28Z)
• Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
  合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。 実験結果から,本手法は既存手法よりも一貫した改善が得られた。 我々の手法はデータ効率が良く、競争のベースラインより優れています。
  論文  参考訳（メタデータ） (2023-11-27T06:19:50Z)
• Document-Level In-Context Few-Shot Relation Extraction via Pre-Trained Language Models [29.94694305204144]
  本稿では,文書レベルのインコンテクスト・イン・ショット関係抽出のための新しいフレームワークを提案する。 ドキュメントレベルの関係抽出用データセットとして最大であるDocREDを用いて,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2023-10-17T09:10:27Z)
• A Unified Positive-Unlabeled Learning Framework for Document-Level Relation Extraction with Different Levels of Labeling [5.367772036988716]
  文書レベルの関係抽出(RE)は、複数の文にわたるエンティティ間の関係を特定することを目的としている。 我々は、シフトと二乗ランキング損失という、肯定的でない統一的な学習フレームワークを提案する。 提案手法は, 既往のベースラインに対して, 不完全ラベル付きで約14F1点の改善を実現する。
  論文  参考訳（メタデータ） (2022-10-17T02:54:49Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Denoising Relation Extraction from Document-level Distant Supervision [92.76441007250197]
  本稿では,文書レベルのDSデータを複数の事前学習タスクで認知するDocREのための新しい事前学習モデルを提案する。 大規模DocREベンチマーク実験の結果,ノイズの多いDSデータから有用な情報を抽出し,有望な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-11-08T02:05:25Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。