論文の概要: End-to-End Trainable Retrieval-Augmented Generation for Relation Extraction

• arxiv url: http://arxiv.org/abs/2406.03790v2
• Date: Thu, 10 Oct 2024 07:36:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-11 14:28:45.030705
• Title: End-to-End Trainable Retrieval-Augmented Generation for Relation Extraction
• Title（参考訳）: 関係抽出のためのエンド・ツー・エンド学習型検索生成
• Authors: Kohei Makino, Makoto Miwa, Yutaka Sasaki,
• Abstract要約: ETRAG(End-to-end Trainable Retrieval-Augmented Generation)を提案する。 ETRAGは、関係抽出の目的のために、レトリバーを含むモデル全体のエンドツーエンドの最適化を可能にする。 我々は,関係抽出の標準ベンチマークであるTACREDデータセット上でのETRAGの関係抽出性能を評価する。
• 参考スコア（独自算出の注目度）: 7.613942320502336
• License:
• Abstract: This paper addresses a crucial challenge in retrieval-augmented generation-based relation extractors; the end-to-end training is not applicable to conventional retrieval-augmented generation due to the non-differentiable nature of instance retrieval. This problem prevents the instance retrievers from being optimized for the relation extraction task, and conventionally it must be trained with an objective different from that for relation extraction. To address this issue, we propose a novel End-to-end Trainable Retrieval-Augmented Generation (ETRAG), which allows end-to-end optimization of the entire model, including the retriever, for the relation extraction objective by utilizing a differentiable selection of the $k$ nearest instances. We evaluate the relation extraction performance of ETRAG on the TACRED dataset, which is a standard benchmark for relation extraction. ETRAG demonstrates consistent improvements against the baseline model as retrieved instances are added. Furthermore, the analysis of instances retrieved by the end-to-end trained retriever confirms that the retrieved instances contain common relation labels or entities with the query and are specialized for the target task. Our findings provide a promising foundation for future research on retrieval-augmented generation and the broader applications of text generation in Natural Language Processing.
• Abstract（参考訳）: 本論文は, 検索強化型関係抽出器における重要な課題を取り上げ, 従来の検索強化型関係抽出器には適用できない。 この問題は、リレーショナル抽出タスクにインスタンスレトリバーが最適化されることを防ぎ、従来、リレーショナル抽出と異なる目的でトレーニングする必要がある。 この問題に対処するため,提案するETRAG(End-to-end Trainable Retrieval-Augmented Generation)を提案する。 我々は,関係抽出の標準ベンチマークであるTACREDデータセット上でのETRAGの関係抽出性能を評価する。 ETRAGは、検索されたインスタンスが追加されるにつれて、ベースラインモデルに対して一貫した改善を示す。 さらに、エンドツーエンドの訓練された検索者によって検索されたインスタンスの分析により、検索されたインスタンスは、クエリと共通の関係ラベルまたはエンティティを含み、ターゲットタスクに特化していることを確認した。 本研究は,自然言語処理における検索強化生成とテキスト生成の幅広い応用に関する将来的な研究基盤を提供する。

関連論文リスト

• Learning to Retrieve Iteratively for In-Context Learning [56.40100968649039]
  イテレーティブ検索は、ポリシー最適化によるイテレーティブな意思決定を可能にする、新しいフレームワークである。 テキスト内学習例を構成するための反復型検索器をインスタンス化し,様々な意味解析タスクに適用する。 ステートエンコーディングのためのパラメータを4M追加するだけで、オフザシェルフの高密度レトリバーをステートフル反復レトリバーに変換する。
  論文  参考訳（メタデータ） (2024-06-20T21:07:55Z)
• Dense X Retrieval: What Retrieval Granularity Should We Use? [56.90827473115201]
  しばしば見過ごされる設計選択は、コーパスが索引付けされる検索単位である。 本稿では,高密度検索のための新しい検索ユニット,命題を提案する。 実験により、提案のような細粒度単位によるコーパスのインデックス付けは、検索タスクにおける通過レベル単位を著しく上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-12-11T18:57:35Z)
• Causal Feature Selection via Transfer Entropy [59.999594949050596]
  因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。 本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。 精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
  論文  参考訳（メタデータ） (2023-10-17T08:04:45Z)
• PromptRE: Weakly-Supervised Document-Level Relation Extraction via Prompting-Based Data Programming [30.597623178206874]
  本稿では,文書レベルの関係抽出手法であるPromptREを提案する。 PromptREは、ラベルの配布とエンティティタイプを事前知識として組み込んでパフォーマンスを向上させる。 文書レベルの関係抽出のためのベンチマークデータセットであるReDocREDの実験結果は、ベースラインアプローチよりもPromptREの方が優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-13T17:23:17Z)
• Recommender Systems with Generative Retrieval [58.454606442670034]
  本稿では,対象候補の識別子を自己回帰的に復号する新たな生成検索手法を提案する。 そのために、各項目のセマンティックIDとして機能するために、意味論的に意味のあるコードワードを作成します。 提案手法を用いて学習した推薦システムは,様々なデータセット上での現在のSOTAモデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-08T21:48:17Z)
• EDeR: A Dataset for Exploring Dependency Relations Between Events [12.215649447070664]
  人間アノテーション付きイベント依存関係データセット(EDeR)を紹介する。 この関係を認識することで、より正確なイベント抽出が可能になることを示す。 我々は,3方向の分類を必須引数,任意引数,あるいは非議論に予測することは,より困難な課題であることを示した。
  論文  参考訳（メタデータ） (2023-04-04T08:07:07Z)
• On-the-fly Text Retrieval for End-to-End ASR Adaptation [9.304386210911822]
  本稿では,部分的ASR仮説に対して,外部テキストコーパスから可算完了を抽出する検索言語モデルを用いてトランスデューサベースのASRモデルを強化することを提案する。 実験の結果,提案モデルにより,一対の質問応答データセット上でのトランスデューサベースラインの性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-03-20T08:54:40Z)
• AugTriever: Unsupervised Dense Retrieval and Domain Adaptation by Scalable Data Augmentation [44.93777271276723]
  擬似クエリドキュメントペアを作成することにより,アノテーションフリーでスケーラブルなトレーニングを可能にする2つのアプローチを提案する。 クエリ抽出方法は、元のドキュメントから有能なスパンを選択して擬似クエリを生成する。 転送クエリ生成方法は、要約などの他のNLPタスクのために訓練された生成モデルを使用して、擬似クエリを生成する。
  論文  参考訳（メタデータ） (2022-12-17T10:43:25Z)
• PCRED: Zero-shot Relation Triplet Extraction with Potential Candidate Relation Selection and Entity Boundary Detection [11.274924966891842]
  ゼロショット関係三重項抽出(ZeroRTE)は、非構造化テキストから関係三重項を抽出することを目的としている。 従来の最先端の手法は、事前訓練された言語モデルを利用して、追加のトレーニングサンプルとしてデータを生成することで、この困難なタスクを処理する。 我々は,この課題を新たな視点から解決し,候補関係選択とエンティティ境界検出を併用した PCRED for ZeroRTE という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-26T04:27:31Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting [84.9716460244444]
  我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。 2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
  論文  参考訳（メタデータ） (2020-02-18T06:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。