論文の概要: End-to-End Trainable Soft Retriever for Low-resource Relation Extraction

• arxiv url: http://arxiv.org/abs/2406.03790v1
• Date: Thu, 6 Jun 2024 07:01:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 16:09:36.693371
• Title: End-to-End Trainable Soft Retriever for Low-resource Relation Extraction
• Title（参考訳）: 低リソース関係抽出のためのエンド・ツー・エンド訓練ソフトレトリバー
• Authors: Kohei Makino, Makoto Miwa, Yutaka Sasaki,
• Abstract要約: 本研究は,テキスト生成モデルを用いたインスタンスベースの関係抽出における重要な課題に対処する。 本稿では, ニューラルプロンプト法により, エンド・ツー・エンドのトラインブル・ソフトKアネレスト・リトリーバー (ETRASK) を提案する。
• 参考スコア（独自算出の注目度）: 7.613942320502336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study addresses a crucial challenge in instance-based relation extraction using text generation models: end-to-end training in target relation extraction task is not applicable to retrievers due to the non-differentiable nature of instance selection. We propose a novel End-to-end TRAinable Soft K-nearest neighbor retriever (ETRASK) by the neural prompting method that utilizes a soft, differentiable selection of the $k$ nearest instances. This approach enables the end-to-end training of retrievers in target tasks. On the TACRED benchmark dataset with a low-resource setting where the training data was reduced to 10\%, our method achieved a state-of-the-art F1 score of 71.5\%. Moreover, ETRASK consistently improved the baseline model by adding instances for all settings. These results highlight the efficacy of our approach in enhancing relation extraction performance, especially in resource-constrained environments. Our findings offer a promising direction for future research with extraction and the broader application of text generation in natural language processing.
• Abstract（参考訳）: 本研究は、テキスト生成モデルを用いたインスタンスベースの関係抽出において重要な課題である: 対象関係抽出タスクにおけるエンドツーエンドのトレーニングは、インスタンス選択の非微分性のため、検索者に適用できない。 本稿では,$k$ 近いインスタンスのソフトで差別化可能な選択を利用したニューラルプロンプト法により,新しいエンド・ツー・エンドトラインブル・ソフト K-アレスト近傍検索器 (ETRASK) を提案する。 このアプローチにより、ターゲットタスクにおける検索者のエンドツーエンドのトレーニングが可能になる。 トレーニングデータを10\%に削減した低リソース環境でのTACREDベンチマークデータセットでは,最先端のF1スコアが71.5\%に達した。 さらに、ETRASKはすべての設定にインスタンスを追加することで、ベースラインモデルを一貫して改善した。 これらの結果は,特に資源制約環境において,関係抽出性能を高めるためのアプローチの有効性を浮き彫りにしている。 本研究は,自然言語処理におけるテキスト生成の幅広い応用と抽出による今後の研究に期待できる方向を提供する。

関連論文リスト

• Learning to Retrieve Iteratively for In-Context Learning [56.40100968649039]
  イテレーティブ検索は、ポリシー最適化によるイテレーティブな意思決定を可能にする、新しいフレームワークである。 テキスト内学習例を構成するための反復型検索器をインスタンス化し,様々な意味解析タスクに適用する。 ステートエンコーディングのためのパラメータを4M追加するだけで、オフザシェルフの高密度レトリバーをステートフル反復レトリバーに変換する。
  論文  参考訳（メタデータ） (2024-06-20T21:07:55Z)
• Dense X Retrieval: What Retrieval Granularity Should We Use? [56.90827473115201]
  しばしば見過ごされる設計選択は、コーパスが索引付けされる検索単位である。 本稿では,高密度検索のための新しい検索ユニット,命題を提案する。 実験により、提案のような細粒度単位によるコーパスのインデックス付けは、検索タスクにおける通過レベル単位を著しく上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-12-11T18:57:35Z)
• Causal Feature Selection via Transfer Entropy [59.999594949050596]
  因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。 本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。 精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
  論文  参考訳（メタデータ） (2023-10-17T08:04:45Z)
• PromptRE: Weakly-Supervised Document-Level Relation Extraction via Prompting-Based Data Programming [30.597623178206874]
  本稿では,文書レベルの関係抽出手法であるPromptREを提案する。 PromptREは、ラベルの配布とエンティティタイプを事前知識として組み込んでパフォーマンスを向上させる。 文書レベルの関係抽出のためのベンチマークデータセットであるReDocREDの実験結果は、ベースラインアプローチよりもPromptREの方が優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-13T17:23:17Z)
• Recommender Systems with Generative Retrieval [58.454606442670034]
  本稿では,対象候補の識別子を自己回帰的に復号する新たな生成検索手法を提案する。 そのために、各項目のセマンティックIDとして機能するために、意味論的に意味のあるコードワードを作成します。 提案手法を用いて学習した推薦システムは,様々なデータセット上での現在のSOTAモデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-08T21:48:17Z)
• EDeR: A Dataset for Exploring Dependency Relations Between Events [12.215649447070664]
  人間アノテーション付きイベント依存関係データセット(EDeR)を紹介する。 この関係を認識することで、より正確なイベント抽出が可能になることを示す。 我々は,3方向の分類を必須引数,任意引数,あるいは非議論に予測することは,より困難な課題であることを示した。
  論文  参考訳（メタデータ） (2023-04-04T08:07:07Z)
• On-the-fly Text Retrieval for End-to-End ASR Adaptation [9.304386210911822]
  本稿では,部分的ASR仮説に対して,外部テキストコーパスから可算完了を抽出する検索言語モデルを用いてトランスデューサベースのASRモデルを強化することを提案する。 実験の結果,提案モデルにより,一対の質問応答データセット上でのトランスデューサベースラインの性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-03-20T08:54:40Z)
• AugTriever: Unsupervised Dense Retrieval and Domain Adaptation by Scalable Data Augmentation [44.93777271276723]
  擬似クエリドキュメントペアを作成することにより,アノテーションフリーでスケーラブルなトレーニングを可能にする2つのアプローチを提案する。 クエリ抽出方法は、元のドキュメントから有能なスパンを選択して擬似クエリを生成する。 転送クエリ生成方法は、要約などの他のNLPタスクのために訓練された生成モデルを使用して、擬似クエリを生成する。
  論文  参考訳（メタデータ） (2022-12-17T10:43:25Z)
• PCRED: Zero-shot Relation Triplet Extraction with Potential Candidate Relation Selection and Entity Boundary Detection [11.274924966891842]
  ゼロショット関係三重項抽出(ZeroRTE)は、非構造化テキストから関係三重項を抽出することを目的としている。 従来の最先端の手法は、事前訓練された言語モデルを利用して、追加のトレーニングサンプルとしてデータを生成することで、この困難なタスクを処理する。 我々は,この課題を新たな視点から解決し,候補関係選択とエンティティ境界検出を併用した PCRED for ZeroRTE という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-26T04:27:31Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting [84.9716460244444]
  我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。 2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
  論文  参考訳（メタデータ） (2020-02-18T06:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。