論文の概要: A Reality Check on Context Utilisation for Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2412.17031v1
• Date: Sun, 22 Dec 2024 14:16:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:01:01.232991
• Title: A Reality Check on Context Utilisation for Retrieval-Augmented Generation
• Title（参考訳）: 検索型生成における文脈利用の実態調査
• Authors: Lovisa Hagström, Sara Vera Marjanović, Haeun Yu, Arnav Arora, Christina Lioma, Maria Maistro, Pepa Atanasova, Isabelle Augenstein,
• Abstract要約: DRUID (Dataset of Retrieved Untrieved Unliable, Insufficient and Difficult-to-understand contexts) を導入し、実世界のクエリやコンテキストを手動でアノテートする。 このデータセットは、現実世界の証拠の自動検索が不可欠である自動クレーム検証のタスクに基づいている。 合成データセットは、実検索データで稀な文脈特性を誇張し、拡張された文脈利用結果をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 44.54803681476863
• License:
• Abstract: Retrieval-augmented generation (RAG) helps address the limitations of the parametric knowledge embedded within a language model (LM). However, investigations of how LMs utilise retrieved information of varying complexity in real-world scenarios have been limited to synthetic contexts. We introduce DRUID (Dataset of Retrieved Unreliable, Insufficient and Difficult-to-understand contexts) with real-world queries and contexts manually annotated for stance. The dataset is based on the prototypical task of automated claim verification, for which automated retrieval of real-world evidence is crucial. We compare DRUID to synthetic datasets (CounterFact, ConflictQA) and find that artificial datasets often fail to represent the complex and diverse real-world context settings. We show that synthetic datasets exaggerate context characteristics rare in real retrieved data, which leads to inflated context utilisation results, as measured by our novel ACU score. Moreover, while previous work has mainly focused on singleton context characteristics to explain context utilisation, correlations between singleton context properties and ACU on DRUID are surprisingly small compared to other properties related to context source. Overall, our work underscores the need for real-world aligned context utilisation studies to represent and improve performance in real-world RAG settings.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、言語モデル(LM)に埋め込まれたパラメトリック知識の限界に対処する。 しかし、実世界のシナリオにおける様々な複雑さの情報をLMがどのように活用するかに関する調査は、合成文脈に限られている。 DRUID (Dataset of Retrieved Untrieved Unliable, Insufficient and Difficult-to-understand contexts) を導入し、実世界のクエリやコンテキストを手動でアノテートする。 このデータセットは、現実世界の証拠の自動検索が不可欠である自動クレーム検証の原型的タスクに基づいている。 我々はDRUIDと合成データセット(CounterFact, ConflictQA)を比較し、人工データセットが複雑で多様な実世界のコンテキスト設定を表現できないことが多いことを発見した。 合成データセットは、実検索データで稀な文脈特性を誇張し、新しいACUスコアによって測定された、拡張された文脈利用結果をもたらすことを示す。 さらに、従来の研究はコンテキスト利用を説明するためにシングルトンコンテキスト特性に重点を置いてきたが、DRUID上のシングルトンコンテキスト特性とACUとの相関は、コンテキストソースに関連する他の特性と比較して驚くほど小さい。 我々の研究は、実世界のRAG設定におけるパフォーマンスを表現・改善するために、実世界のコンテキスト活用研究の必要性を浮き彫りにしている。

関連論文リスト

• Understanding Synthetic Context Extension via Retrieval Heads [51.8869530817334]
  本稿では,検索と推論を必要とする3つの長文タスクに対する合成データの微調整について検討する。 合成データに基づいてトレーニングされたモデルは、実際のデータには及ばないが、驚くべきことに、ミスマッチを解釈できる。 我々の結果は、合成データの微調整性能の解釈方法と、長期にわたる実世界の能力学習のためのより良いデータ作成方法に光を当てた。
  論文  参考訳（メタデータ） (2024-10-29T17:55:00Z)
• SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
  Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。 SFR-RAG(SFR-RAG)について述べる。 また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
  論文  参考訳（メタデータ） (2024-09-16T01:08:18Z)
• CRoW: Benchmarking Commonsense Reasoning in Real-World Tasks [29.35269979211728]
  CRoWは,6つの実世界のNLPタスクの文脈において,コモンセンス推論を適用するモデルの能力を評価するベンチマークである。 我々は、CRoWを用いて、NLPシステムが、物理的、時間的、社会的推論など、さまざまなコモンセンス知識の次元でどのように機能するかを研究する。 実世界のタスク設定において,NLPシステムが人間に比べてCRoW上で評価される場合,コモンセンス推論が解決されるには程遠いことを示す。
  論文  参考訳（メタデータ） (2023-10-23T18:00:23Z)
• Zero-Shot Video Moment Retrieval from Frozen Vision-Language Models [58.17315970207874]
  モーメント・テキストアライメントを容易にするため、任意のVLMから一般化可能なビジュアル・テクスチャの事前適応のためのゼロショット手法を提案する。 3つのVMRベンチマークデータセットで実施された実験は、ゼロショットアルゴリズムの顕著なパフォーマンス上の利点を示している。
  論文  参考訳（メタデータ） (2023-09-01T13:06:50Z)
• Explicit Context Integrated Recurrent Neural Network for Sensor Data Applications [0.0]
  Context Integrated RNN (CiRNN) は、コンテキスト特徴の形式で表現された明示的なコンテキストの統合を可能にする。 実験では、最先端モデルよりもそれぞれ39%と87%の改善が見られた。
  論文  参考訳（メタデータ） (2023-01-12T13:58:56Z)
• TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual Environments [84.6017003787244]
  本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。 既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
  論文  参考訳（メタデータ） (2022-08-16T20:46:08Z)
• Automatically Generating Counterfactuals for Relation Exaction [18.740447044960796]
  関係抽出(RE)は自然言語処理の基本課題である。 現在のディープニューラルモデルは高い精度を達成しているが、スプリアス相関の影響を受けやすい。 我々は、エンティティの文脈的反事実を導出するための新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2022-02-22T04:46:10Z)
• Learning from Context or Names? An Empirical Study on Neural Relation Extraction [112.06614505580501]
  テキストにおける2つの主要な情報ソースの効果について検討する:テキストコンテキストとエンティティ参照(名前) 本稿では,関係抽出のための実体型コントラスト事前学習フレームワーク(RE)を提案する。 我々のフレームワークは、異なるREシナリオにおけるニューラルモデルの有効性と堅牢性を改善することができる。
  論文  参考訳（メタデータ） (2020-10-05T11:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。