論文の概要: CAFE: Retrieval Head-based Coarse-to-Fine Information Seeking to Enhance Multi-Document QA Capability

• arxiv url: http://arxiv.org/abs/2505.10063v1
• Date: Thu, 15 May 2025 08:05:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.235438
• Title: CAFE: Retrieval Head-based Coarse-to-Fine Information Seeking to Enhance Multi-Document QA Capability
• Title（参考訳）: CAFE:複数文書のQA能力を高めるための検索型ヘッドベース粗偽情報
• Authors: Han Peng, Jinhao Jiang, Zican Dong, Wayne Xin Zhao, Lei Fang,
• Abstract要約: 複数文書の問合せ能力を向上させるための2段階の粗大化手法である$textbfCAFE$を紹介した。 CAFEは、Mistralモデル上でのSFT法とRAG法よりも最大22.1%と13.7%のSubEM改善を実現している。
• 参考スコア（独自算出の注目度）: 55.46506909726119
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Advancements in Large Language Models (LLMs) have extended their input context length, yet they still struggle with retrieval and reasoning in long-context inputs. Existing methods propose to utilize the prompt strategy and retrieval head to alleviate this limitation. However, they still face challenges in balancing retrieval precision and recall, impacting their efficacy in answering questions. To address this, we introduce $\textbf{CAFE}$, a two-stage coarse-to-fine method to enhance multi-document question-answering capacities. By gradually eliminating the negative impacts of background and distracting documents, CAFE makes the responses more reliant on the evidence documents. Initially, a coarse-grained filtering method leverages retrieval heads to identify and rank relevant documents. Then, a fine-grained steering method guides attention to the most relevant content. Experiments across benchmarks show CAFE outperforms baselines, achieving up to 22.1% and 13.7% SubEM improvement over SFT and RAG methods on the Mistral model, respectively.
• Abstract（参考訳）: LLM(Large Language Models)の進歩は、入力コンテキストの長さを拡張したが、長いコンテキスト入力における検索と推論に苦戦している。 既存の手法では,この制限を緩和するために,プロンプト戦略と検索ヘッドを利用する方法が提案されている。 しかし、彼らは依然として、検索精度とリコールのバランスをとることの難しさに直面する。 これを解決するために,多文書質問応答能力を高めるための2段階粗大化法である$\textbf{CAFE}$を導入する。 背景のネガティブな影響を徐々に排除し、文書の邪魔をすることで、CAFEは証拠文書により依存する。 当初、粗粒度フィルタリング法は、検索ヘッドを利用して関連文書の識別とランク付けを行う。 そして、微細なステアリング法により、最も関連性の高いコンテンツに注意を向ける。 ベンチマークによる実験では、CAFEは、それぞれMistralモデル上のSFT法とRAG法よりも22.1%と13.7%のSubEMの改善を達成し、ベースラインを上回っている。

関連論文リスト

• Document Attribution: Examining Citation Relationships using Large Language Models [62.46146670035751]
  そこで本研究では,帰属を簡単なテキスト・エンタテインメント・タスクとみなすゼロショット・アプローチを提案する。 また,アトリビューションプロセスの強化におけるアテンションメカニズムの役割についても検討する。
  論文  参考訳（メタデータ） (2025-05-09T04:40:11Z)
• SUNAR: Semantic Uncertainty based Neighborhood Aware Retrieval for Complex QA [2.7703990035016868]
  SUNARは、大規模言語モデルを利用して、近隣の認識検索プロセスをガイドする新しいアプローチである。 2つの複雑なQAデータセットに関する広範な実験を通じて、我々のアプローチを検証する。 以上の結果から,SUNARは既存の検索と推論のベースラインを大幅に上回り,最大31.84%の性能向上を実現している。
  論文  参考訳（メタデータ） (2025-03-23T08:50:44Z)
• Vietnamese Legal Information Retrieval in Question-Answering System [0.0]
  Retrieval Augmented Generation (RAG)は,大規模言語モデル(LLM)の能力向上に大きく貢献している。 しかしながら、RAGはいくつかの課題のためにベトナム語に適用されると、しばしば不足する。 本報告では,これらの課題に対処するための3つの主な修正点を紹介する。
  論文  参考訳（メタデータ） (2024-09-05T02:34:05Z)
• QPaug: Question and Passage Augmentation for Open-Domain Question Answering of LLMs [5.09189220106765]
  オープンドメイン問合せタスクのための大規模言語モデル(LLM)を介してQPaug(Q and passage augmentation)と呼ばれるシンプルで効率的な手法を提案する。 実験の結果,QPaugは従来の最先端技術よりも優れており,既存のRAG法よりも大きな性能向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-06-20T12:59:27Z)
• Read and Think: An Efficient Step-wise Multimodal Language Model for Document Understanding and Reasoning [0.0]
  既存の文書理解モデルは、1つの単語やフレーズで直接答えを生成する傾向がある。 文書画像の段階的問合せ対を生成するためにMLLM(Multi-modal Large Language Models)を用いる。 次に、生成された高品質なデータを使用して、DocAssistantと呼ばれる、人間化された文書理解と推論モデルをトレーニングします。
  論文  参考訳（メタデータ） (2024-02-26T01:17:50Z)
• Strong and Efficient Baselines for Open Domain Conversational Question Answering [2.773656427800412]
  The State-of-the-Art (SotA) Dense Passage Retrieval (DPR) retriever and Fusion-in-Decoder (FiD) reader pipeline。 本稿では,レシーバとリーダの間に高速なリグレードコンポーネントを導入することで,強力でシンプルで効率的なベースラインを提案し,評価する。 TopiOCQA と OR-QuAC という2つの ODConvQA タスクの実験により,本手法が SotA 結果を改善するとともに,読み出し遅延を60%削減することを示した。
  論文  参考訳（メタデータ） (2023-10-23T08:48:14Z)
• Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
  Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。 CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。 MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
  論文  参考訳（メタデータ） (2023-04-06T22:16:53Z)
• Augmenting Document Representations for Dense Retrieval with Interpolation and Perturbation [49.940525611640346]
  ドキュメント拡張(Document Augmentation for dense Retrieval)フレームワークは、ドキュメントの表現をDense Augmentationとperturbationsで強化する。 2つのベンチマークデータセットによる検索タスクにおけるDARの性能評価を行い、ラベル付き文書とラベルなし文書の密集検索において、提案したDARが関連するベースラインを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-03-15T09:07:38Z)
• Pre-training Tasks for Embedding-based Large-scale Retrieval [68.01167604281578]
  本稿では,大規模クエリ文書検索問題について考察する。 クエリ(例えば質問)が与えられたら、関連するドキュメントのセットを大きなドキュメントコーパスから返します。 本稿では, 組込み型トランスフォーマーモデルの学習の鍵となる要素が, 事前学習作業のセットであることを示す。
  論文  参考訳（メタデータ） (2020-02-10T16:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。