論文の概要: Efficient Context Selection for Long-Context QA: No Tuning, No Iteration, Just Adaptive-$k$

• arxiv url: http://arxiv.org/abs/2506.08479v1
• Date: Tue, 10 Jun 2025 06:11:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:41.653361
• Title: Efficient Context Selection for Long-Context QA: No Tuning, No Iteration, Just Adaptive-$k$
• Title（参考訳）: 長期QAのための効率的なコンテキスト選択:チューニングなし、イテレーションなし、ただのAdaptive-$k$
• Authors: Chihiro Taguchi, Seiji Maekawa, Nikita Bhutani,
• Abstract要約: 本稿では、クエリと候補パスの類似度スコアに基づいて、経路数を適応的に選択する、単純で効果的なシングルパス手法であるAdaptive-$k$を提案する。 モデルファインチューニング、余分なLCM推論、あるいは既存のレトリバー読み取りパイプラインの変更は不要である。 5つのLCLMと2つの埋め込みモデルで精度を向上し、動的にコンテキストサイズを調整することでより効率的で正確なQAが得られることを強調した。
• 参考スコア（独自算出の注目度）: 5.026348938624301
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation (RAG) and long-context language models (LCLMs) both address context limitations of LLMs in open-domain question answering (QA). However, optimal external context to retrieve remains an open problem: fixing the retrieval size risks either wasting tokens or omitting key evidence. Existing adaptive methods like Self-RAG and Self-Route rely on iterative LLM prompting and perform well on factoid QA, but struggle with aggregation QA, where the optimal context size is both unknown and variable. We present Adaptive-$k$ retrieval, a simple and effective single-pass method that adaptively selects the number of passages based on the distribution of the similarity scores between the query and the candidate passages. It does not require model fine-tuning, extra LLM inferences or changes to existing retriever-reader pipelines. On both factoid and aggregation QA benchmarks, Adaptive-$k$ matches or outperforms fixed-$k$ baselines while using up to 10x fewer tokens than full-context input, yet still retrieves 70% of relevant passages. It improves accuracy across five LCLMs and two embedding models, highlighting that dynamically adjusting context size leads to more efficient and accurate QA.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) と long-context Language Model (LCLM) はどちらも、オープンドメイン質問応答 (QA) における LLM のコンテキスト制限に対処する。 しかし、検索のための最適な外部コンテキストは未解決の問題であり、検索サイズの修正はトークンを浪費するか、キーエビデンスを省略するリスクがある。 既存のSelf-RAGやSelf-Routeのような適応的手法は、ファクトイドのQAを刺激し、うまく機能させるが、最適なコンテキストサイズが未知かつ可変であるような集約QAと競合する。 本稿では、クエリと候補パス間の類似度スコアの分布に基づいて、経路数を適応的に選択する、単純で効果的なシングルパス手法であるAdaptive-$k$検索を提案する。 モデルファインチューニング、余分なLCM推論、あるいは既存のレトリバー読み取りパイプラインの変更は不要である。 ファクトイドとアグリゲーションQAのベンチマークでは、Adaptive-$k$マッチまたは固定$k$ベースラインを上回り、フルコンテキスト入力の最大10倍のトークンを使用するが、関連するパスの70%は取り出す。 5つのLCLMと2つの埋め込みモデルで精度を向上し、動的にコンテキストサイズを調整することでより効率的で正確なQAが得られることを強調した。

関連論文リスト

• SAGE: A Framework of Precise Retrieval for RAG [9.889395372896153]
  Retrieval-augmented Generation (RAG) は,質問応答タスクの遂行に有意義な能力を示した。 RAGメソッドはセマンティクスを考慮せずにコーパスをセグメントし、関連するコンテキストを見つけるのが困難になる。 これらの制限を克服するために、RAGフレームワーク(SAGE)を導入します。
  論文  参考訳（メタデータ） (2025-03-03T16:25:58Z)
• PickLLM: Context-Aware RL-Assisted Large Language Model Routing [0.5325390073522079]
  PickLLMは、RL(Reinforcement Learning)を使用してオンザフライクエリを利用可能なモデルにルーティングする軽量フレームワークである。 学習速度の違いに対する収束の速度と,クエリ毎のコストや全体の応答遅延といったハードメトリクスの改善を実証する。
  論文  参考訳（メタデータ） (2024-12-12T06:27:12Z)
• Adaptive Query Rewriting: Aligning Rewriters through Marginal Probability of Conversational Answers [66.55612528039894]
  AdaQRは、シードデータセットからの限定的な書き直しアノテーションと完全にパスラベルのないクエリ書き換えモデルをトレーニングするフレームワークである。 会話クエリに条件付き回答の確率を用いて,これらの候補に対する検索者の嗜好を評価する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-16T16:09:05Z)
• SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
  大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。 SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。 様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
  論文  参考訳（メタデータ） (2024-04-17T01:15:54Z)
• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
  Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。 本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。 オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:52:30Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。