論文の概要: When Learned Context Planning Fails to Beat Strong Retrieval: A Controlled Study of Planning, Routing, and Reranking for Long-Context QA
- arxiv url: http://arxiv.org/abs/2609.26976v1
- Date: Tue, 22 Sep 2026 19:12:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.737055
- Title: When Learned Context Planning Fails to Beat Strong Retrieval: A Controlled Study of Planning, Routing, and Reranking for Long-Context QA
- Title（参考訳）: 学習したコンテキストプランニングが強検索に勝る時--長期QAのための計画・ルーティング・リランクの制御された研究
- Abstract要約: 学習されたコンテキストプランニングは、それらに対する答えモデルが原因になる前に証拠原子を選択する。
この学習した選択が、強い検索、ルーティング、予算付きセレクタ、制御の再ランク付け後の長文多重選択QAを改善するかどうかを検証する。
- 参考スコア（独自算出の注目度）: 10.720985236309462
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learned context planning selects evidence atoms before an answer model reasons over them. We test whether this learned selection improves long-context multiple-choice QA after strong retrieval, routing, budgeted-selector, and reranking controls. Our primary diagnostic uses all 503 LongBench-v2 MCQ questions with Qwen2.5-7B-Instruct. The planner is SFT-trained on outcome-selected traces from 140 training and 28 development questions; because the 503-question analysis includes those questions, it is partly transductive. At an 18k-character budget, anchored hybrid retrieval reaches 36.18% accuracy and BM25 reaches 35.98%, while the best direct planner-guided method reaches 34.19%. On the untouched 152-question test split, anchored hybrid remains higher (42.11% versus 36.84%). Leakage-safe routers cannot convert a large oracle gap. Under tight budgets, the best planner is ahead by only 0.40 points at 6k and loses at 9k; planner-guided reranking has a +1.79-point estimate at 6k with a paired interval crossing zero and ties the control at 9k. Packing-order and score-flatness analyses did not identify a stable mechanism. Under this setup, learned planning is a weak relevance signal rather than a replacement for strong retrieval.
- Abstract（参考訳）: 学習されたコンテキストプランニングは、それらに対する答えモデルが原因になる前に証拠原子を選択する。
この学習した選択が、強い検索、ルーティング、予算付きセレクタ、制御の再ランク付け後の長文多重選択QAを改善するかどうかを検証する。
主診断はQwen2.5-7B-Instructを用いた503 LongBench-v2 MCQである。
プランナーは、140のトレーニングと28の開発質問から結果選択されたトレースに基づいてSFTで訓練されている。
18k文字の予算では、アンカー付きハイブリッド検索は36.18%、BM25は35.98%、最良の直接プランナー誘導法は34.19%である。
未接触の152回の試験では、固定されたハイブリッドの方が42.11%高い(36.84%)。
漏洩安全ルータは大きなオラクルギャップを変換できない。
厳格な予算の下では、最良のプランナーは6kで0.40ポイント、9kで敗れる。
パッケージ順およびスコアフラットネス分析では,安定なメカニズムは特定されなかった。
この設定の下では、学習計画は、強い検索の代替ではなく、弱い関連性信号である。
関連論文リスト
- Which Medical Questions Deserve Rationales? Perturbation-Sensitive Selection for Robust QA [12.797519888387628]
本稿では,ルート平均2乗ロバスト性に基づくサンプル優先化(RMS-RSP)を提案する。
RMS-RSPは5つのデータセットで同じ方向で平均1.91点と2.85点の堅牢な精度とセマンティック一貫性を改善する。
論文 参考訳（メタデータ） (2026-09-09T03:58:59Z) - FinExam-10K: When Retrieval Helps Financial Reasoning? [19.76339173724579]
FinExam-10Kはイングランドで最大のベンチマークである。
5,110の質問と5,088のシークエンサーを四半期のリーダーボードとしてリリースします。
17モデルで最高の精度は85.29%である。
論文 参考訳（メタデータ） (2026-08-28T10:16:14Z) - Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents [60.650808962786364]
外部判断や選択時間テストの実行なしに,ネイティブなMoEルータトレースがステアリングと選択をガイドできるかどうかを検討する。
我々の分析は、ルーティングが堅牢な行動的役割シグナルを提供することを示している。トークン・グラニュラ・リードアウトと決定整合比較セットは、ルーティングを効果的に制御する。
オープンウェイトスパースMOEエージェントを用いたSWEベンチ検証を行い,評価を行った。
論文 参考訳（メタデータ） (2026-08-23T03:07:03Z) - When Does Learning to Stop Help? A Cost-Aware Study of Early Exits in Reasoning Models [4.8190992438931035]
LearnStopは、プレフィックスオブザーバブルな機能の上に隠された状態のないロジスティックストッパーである。
学習は、答えが振動し、正しさの証拠が広がる場所を給与する。
コスト計算は、KVキャッシュでトークンを32%節約するのと同じ方針で、ブラックボックスの繰り返しプリフィルで121%余分なコストがかかる。
論文 参考訳（メタデータ） (2026-06-29T19:33:42Z) - Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。
我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。
GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
論文 参考訳（メタデータ） (2026-06-04T05:43:12Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳（メタデータ） (2026-05-17T07:08:14Z) - TEMPO: Scaling Test-time Training for Large Reasoning Models [87.61789183311856]
テストタイムトレーニング(TTT)は、推論時間中にラベルのないテストインスタンスにモデルパラメータを適用する。
TTTフレームワークであるTEMPOを提案する。これは、ラベル付きデータセット上で定期的な批評家の再検討を行い、ラベル付き質問に対するポリシー修正をインターリーブする。
論文 参考訳（メタデータ） (2026-04-21T10:01:04Z) - CoT2-Meta: Budgeted Metacognitive Control for Test-Time Reasoning [17.364321308755667]
CoT2-Metaはトレーニング不要なメタ認知推論フレームワークである。
オブジェクトレベルの連鎖生成と部分的推論軌道に対するメタレベルの制御を組み合わせる。
強いシングルパス、サンプリングベース、検索ベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-03-30T07:59:47Z) - Think Right: Learning to Mitigate Under-Over Thinking via Adaptive, Attentive Compression [68.69801176669843]
本稿では,冗長なステップを誘発し,難易度を推定するオンラインポストトレーニングRL手法を提案する。
TRAAC(Think Right with Adaptive, Attentive Compression)は、絶対精度が平均8.4%向上する。
我々のモデルは数学データセットに基づいて訓練されているが、分布外データセットの精度と効率性を示す。
論文 参考訳（メタデータ） (2025-10-02T02:00:20Z) - Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。
本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。
我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
論文 参考訳（メタデータ） (2023-05-01T02:37:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。