論文の概要: Beyond the Context Window: An Adaptive Entropy-Based Routing Framework for Hybrid Retrieval and Long-Context Language Models
- arxiv url: http://arxiv.org/abs/2609.35831v1
- Date: Wed, 23 Sep 2026 16:09:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.854228
- Title: Beyond the Context Window: An Adaptive Entropy-Based Routing Framework for Hybrid Retrieval and Long-Context Language Models
- Title（参考訳）: コンテキストウィンドウを超えて:ハイブリッド検索および長期言語モデルのための適応エントロピーベースのルーティングフレームワーク
- Abstract要約: 本稿では,検索したチャンクからの問合せに応答するか,あるいは完全長文処理にエスカレーションするかを推測時間で決定するフレームワークを提案する。
Entropy-Driven Adaptive Router (EDAR) は、検索したチャンクからクエリに応答するか、あるいはそれを完全なロングコンテキスト処理にエスカレーションするかを推論時に決定する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern large language models now support context windows of more than one million tokens, which has raised the question of whether retrieval-augmented generation (RAG) is still necessary. Pure long-context (LC) processing is expensive and is known to under-attend to information placed in the middle of long inputs, while pure RAG is fast but bounded by retrieval quality and prone to errors when retrieved chunks are partially relevant or contradictory. We propose the Entropy-Driven Adaptive Router (EDAR), a framework that decides at inference time whether to answer a query from retrieved chunks or to escalate it to full long-context processing. The decision uses the predictive entropy of the token-level probability distribution computed over the first few generated tokens of the RAG response. The entropy threshold is selected on a held-out validation set by sweeping cost against accuracy. Experiments compare EDAR against pure-RAG and pure-LC baselines on LongBench v2 and Infinity-Bench. Predictive entropy correlates strongly with hallucination rate on a held-out set of 2,000 generations (Pearson r = 0.85, 95% CI [0.83, 0.87]). On the long-context benchmarks, EDAR retains 97.4% of the accuracy of the pure long-context baseline while reducing total token expenditure by 70.7%, escalating only 18.2% of incoming queries. The accuracy gap between EDAR and the pure long-context system is not statistically distinguishable from zero at standard sample sizes. Predictive entropy is a useful model-internal signal for routing between RAG and long-context inference, and a threshold-based hybrid system can recover most of the accuracy of long-context models at a small fraction of the cost. The framework does not depend on a specific retriever or LC backbone, and it does not require additional supervision beyond what is normally produced during decoding.
- Abstract（参考訳）: 現代の大規模言語モデルは100万以上のトークンのコンテキストウィンドウをサポートしており、検索強化世代(RAG)がまだ必要かどうかという疑問が持ち上がっている。
純粋な長いコンテキスト(LC)処理は高価であり、長い入力の中央に置かれる情報に過小評価されることが知られているが、純粋なRAGは高速だが、検索品質によって境界付けられ、検索されたチャンクが部分的に関連づけられたり矛盾する場合にはエラーが生じる。
提案するEntropy-Driven Adaptive Router (EDAR, Entropy-Driven Adaptive Router) は,検索したチャンクからの問合せに応答するか,あるいは完全長文処理にエスカレーションするかを推論時に決定するフレームワークである。
この決定は、RAG応答の最初の数個の生成されたトークン上で計算されたトークンレベルの確率分布の予測エントロピーを使用する。
エントロピー閾値は、精度に対してコストを削減して保持された検証セットに選択される。
実験では、EDARとLongBench v2とInfinity-Benchの純RAGおよび純LCベースラインを比較した。
予測エントロピーは2000世代(ピアソン r = 0.85, 95% CI [0.83, 0.87])の保留集合上での幻覚率と強く相関する。
長文ベンチマークでは、EDARは純粋な長文ベースラインの精度の97.4%を維持し、トークンの総支出を70.7%削減し、入力クエリの18.2%しかエスカレートしていない。
EDARと純粋な長文システムとの精度ギャップは、標準サンプルサイズでゼロと統計的に区別できない。
予測エントロピーは、RAGと長文推論のルーティングに有用なモデル内信号であり、しきい値に基づくハイブリッドシステムは、長文モデルの精度のほとんどを、わずかなコストで回復することができる。
このフレームワークは特定のレトリバーやLCバックボーンに依存しておらず、復号時に通常発生するもの以外の追加の監督を必要としない。
関連論文リスト
- Know Before You Fetch: Calibrated Retrieval-Budget Allocation for Retrieval-Augmented Generation [10.60293484295824]
適応RAGをキャリブレーションした検索予算配分として定式化する。
シーケンスログの確率とプレフィックスログの不確実性信号を正しさの確率に調整する。
シーケンスログの確率については、TriviaQAでは0.275から0.062に、NQでは0.643から0.009に、MS MARCOでは0.711から0.031に低下する。
論文 参考訳（メタデータ） (2026-06-29T08:36:33Z) - RAVEN: A Regime-Aware Variable-context Expert Network for Financial Time Series Forecasting [83.06074370551887]
固定コンテキストウィンドウは、非定常価格プロセスの時間変化最適振り返りと一致しない。
本稿では,各サンプルの時間的文脈を適応的に決定するMixture-of-Expertsフレームワークを提案する。
累積ログリターン予測(HS300、S&P500)およびファンド販売予測の実験では、RAVENはSOTAのパフォーマンスを達成し、HS300ではピアソン相関を9.2%改善し、S&P500では20.2%改善し、MSEを18.2%削減している。
論文 参考訳（メタデータ） (2026-06-23T02:11:04Z) - EndPrompt: Efficient Long-Context Extension via Terminal Anchoring [62.81677226065374]
本稿では,短いトレーニングシーケンスのみを用いて,効果的なコンテキスト拡張を実現する手法であるEndPromptを提案する。
我々は、元の短いコンテキストを無傷の第1セグメントとして保存し、短い端末プロンプトを第2セグメントとして追加し、ターゲットコンテキスト長の近傍に位置指標を割り当てる。
エンドプロンプトの平均RULERスコアは76.03で、LongBenchでは最高であり、LCEG(72.24)、LongLoRA(72.95)、フル長のファインチューニングを上回っている。
論文 参考訳（メタデータ） (2026-05-14T09:00:03Z) - Can QPP Choose the Right Query Variant? Evaluating Query Variant Selection for RAG Pipelines [48.34524144147475]
LLM(Large Language Models)は、現代の検索やRAG(Retrieval-Augmented Generation)パイプラインにおいて、クエリ再構成を至るところで実現している。
本稿では、アドホック検索とエンドツーエンドRAGをまたいで、クエリ性能予測(QPP)を異種選択のメカニズムとして検討する。
論文 参考訳（メタデータ） (2026-04-24T15:36:40Z) - Shuffle the Context: RoPE-Perturbed Self-Distillation for Long-Context Adaptation [86.62036852878354]
大規模言語モデル(LLM)は、信頼性の高い長文理解を必要とする設定でますます運用される。
位置ロバスト性を向上させるトレーニングレギュレータであるRoPE-Perturbed Self-Distillationを提案する。
Llama-3-8BとQwen-3-4Bの長文適応実験は、長文ベンチマークにおいて一貫した利得を示す。
論文 参考訳（メタデータ） (2026-04-15T18:46:35Z) - L-RAG: Balancing Context and Retrieval with Entropy-Based Lazy Loading [0.0]
Reval-Augmented Generation (RAG) は、大規模言語のアウトプットを現実の知識で基礎づける主要なパラダイムとして登場した。
本稿では,エントロピーゲーティングによる階層型コンテキスト管理を実現する適応型フレームワークL-RAGを紹介する。
L-RAGはより効率的なRAGデプロイメントに向けた実践的でトレーニングなしのアプローチを提供する。
論文 参考訳（メタデータ） (2026-01-10T12:25:19Z) - TARG: Training-Free Adaptive Retrieval Gating for Efficient RAG [46.122203287541005]
トレーニングフリーのAdaptive Retrieval Gating (TARG) は、ベースモデルからの短い非遅延ドラフトのみを使用していつ取得するかを決定する、単発のポリシーである。
NQ-Open、TriviaQA、PopQAでは、TARGは一貫して精度と効率のフロンティアをシフトさせる。
論文 参考訳（メタデータ） (2025-11-12T23:09:52Z) - Reading Between the Timelines: RAG for Answering Diachronic Questions [8.969698902720799]
我々は、時間論理を注入するためにRAGパイプラインを根本的に再設計する新しいフレームワークを提案する。
提案手法は回答精度を大幅に向上し,標準RAG実装を13%から27%上回る結果となった。
この研究はRAGシステムに対する検証された経路を提供し、複雑な現実世界の質問に必要とされるニュアンス付き進化分析を行うことができる。
論文 参考訳（メタデータ） (2025-07-21T05:19:41Z) - Squeezed Attention: Accelerating Long Context Length LLM Inference [61.787865959140994]
本稿では,入力コンテキストの大部分を固定したアプリケーションを高速化するために,Squeezed Attentionを提案する。
推論中、ユーザ入力からのクエリトークンとセントロイドを比較し、固定されたコンテキストからどのキーが意味論的に関連しているかを予測する。
また,線形から対数的への注意の複雑さを,固定した文脈長に対して低減できる階層型アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-11-14T18:54:19Z) - UncertaintyRAG: Span-Level Uncertainty Enhanced Long-Context Modeling for Retrieval-Augmented Generation [93.38604803625294]
IncertaintyRAG, a novel approach for long-context Retrieval-Augmented Generation (RAG)について紹介する。
我々は、SNR(Signal-to-Noise Ratio)ベースのスパン不確実性を用いて、テキストチャンク間の類似性を推定する。
不確かさRAGはLLaMA-2-7Bでベースラインを2.03%上回り、最先端の結果を得る。
論文 参考訳（メタデータ） (2024-10-03T17:39:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。