論文の概要: SCOUT: Active Information Foraging for Long-Text Understanding with Decoupled Epistemic States
- arxiv url: http://arxiv.org/abs/2605.04496v1
- Date: Wed, 06 May 2026 04:55:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-07 18:41:07.649918
- Title: SCOUT: Active Information Foraging for Long-Text Understanding with Decoupled Epistemic States
- Title（参考訳）: SCOUT:Decoupled Epistemic Statesを用いた長期テキスト理解のためのアクティブ情報収集
- Abstract要約: 百万のスケールでLong-Text Understanding (LTU) を行うには、推論忠実度と計算効率のバランスをとる必要がある。
我々は、受動的処理からアクティブな情報処理に移行するLTUの新しいパラダイムであるSCOUTを提案する。
SCOUTは最先端のプロプライエタリモデルと一致し,トークン消費量を最大8倍に削減できることを示す。
- 参考スコア（独自算出の注目度）: 32.38821600314403
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-Text Understanding (LTU) at million-token scale requires balancing reasoning fidelity with computational efficiency. Frontier long-context LLMs can process millions of token contexts end-to-end, but they suffer from high token consumption and attention dilution. In parallel, specialized LTU agents often sacrifice fidelity through task-agnostic abstractions like graph construction or indexing. We identify a key insight for LTU: query-relevant information is typically sparse relative to the full document, so effective reasoning should rely on a query-sufficient subset rather than the entire context. To address this, we propose SCOUT, a new paradigm for LTU that shifts from passive processing to active information foraging. It treats the document as an explorable environment and answers from a compact, provenance-grounded epistemic state. Guided by state-level gap diagnosis, SCOUT adaptively alternates between coarse-to-fine exploration and anchored state updates that progressively contract its epistemic state toward query sufficiency. Experiments show that SCOUT matches state-of-the-art proprietary models while reducing token consumption by up to 8x. Moreover, SCOUT remains stable as context length scales, substantially alleviating the practical cost-performance trade-off.
- Abstract（参考訳）: 百万のスケールでLong-Text Understanding (LTU) を行うには、推論忠実度と計算効率のバランスをとる必要がある。
最先端の長期コンテキスト LLM は数百万のトークンコンテキストをエンドツーエンドで処理できるが、高いトークン消費と注意の希釈に悩まされる。
並行して、特殊なLTUエージェントは、グラフ構築やインデックス作成のようなタスク非依存の抽象化を通じて、忠実さを犠牲にすることが多い。
クエリ関連情報は通常、全ドキュメントに対して疎いので、効果的な推論は、コンテキスト全体ではなく、クエリに十分なサブセットに依存するべきです。
そこで本稿では,受動的処理からアクティブな情報処理に移行するLTUの新しいパラダイムであるSCOUTを提案する。
文書を探索可能な環境として扱い、コンパクトで先天的な状態から回答する。
SCOUTは、状態レベルのギャップ診断によって誘導され、粗大な探索と固定状態の更新を適応的に交互に切り替える。
実験の結果、SCOUTは最先端のプロプライエタリモデルと一致し、トークン消費量を最大8倍に削減した。
さらに、SCOUTはコンテキスト長の尺度として安定しており、実用的なコストパフォーマンストレードオフを大幅に軽減している。
関連論文リスト
- Agent-BRACE: Decoupling Beliefs from Actions in Long-Horizon Tasks via Verbalized State Uncertainty [70.43119366710778]
本稿では,Agens-BRACE: Agent Belief state Representation by Abstraction and Confidence Estimationを紹介する。
LLMエージェントを信頼状態モデルと政策モデルに分離し、強化学習を通じて協調的に最適化する手法である。
長期にわたる部分的に観察可能な言語環境において、平均して+14.5%の絶対的な改善を実現している。
論文 参考訳（メタデータ） (2026-05-12T02:37:04Z) - BenchOverflow: Measuring Overflow in Large Language Models via Plain-Text Prompts [0.16058099298620424]
本研究では,大言語モデル (LLM) の失敗モードについて検討する。
オーバーフローは通常のインタラクション設定で発生し、サービス提供コスト、レイテンシ、ユーザ間のパフォーマンス低下につながる可能性がある。
我々は、9つのプレーンテキストプロンプト戦略のモデルに依存しないベンチマークであるBenchOverflowを紹介した。
論文 参考訳（メタデータ） (2026-01-13T12:22:29Z) - APCE: Adaptive Progressive Context Expansion for Long Context Processing [0.5274824616260646]
本稿では,処理において最も重要な入力チャンクを選択するためのコンテキスト認識ソリューションとしてAPCEを提案する。
入力を直接操作することで、APCEは基盤となるハードウェアやスケーラブルな環境への厳格な依存から切り離される。
実験により,APCEの総密度ベースラインに比べて,APCEの総和性能は優れていた。
論文 参考訳（メタデータ） (2025-10-14T01:26:36Z) - A Controllable Examination for Long-Context Language Models [62.845852724511964]
本研究では,長文言語モデルを評価するベンチマークである$textbfLongBioBenchを紹介する。
その結果,ほとんどのモデルでは,検索結果に対する意味的理解や基礎的推論が不足していることが判明した。
我々のさらなる分析は、文脈的非コヒーレンスなど、既存の合成ベンチマークで採用されているいくつかの設計選択を示している。
論文 参考訳（メタデータ） (2025-06-03T14:23:06Z) - PowerAttention: Exponentially Scaling of Receptive Fields for Effective Sparse Attention [73.26995918610669]
大きな言語モデル(LLM)は、長いコンテキストを処理する場合の注意機構の二次的な複雑さによって、効率のボトルネックに直面します。
本稿では,効果的かつ完全なコンテキスト拡張を容易にする新しいスパークアテンション設計であるPowerAttentionを紹介する。
実験によると、PowerAttentionは既存の静的スパースアテンションメソッドを5sim 40%$で上回っている。
論文 参考訳（メタデータ） (2025-03-05T15:24:11Z) - Activation-aware Probe-Query: Effective Key-Value Retrieval for Long-Context LLMs Inference [56.71209737306054]
我々は,プローブ-textbfQuery を動的に決定し,関連する textbfKV ペアを推論するために利用する,トレーニングフリーの textbfActivation-aware アプローチである textbfActQKV を提案する。
Long-Bench と $infty$ Benchmarks の実験では、競合する推論品質とリソース効率を備えた最先端のパフォーマンスが実証されている。
論文 参考訳（メタデータ） (2025-02-19T08:50:44Z) - Pause-Tuning for Long-Context Comprehension: A Lightweight Approach to LLM Attention Recalibration [4.7429246847107835]
本稿では,長文入力の理解を深めるために注意を喚起する手法である停止チューニングを導入する。
提案手法では,ポーズトークンを人工的に挿入したデータセット上での言語モデルを微調整する。
本稿では,Needle-in-a-Haystackベンチマークを用いて,代替手法に対する停止チューニングを評価する。
論文 参考訳（メタデータ） (2025-02-01T21:47:15Z) - QUITO-X: A New Perspective on Context Compression from the Information Bottleneck Theory [75.81394991657545]
問題をモデル化するために情報ボトルネック理論(IB)を導入する。
IBにおける相互情報に近似するクロスアテンションに基づく手法を提案する。
提案手法は,最先端技術と比較して25%の圧縮率向上を実現している。
論文 参考訳（メタデータ） (2024-08-20T02:44:45Z) - NeedleBench: Evaluating LLM Retrieval and Reasoning Across Varying Information Densities [51.07379913779232]
NeedleBenchは、長いコンテキストタスクにおける検索と推論のパフォーマンスを評価するためのフレームワークである。
モデルの機能を厳格にテストするために、キーデータポイントをさまざまな深さに埋め込む。
実験の結果,Deep-R1やOpenAIのo3のような推論モデルは,情報密度シナリオにおける連続的な検索と推論に苦労していることがわかった。
論文 参考訳（メタデータ） (2024-07-16T17:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。