論文の概要: Diagnosing and Mitigating Context Rot in Long-horizon Search
- arxiv url: http://arxiv.org/abs/2606.29718v1
- Date: Mon, 29 Jun 2026 02:53:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.024911
- Title: Diagnosing and Mitigating Context Rot in Long-horizon Search
- Title（参考訳）: 長軸探索におけるコンテキストロートの検出と緩和
- Abstract要約: 我々は,腐った現象とその緩和戦略の解明を目指して,深層探索のシナリオに焦点を当てた。
広義の文脈は、モデルに不確実な答えを諦めたり、早めに与えたりする。
回転認識型フィルタリング手法を開発し,その有効性を3つのアグリゲーション法で示す。
- 参考スコア（独自算出の注目度）: 27.78341478407496
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Extensive context has become the norm as Large Language Models (LLMs) are increasingly deployed in long-horizon tasks. The concern that increasing context length degrades model capabilities, known as context rot, has become a central issue for these applications. In this paper, we focus on deep search scenarios, aiming to investigate the rot phenomenon and its mitigation strategies. By evaluating four flagship open-source models across three benchmarks, we reveal a prevalent but unnoticed rot phenomenon: extensive context causes models to directly give up or prematurely provide uncertain answers, and this issue is exacerbated as the context grows. Through pruning experiments, we demonstrate the relationship between the accumulated context and the rot phenomenon. Furthermore, we investigate mitigating this issue through context management and post-hoc rejection sampling. For context management, we systematically evaluate seven different methods across three categories, based on performance, cost, and impact on context rot, providing clear guidance for strategy selection and usage. For rejection sampling, we develop a rot-aware filtering strategy and demonstrate its effectiveness across three aggregation methods. Finally, we show that these two approaches can be combined for further performance improvements.
- Abstract（参考訳）: 大規模言語モデル(LLM)が長期的タスクにますますデプロイされるにつれて、広範にわたるコンテキストが標準になっています。
コンテキスト長の増加がコンテキストロートとして知られるモデル能力を低下させるという懸念は、これらのアプリケーションにとって重要な問題となっている。
本稿では,腐朽現象とその緩和戦略を検討することを目的とした,深層探索のシナリオに焦点を当てた。
3つのベンチマークで4つのフラッグシップ・オープンソース・モデルを評価することで、広義のコンテキストによってモデルが直接、または早々に不確実な回答を与え、コンテキストが大きくなるにつれてこの問題は悪化する。
刈り取り実験により,蓄積した文脈と腐った現象の関係を実証した。
さらに、コンテキスト管理とポストホックリジェクションサンプリングによるこの問題の軽減について検討する。
文脈管理においては,3つのカテゴリにまたがる7つの異なる手法を系統的に評価する。
提案手法は, 3つのアグリゲーション法にまたがって, 回転認識型フィルタリング手法を開発し, その有効性を実証する。
最後に、これらの2つのアプローチを組み合わせることで、さらなるパフォーマンス向上が期待できることを示す。
関連論文リスト
- Hit-RAG: Learning to Reason with Long Contexts via Preference Alignment [97.55382322103986]
Hit-RAGは認知的ボトルネックを解決するために設計された多段階の優先順位調整フレームワークである。
本手法は,3つの異なる段階を通じて外部証拠の利用を体系的に改善する。
論文 参考訳（メタデータ） (2026-03-07T04:05:27Z) - Think Longer to Explore Deeper: Learn to Explore In-Context via Length-Incentivized Reinforcement Learning [53.58654277639939]
文脈内探索(In-context Exploring)は、単一の連続した文脈内で仮説を生成、検証、洗練する本質的な能力である。
本稿では,モデルにさらなる探索を促すLongth-Incentivized Explorationを提案する。
提案手法は、ドメイン内タスクの平均4.4%改善と、ドメイン外ベンチマークの2.7%向上を実現している。
論文 参考訳（メタデータ） (2026-02-12T09:24:32Z) - ARC: Active and Reflection-driven Context Management for Long-Horizon Information Seeking Agents [9.76162701959422]
ARCは、コンテキスト管理を体系的に定式化するフレームワークである。
実行中にコンテキストを動的内部推論状態として扱う。
パッシブ・コンテクスト・コンテクスト・コンプレックス・メソッドよりも一貫して優れています。
論文 参考訳（メタデータ） (2026-01-17T12:17:50Z) - MIRAGE: Misleading Retrieval-Augmented Generation via Black-box and Query-agnostic Poisoning Attacks [47.46936341268548]
Retrieval-Augmented Generation (RAG)システムでは、コーパス中毒という致命的な攻撃面が導入されている。
我々は,厳格なブラックボックスとクエリ非依存環境のために設計された,新しい多段階毒素パイプラインであるMIRAGEを提案する。
大規模な実験により、MIRAGEは攻撃効果とステルスネスの両方において既存のベースラインを著しく上回っていることが示された。
論文 参考訳（メタデータ） (2025-12-09T06:38:16Z) - Grounding Long-Context Reasoning with Contextual Normalization for Retrieval-Augmented Generation [57.97548022208733]
キー値抽出における表面的選択が精度と安定性のシフトを引き起こすことを示す。
生成前の文脈表現を適応的に標準化する戦略であるコンテキスト正規化を導入する。
論文 参考訳（メタデータ） (2025-10-15T06:28:25Z) - Beyond RAG vs. Long-Context: Learning Distraction-Aware Retrieval for Efficient Knowledge Grounding [5.353135097018941]
Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) を外部の最新の情報に基盤付けるためのフレームワークである。
本稿では,適応型検索システムLDAR(Learning Distraction-Aware Retrieval)を提案する。
論文 参考訳（メタデータ） (2025-09-26T04:40:42Z) - A Controlled Study on Long Context Extension and Generalization in LLMs [85.4758128256142]
広義のテキスト理解とテキスト内学習は、完全な文書コンテキストを利用する言語モデルを必要とする。
長期コンテキストモデルを直接訓練する際の実装上の課題のため、長期コンテキストを扱うためにモデルを拡張する多くの方法が提案されている。
我々は,一貫したベースモデルと拡張データを利用して,標準化された評価による拡張メソッドの制御プロトコルを実装した。
論文 参考訳（メタデータ） (2024-09-18T17:53:17Z) - QUITO-X: A New Perspective on Context Compression from the Information Bottleneck Theory [75.81394991657545]
問題をモデル化するために情報ボトルネック理論(IB)を導入する。
IBにおける相互情報に近似するクロスアテンションに基づく手法を提案する。
提案手法は,最先端技術と比較して25%の圧縮率向上を実現している。
論文 参考訳（メタデータ） (2024-08-20T02:44:45Z) - READ: Improving Relation Extraction from an ADversarial Perspective [33.44949503459933]
関係抽出(RE)に特化して設計された対角的学習法を提案する。
提案手法では,シーケンスレベルの摂動とトークンレベルの摂動の両方をサンプルに導入し,個別の摂動語彙を用いてエンティティとコンテキストの摂動の探索を改善する。
論文 参考訳（メタデータ） (2024-04-02T16:42:44Z) - How Far are We from Effective Context Modeling? An Exploratory Study on
Semantic Parsing in Context [59.13515950353125]
文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。
我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
論文 参考訳（メタデータ） (2020-02-03T11:28:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。