論文の概要: DISCO: Distributed Long Context Scaling with Grounding-Reasoning Disaggregation
- arxiv url: http://arxiv.org/abs/2609.33485v1
- Date: Sun, 27 Sep 2026 11:52:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 16:26:01.353788
- Title: DISCO: Distributed Long Context Scaling with Grounding-Reasoning Disaggregation
- Title（参考訳）: DISCO: グラウンド推論による分散ロングコンテキストスケーリング
- Abstract要約: Distributed Long Context Scaling (DISCO)によるグラウンドディング・推論・デアグリゲーション
Apache Sparkのような分散コンピューティングフレームワークにインスパイアされたdisCOは、並列でローカライズされたグラウンド専用のWorker LLM群をまたいだ長いコンテキストを分割する。
RULER-QA(1Mトークン)では、標準ベースラインが崩壊した場合の精度は78.4%である。
これはLongBench v2で最大9.8ポイントを分離し、Gemini-3-Pro-Previewのようなフロンティアモデルと一致し、推論コストを80%以上削減することで、フルコンテキストモデルを上回った。
- 参考スコア（独自算出の注目度）: 73.18483348526895
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While Large Language Models (LLMs) advertise million-token context windows, reasoning quality often collapses as inputs grow -- a phenomenon termed context rot. This failure stems from a structural entanglement in monolithic architectures, where the massive search burden of contextual grounding exhausts the representational capacity needed for complex reasoning. To resolve this, we propose Grounding-Reasoning Disaggregation via DIStributed long COntext scaling (DISCO). Inspired by distributed computing frameworks like Apache Spark, DISCO partitions long context across a fleet of Worker LLMs dedicated exclusively to parallel, localized grounding. A central Driver LLM, trained via Reinforcement Learning (GRPO) to optimize planning, orchestrates execution by dynamically mapping queries into atomic extraction tasks and reducing the gathered evidence to synthesize a final answer. By isolating reasoning from raw context noise, DISCO effectively eliminates context rot. On RULER-QA (1M tokens), it maintains 78.4% accuracy where standard baselines collapse. Furthermore, it outperforms full-context models by up to 9.8 points on LongBench v2 and matches frontier models like Gemini-3-Pro-Preview while reducing inference costs by over 80%, establishing a highly efficient paradigm for robust long-context inference.
- Abstract（参考訳）: 大規模言語モデル(LLM)が100万のコンテキストウインドウを宣伝する一方で、入力が大きくなるにつれて、推論品質が崩壊することがある。
この失敗はモノリシックなアーキテクチャにおける構造的絡み合いに起因しており、複雑な推論に必要な表現能力は、文脈的グラウンドリングの膨大な探索負担によって枯渇する。
そこで本研究では,distributed long COntext Scaling (DISCO) によるグラウンドリング・推論・デアグリゲーション(Gunding-Reasoning Disaggregation)を提案する。
Apache Sparkのような分散コンピューティングフレームワークにインスパイアされたdisCOは、並列でローカライズされたグラウンド専用のWorker LLM群をまたいだ長いコンテキストを分割する。
計画最適化のために強化学習(GRPO)を介してトレーニングされた中央ドライバLLMは、クエリを動的にアトミック抽出タスクにマッピングし、収集されたエビデンスを減らして最終回答を合成することで実行をオーケストレーションする。
生のコンテキストノイズから推論を分離することにより、disCOはコンテキストの腐りを効果的に排除する。
RULER-QA(1Mトークン)では、標準ベースラインが崩壊した場合の精度は78.4%である。
さらに、LongBench v2で最大9.8ポイント、Gemini-3-Pro-Previewのようなフロンティアモデルと比較し、推論コストを80%以上削減し、堅牢な長文推論のための高効率なパラダイムを確立する。
関連論文リスト
- ConvMem: Convolutional Memory for Long-Context Reasoning [18.597196274231553]
ConvMemは、長文推論を階層的な畳み込みとして再構成する、トレーニング不要で高度に並列化可能なフレームワークである。
ConvMemはトレーニング不要のベースラインよりも優れており、分散タスクにおけるパラメトリックな事前処理に過度に適合するリスクを回避している。
論文 参考訳（メタデータ） (2026-09-09T16:53:02Z) - RepoReasoner: Evaluating Repository-Level Code Reasoning Ability of Long-Context Language Models [54.53236295237077]
リポジトリレベルのコード推論を評価するベンチマークであるRepoReasonerを紹介します。
出力予測は、ファイル間でのきめ細かいステートフルな実行推論を計測します。
Call Chain Predictionは、ノイズの多いコンテキスト下での高レベルのアーキテクチャ依存性の理解を評価する。
論文 参考訳（メタデータ） (2026-07-28T17:12:41Z) - IS-CoT: Breaking the Long-form Generation Collapse via Interleaved Structural Thinking [50.381430711141995]
本稿では,Interleaved Structure Chain-of-Thought (IS-CoT) フレームワークを紹介する。
IS-CoTは動的Plan-Write-Reflectサイクルを生成プロセスに埋め込む。
我々は、多教師パイプラインを介して、インターリーブされた推論トレースの高品質なデータセットを構築し、IS-Writer-8Bを訓練する。
論文 参考訳（メタデータ） (2026-06-08T16:31:00Z) - Short Chains, Deep Thoughts: Balancing Reasoning Efficiency and Intra-Segment Capability via Split-Merge Optimization [68.89915707647138]
大規模推論モデル(LRM)は、長い推論連鎖の生成を通じて複雑なタスクを解く際、印象的な能力を示した。
textbfCoSMo(textbfSplit-textbfMerge textbfOptimization)を提案する。
論文 参考訳（メタデータ） (2026-02-03T05:54:28Z) - MTraining: Distributed Dynamic Sparse Attention for Efficient Ultra-Long Context Training [23.925430484357975]
MTrainingは、超長期のコンテキストを持つ大規模言語モデルをトレーニングするための分散方法論である。
MTrainingは動的スパーストレーニングパターン、バランスの取れたスパースリングアテンション、階層的なスパースリングアテンションを統合している。
MTrainingは、モデルの精度を維持しながら、最大で6倍のトレーニングスループットを達成する。
論文 参考訳（メタデータ） (2025-10-21T17:25:32Z) - LLM-guided Hierarchical Retrieval [54.73080745446999]
LATTICEは階層的な検索フレームワークであり、LLMは対数探索の複雑さで大きなコーパスを推論し、ナビゲートすることができる。
LLM誘導探索における中心的な課題は、モデルの関連性判断がノイズが多く、文脈に依存し、階層性に気付かないことである。
我々のフレームワークは、推論集約型BRIGHTベンチマークで最先端のゼロショット性能を実現する。
論文 参考訳（メタデータ） (2025-10-15T07:05:17Z) - Joint Enhancement of Relational Reasoning for Long-Context LLMs [39.679627202160425]
大規模言語モデル(LLM)は、メモリ制限と、複雑で長いコンテキストのタスクに対処できないため、長いコンテキストに苦しむ。
グラフベースの推論による長文理解を強化するための新しいフレームワークである textbfJERR を提案する。
論文 参考訳（メタデータ） (2025-08-28T01:54:47Z) - When Does Divide and Conquer Work for Long Context LLM? A Noise Decomposition Framework [39.66331560468973]
本稿では,Large Language Models (LLM) を長文に適用することの課題について検討する。
本稿では,長いコンテキストタスクの障害モードを,クロスチャンク依存(タスクノイズ),コンテキストサイズで大きくなる混乱(モデルノイズ),部分的な結果の完全統合(集約ノイズ)の3つのカテゴリに分類する理論的枠組みを提案する。
論文 参考訳（メタデータ） (2025-06-19T15:49:34Z) - ParallelComp: Parallel Long-Context Compressor for Length Extrapolation [51.68913021512016]
超長い文脈(テキスト長 >128K)の補間は、大きな言語モデル(LLM)にとって大きな課題である。
本研究では,メモリボトルネックを効果的に克服する並列長コンテキスト圧縮手法であるParallelCompを提案する。
チャンクスループットが1.76倍向上し、プリフィル段階では23.50倍の高速化を実現し、性能損失を無視できる。
論文 参考訳（メタデータ） (2025-02-20T07:10:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。