論文の概要: Training-Inference Consistent Segmented Execution for Long-Context LLMs

• arxiv url: http://arxiv.org/abs/2605.11744v1
• Date: Tue, 12 May 2026 08:23:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.705738
• Title: Training-Inference Consistent Segmented Execution for Long-Context LLMs
• Title（参考訳）: 長期LLMのためのトレーニング・推論一貫性セグメンテーション
• Authors: Xianpeng Shang, Jiang Li, Zehua Duo, Qianyi Cai, Xiangdong Su,
• Abstract要約: トランスフォーマーベースの大規模言語モデルは、長期コンテキスト生成において深刻なスケーラビリティの課題に直面している。 多くの推論効率の長いコンテキストメソッドは、推論時にのみ境界付きコンテキストやセグメントレベルの実行を採用することで効率を向上する。 トレーニング推論一貫性のあるセグメントレベル生成フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.59839783173245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based large language models face severe scalability challenges in long-context generation due to the computational and memory costs of full-context attention. Under practical computation and memory constraints, many inference-efficient long-context methods improve efficiency by adopting bounded-context or segment-level execution only during inference, while continuing to train models under full-context attention, resulting in a mismatch between training and inference execution and state-transition semantics. Based on this insight, we propose a training-inference consistent segment-level generation framework, in which training and inference follow the same segment-level forward execution semantics. During training, consistency with inference is enforced by restricting gradient propagation to KV states carried over from the immediately preceding segment, while permitting head-specific access to past KV states during the forward pass without involving them in gradient propagation. Across long-context benchmarks, our approach achieves performance comparable to full-context attention, while achieving competitive latency-memory trade-offs against strong inference-efficient baselines, and substantially improving scalability at very long context lengths (e.g., approximately 6x lower peak prefill memory at 128K compared to full-context attention with FlashAttention).
• Abstract（参考訳）: 変換器をベースとした大規模言語モデルは、完全コンテキスト注意の計算とメモリコストのため、長期コンテキスト生成において深刻なスケーラビリティ上の課題に直面している。 現実的な計算とメモリ制約の下では、多くの推論効率の長いコンテキストメソッドは、推論中にのみ境界付きコンテキストやセグメントレベルの実行を採用することで効率を向上し、フルコンテキストの注意の下でモデルをトレーニングし続け、トレーニングと推論実行と状態遷移セマンティクスのミスマッチをもたらす。 この知見に基づいて、トレーニングと推論は同じセグメントレベルの前方実行セマンティクスに従うトレーニング推論一貫性のあるセグメントレベルの生成フレームワークを提案する。 トレーニング中の推論との整合性は、直前のセグメントから受け継がれたKV状態への勾配伝播を制限するとともに、前方通過時に勾配伝播に関わらず、過去のKV状態への頭部特異的アクセスを可能にする。 長いコンテキストのベンチマークにおいて、我々のアプローチは、フルコンテキストの注意に匹敵するパフォーマンスを達成すると同時に、強い推論効率のベースラインに対する競合的なレイテンシメモリトレードオフを実現し、非常に長いコンテキスト(例えば、FlashAttentionによるフルコンテキストの注意と比較して、約6倍低いピークプリフィルメモリ)でのスケーラビリティを大幅に改善します。

関連論文リスト

• StateLinFormer: Stateful Training Enhancing Long-term Memory in Navigation [14.66409147430344]
  我々はステートフルメモリ機構でトレーニングされた線形アテンションナビゲーションモデルであるStateLinFormerを紹介する。 この訓練パラダイムは、無限に長いシーケンスでの学習を効果的に近似し、モデルが長期記憶保持を達成することを可能にする。
  論文  参考訳（メタデータ） (2026-03-24T11:04:50Z)
• Slow-Fast Inference: Training-Free Inference Acceleration via Within-Sentence Support Stability [61.28049899686214]
  本稿では,生成を低コストの高速ステップと時折高密度の低速ステップに分解する,学習不要な復号化フレームワークを提案する。 評価されたコンテキスト長全体にわたって、SFIは約1.6times$--14.4times$高い復号スループットを提供する。
  論文  参考訳（メタデータ） (2026-03-12T15:14:48Z)
• Gated Differentiable Working Memory for Long-Context Language Modeling [80.27483324685434]
  本稿では,Gdwm(Gated Differentiable Working Memory)を提案する。 ZeroSCROLLS と LongBench v2 の実験では、Gdwm は均一なベースラインよりも 4$times$ の勾配ステップで同等または優れたパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2026-01-19T10:00:33Z)
• Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
  トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-12-10T01:54:57Z)
• Long-Context Attention Benchmark: From Kernel Efficiency to Distributed Context Parallelism [5.744937422147067]
  トランスフォーマーベースの大規模言語モデル(LLM)は目覚ましい成功を収めているが、その標準的な注意機構は、シーケンス長に関して2次計算とメモリコストを発生させる。 従来の作業では,1)高密度かつ疎度な注目演算子を加速するカーネルレベルの最適化,2)複数のデバイスにまたがって注意を拡大するモジュールレベルの戦略,という2つの方向でこの問題に取り組む。 本稿では,注目カーネルとコンテキスト並列機構をモジュール型トレーニングインタフェースに統合し,評価を行う統一ベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-10-19T07:07:37Z)
• CCF: A Context Compression Framework for Efficient Long-Sequence Language Modeling [52.05149789178508]
  CCFは、効率的な長期コンテキストモデリングを可能にするように設計された、新しいコンテキスト圧縮フレームワークである。 CCFはセグメントワイドなセマンティックアグリゲーションとキー-値メモリエンコーディングを統合し、コンパクトな表現を形成する。 複数の長文言語モデリングベンチマークによる実験結果から,CCFは高い圧縮比下での競合パープレキシティを実現することが示された。
  論文  参考訳（メタデータ） (2025-09-11T07:13:49Z)
• Compress, Gather, and Recompute: REFORMing Long-Context Processing in Transformers [58.98923344096319]
  REFORMは、2フェーズアプローチによって、長いコンテキストを効率的に処理する新しい推論フレームワークである。 RULERとBABILongでそれぞれ1Mコンテキスト長で50%以上と27%のパフォーマンス向上を達成した。 また、Infinite-BenchとMM-NIAHのベースラインを上回り、さまざまなタスクやドメインの柔軟性を示す。
  論文  参考訳（メタデータ） (2025-06-01T23:49:14Z)
• InfiniteICL: Breaking the Limit of Context Window Size via Long Short-term Memory Transformation [57.310236384112834]
  In-context Learning (ICL) は、大規模言語モデル(LLM)において重要であるが、その有効性は有限コンテキストウィンドウによって制約される。 本稿では,LLMにおけるコンテキストとパラメータを,短期記憶と長期記憶に並列化するフレームワークであるInfiniteICLを紹介する。 提案手法は,コンテキスト長を90%削減し,フルコンテキストプロンプトの平均性能を103%向上することを示した。
  論文  参考訳（メタデータ） (2025-04-02T13:15:44Z)
• kNN-CLIP: Retrieval Enables Training-Free Segmentation on Continually Expanding Large Vocabularies [22.51592283786031]
  kNN-CLIPは連続セグメンテーションのためのトレーニング不要の戦略である。 再トレーニングや大きなメモリコストを必要とせずに、継続的に成長する語彙に適応することができる。 大語彙セマンティクスとパノプティクスセグメンテーションデータセットにまたがって最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-04-15T04:20:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。