論文の概要: CCF: A Context Compression Framework for Efficient Long-Sequence Language Modeling

• arxiv url: http://arxiv.org/abs/2509.09199v1
• Date: Thu, 11 Sep 2025 07:13:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-12 16:52:24.263438
• Title: CCF: A Context Compression Framework for Efficient Long-Sequence Language Modeling
• Title（参考訳）: CCF: 効率的なロングシーケンス言語モデリングのためのコンテキスト圧縮フレームワーク
• Authors: Wenhao Li, Bangcheng Sun, Weihao Ye, Tianyi Zhang, Daohai Yu, Fei Chao, Rongrong Ji,
• Abstract要約: CCFは、効率的な長期コンテキストモデリングを可能にするように設計された、新しいコンテキスト圧縮フレームワークである。 CCFはセグメントワイドなセマンティックアグリゲーションとキー-値メモリエンコーディングを統合し、コンパクトな表現を形成する。 複数の長文言語モデリングベンチマークによる実験結果から,CCFは高い圧縮比下での競合パープレキシティを実現することが示された。
• 参考スコア（独自算出の注目度）: 52.05149789178508
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling language models to longer contexts is essential for capturing rich dependencies across extended discourse. However, na\"ive context extension imposes significant computational and memory burdens, often resulting in inefficiencies during both training and inference. In this work, we propose CCF, a novel context compression framework designed to enable efficient long-context modeling by learning hierarchical latent representations that preserve global semantics while aggressively reducing input redundancy. CCF integrates segment-wise semantic aggregation with key-value memory encoding, forming compact representations that support accurate reconstruction and long-range understanding. To further enhance scalability, we introduce a training-efficient optimization strategy that couples incremental segment decoding with sparse reservoir sampling, substantially reducing memory overhead without degrading performance. Empirical results on multiple long-context language modeling benchmarks demonstrate that CCF achieves competitive perplexity under high compression ratios, and significantly improves throughput and memory efficiency compared to existing approaches. These findings highlight the potential of structured compression for scalable and effective long-context language modeling.
• Abstract（参考訳）: 言語モデルを長いコンテキストにスケールすることは、拡張された言説を越えてリッチな依存関係をキャプチャするために不可欠である。 しかし、na\\iveコンテキスト拡張では計算とメモリの負荷が大きくなり、しばしばトレーニングと推論の両方で効率が低下する。 本研究では,グローバルなセマンティクスを保ちつつ,入力冗長性を積極的に低減する階層的潜在表現を学習することにより,効率的な長期コンテキストモデリングを実現するための新しいコンテキスト圧縮フレームワークであるCCFを提案する。 CCFは、セグメントワイドなセマンティックアグリゲーションとキー-値メモリエンコーディングを統合し、正確な再構成と長距離理解をサポートするコンパクトな表現を形成する。 スケーラビリティをさらに向上するため,スパルスサンプリングとインクリメンタルセグメントデコードを組み合わせたトレーニング効率の最適化手法を導入し,メモリオーバーヘッドを大幅に低減し,性能を劣化させることなく実現した。 複数の長文言語モデリングベンチマークの実証的な結果から、CCFは高い圧縮比下での競合パープレキシティを実現し、既存のアプローチに比べてスループットとメモリ効率を著しく向上することが示された。 これらの結果は、スケーラブルで効果的な長文言語モデリングのための構造化圧縮の可能性を強調している。

関連論文リスト

• Scaling Linear Attention with Sparse State Expansion [58.161410995744596]
  トランスフォーマーアーキテクチャは、2次計算と線形メモリ成長による長期コンテキストシナリオに苦慮している。 本稿では,情報分類として状態更新を概念化し,線形注意のための行スパース更新定式化を提案する。 次に、スパースフレームワーク内にスパース状態拡張(SSE)を示し、コンテキスト状態を複数のパーティションに拡張する。
  論文  参考訳（メタデータ） (2025-07-22T13:27:31Z)
• Compress, Gather, and Recompute: REFORMing Long-Context Processing in Transformers [58.98923344096319]
  REFORMは、2フェーズアプローチによって、長いコンテキストを効率的に処理する新しい推論フレームワークである。 RULERとBABILongでそれぞれ1Mコンテキスト長で50%以上と27%のパフォーマンス向上を達成した。 また、Infinite-BenchとMM-NIAHのベースラインを上回り、さまざまなタスクやドメインの柔軟性を示す。
  論文  参考訳（メタデータ） (2025-06-01T23:49:14Z)
• LeMoRe: Learn More Details for Lightweight Semantic Segmentation [48.81126061219231]
  計算効率と表現の忠実さのバランスをとるために、明示的および暗黙的なモデリングを相乗化することによって効率的なパラダイムを導入する。 提案手法は、明確にモデル化されたビューと暗黙的に推論された中間表現とをうまく組み合わせ、グローバルな依存関係を効率的に取得する。
  論文  参考訳（メタデータ） (2025-05-29T04:55:10Z)
• MambaIC: State Space Models for High-Performance Learned Image Compression [40.155314987485376]
  多数のフィールドをまたいだリアルタイム情報伝送には,高性能な画像圧縮アルゴリズムが不可欠である。 状態空間モデル(SSM)の長距離依存性の捕捉効果に着想を得て,SSMを利用して既存手法の計算不効率に対処する。 そこで本稿では,MambaICと呼ばれる洗練されたコンテキストモデリングによる画像圧縮手法を提案する。
  論文  参考訳（メタデータ） (2025-03-16T11:32:34Z)
• Contextual Compression Encoding for Large Language Models: A Novel Framework for Multi-Layered Parameter Space Pruning [0.0]
  文脈圧縮。 (CCE)はパラメータ分布を動的に再構成する多段符号化機構を導入した。 CCEは言語表現力とコヒーレンスを維持し、テキスト生成や分類タスクの精度を維持した。
  論文  参考訳（メタデータ） (2025-02-12T11:44:19Z)
• Structured Token Retention and Computational Memory Paths in Large Language Models [0.0]
  本稿では,文脈的重要性に基づいてトークンの永続化を動的に調整する確率的選択フレームワークを提案する。 階層的なメモリ割り当てによって拡張され、トークン埋め込みの構造化された再配置によって保持効率を向上する。 STRとCMPのオープンソースモデルへの統合は、構造化メモリ保持手法の適応性を示している。
  論文  参考訳（メタデータ） (2025-02-05T11:59:22Z)
• Context-Preserving Tensorial Reconfiguration in Large Language Model Training [0.0]
  CPTR(Context-Preservingial Reconfiguration)は、構造的因子化と適応的収縮による重みテンソルの動的複雑さを実現する。 実証的な評価は、CPTRが拡張配列間のコヒーレンス保持を改善することを示している。 性能比較の結果,CPTR強化モデルでは計算効率が向上し,メモリ消費が減少した。
  論文  参考訳（メタデータ） (2025-02-01T00:55:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。