論文の概要: FlexComp: One Model for Every Ratio in Context Compression

• arxiv url: http://arxiv.org/abs/2609.11192v1
• Date: Thu, 10 Sep 2026 07:59:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.246602
• Title: FlexComp: One Model for Every Ratio in Context Compression
• Title（参考訳）: FlexComp:コンテキスト圧縮におけるすべての比率の1つのモデル
• Abstract要約: 本稿では,トレーニングとデプロイメントの両面から圧縮率を分離する手法に依存しないフレームワークを提案する。 ICAE、500xCompressor、SAC on MRQAでは、単一のFlexCompモデルが、最小限の劣化で個別に訓練された固定比率スペシャリストと一致する。
• 参考スコア（独自算出の注目度）: 26.65097170527164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Soft context compression condenses a context into a few memory tokens that a frozen LLM consumes in place of the raw text, but existing compressors fix the compression ratio at training and inference: each deployed ratio requires a separately trained model, and the chosen ratio is applied uniformly to all inputs, whose actual needs vary drastically. We propose FlexComp, a method-agnostic framework that decouples the ratio from both training and deployment: Matryoshka-style training samples the memory budget $K$ per instance, turning one model into an any-ratio compressor, and the budget is then chosen per input by: (1) confidence-based cascade routing or (2) a lightweight learned $K$ predictor. Across ICAE, 500xCompressor, and SAC on MRQA, a single FlexComp model matches separately trained fixed-ratio specialists with minimal degradation. Cascade routing preserves over 98% of the mildest ratio's accuracy at up to 266x average compression; the $K$ predictor, in a single compression-decoding pass, reaches 158-236x within 0.7 F1 of the mildest ratio. At serving-scale batch sizes, the $K$ predictor cuts context KV cache by 50% and improves decoding throughput by 47%.
• Abstract（参考訳）: ソフトコンテキスト圧縮は、凍結LDMが生テキストの代わりに消費するいくつかのメモリトークンにコンテキストを凝縮するが、既存の圧縮機はトレーニングと推論時に圧縮比を固定する。 トレーニングとデプロイメントの比率を分離するメソッドに依存しないフレームワークであるFlexCompを提案する。 Matryoshkaスタイルのトレーニングは、インスタンスあたりのメモリ予算を$K$でサンプルし、一方のモデルを任意の比例圧縮機に変換し、その後、(1)信頼性ベースのカスケードルーティング、または(2)学習した軽量な$K$予測器によって、入力毎に予算を選択する。 ICAE、500xCompressor、SAC on MRQAでは、単一のFlexCompモデルが、最小限の劣化で個別に訓練された固定比率スペシャリストと一致する。 カスケードルーティングは、最も穏やかな比の精度の98%以上を平均圧縮の266倍に保ち、K$予測器は、1つの圧縮復号パスで、最も穏やかな比の0.7 F1の範囲で158-236xに達する。 サービススケールのバッチサイズでは、$K$予測器がコンテキストKVキャッシュを50%削減し、デコードスループットを47%改善する。

関連論文リスト

• Benchmarking Composable Compression Techniques in Mixture-of-Experts LLMs [50.677556944160216]
  MoEXBenchは、構成可能なMoE圧縮をエンドツーエンドのデプロイメントワークフローとして評価するための体系的なベンチマークである。 コンポーザブル圧縮品質、ワークロードとアーキテクチャ、プルーニング/量子化/KVキャッシュ感度、コモディティハードウェアへのデプロイメント効率を測定する。
  論文  参考訳（メタデータ） (2026-08-22T00:01:18Z)
• End-to-End Context Compression at Scale [81.70601323130997]
  長期コンテキスト言語モデル推論は、KVキャッシュがコンテキスト長とともに増加するにつれて、メモリによってボトルネックとなる。 KVキャッシュを圧縮する最近の技術は、モデル品質を著しく低下させるか、あるいはかなりの時間を要するか、1つの長いプロンプトを圧縮するために計算する。 既存のアプローチは、精度-効率のフロンティア上のKVキャッシュ圧縮と競合しない。
  論文  参考訳（メタデータ） (2026-06-08T15:43:16Z)
• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• Simple Context Compression: Mean-Pooling and Multi-Ratio Training [12.049015994907629]
  我々は、広く使われている圧縮トークンアーキテクチャを一貫して上回る軽量でシンプルな平均プール手法を開発した。 ドメイン内およびドメイン外QAデータセット、モデルファミリ、スケール、圧縮比にわたって、広範な実験を行います。 全体としては,複数の圧縮比のトレーニングを行う場合,比較的少ない低下率で,本手法は最強性能を達成する。
  論文  参考訳（メタデータ） (2025-10-23T17:57:23Z)
• Compressing Many-Shots in In-Context Learning [61.231471139896506]
  マルチショットプロンプトを圧縮することにより,ICL推論のメモリと計算効率を向上させる手法を提案する。 まず,既存のプロンプト圧縮手法がマルチショット圧縮には有効でないことを示す。 本稿では,レイヤワイド圧縮手法であるMemComを提案する。
  論文  参考訳（メタデータ） (2025-10-17T16:57:42Z)
• Compression via Pre-trained Transformers: A Study on Byte-Level Multimodal Data [8.475091996107741]
  我々は、事前学習したトランスフォーマーが競合圧縮比を達成できるスイートスポットを見つけるために、大規模な研究を行う。 比較的小さなパラメータは、標準的な汎用圧縮アルゴリズムより優れていることが判明した。 たとえ小さなモデルであっても、複数のモダリティでうまく機能するように訓練できるが、大規模な基礎モデルとは異なり、目に見えないモダリティへの移動は一般的に弱い。
  論文  参考訳（メタデータ） (2024-10-07T14:32:03Z)
• Token Compensator: Altering Inference Cost of Vision Transformer without Re-Tuning [63.43972993473501]
  視覚変換器(ViT)の訓練と推論を高速化するトークン圧縮 しかし、下流タスクに適用した場合、圧縮度はトレーニングと推論の段階で不一致となる。 本稿では,2段階間の圧縮度を分離するモデル演算フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T10:36:43Z)
• GraVAC: Adaptive Compression for Communication-Efficient Distributed DL Training [0.0]
  分散データ並列(DDP)トレーニングは、複数のデバイスがデータのサブセットをトレーニングし、アップデートを集約してグローバルに共有するモデルを生成することにより、アプリケーション全体のスループットを向上させる。 GraVACは、モデル進捗を評価し、圧縮に関連する情報損失を評価することで、トレーニング全体を通して圧縮係数を動的に調整するフレームワークである。 静的圧縮係数を使用するのとは対照的に、GraVACはResNet101、VGG16、LSTMのエンドツーエンドのトレーニング時間をそれぞれ4.32x、1.95x、6.67x削減する。
  論文  参考訳（メタデータ） (2023-05-20T14:25:17Z)
• Rotation Invariant Quantization for Model Compression [7.269081881533542]
  トレーニング後のニューラルネットワーク(NN)モデル圧縮は、メモリリソースが限られているデバイスに大規模なメモリ消費モデルを展開するための魅力的なアプローチである。 NNモデル全体の量子化に単一パラメータを用いる回転不変量子化(RIQ)手法を提案する。
  論文  参考訳（メタデータ） (2023-03-03T10:53:30Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。