論文の概要: Neural Compression over Equivalence Classes: Exact Gauges and Functional Rate-Distortion

• arxiv url: http://arxiv.org/abs/2611.07233v1
• Date: Wed, 04 Nov 2026 23:38:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.469764
• Title: Neural Compression over Equivalence Classes: Exact Gauges and Functional Rate-Distortion
• Title（参考訳）: 等価クラスに対するニューラル圧縮:厳密なゲージと機能的速度歪み
• Abstract要約: この表現の自由そのものが圧縮に利用できることを示す。 SmolLM2 と Qwen3 全体では,Z 標準圧縮チェックポイントサイズを最大 23.4% 削減する。
• 参考スコア（独自算出の注目度）: 15.806921450555365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks admit many parameterizations of the same or nearly the same function, but deployment typically stores whichever parameter vector training happens to produce. We show that this representational freedom can itself be used for compression. Rather than redesigning the codec, we search over exact function-preserving transformations and controlled functional perturbations, using the unchanged physical compressor itself to select cheaper representations. Exact gauge families provide a zero-distortion reference under the strict audit; allowing small functional changes exposes much larger rate-distortion gains. Across SmolLM2 and Qwen3, our method reduces Zstandard-compressed checkpoint size by up to 23.4\%, with similar relative reductions under gzip, Brotli, and ZipNN, establishing trained-network representational freedom as a practical storage resource.
• Abstract（参考訳）: ニューラルネットワークは、同じあるいはほぼ同じ関数の多くのパラメータ化を許容するが、デプロイは通常、パラメータベクトルトレーニングが生成する任意のパラメータを格納する。 この表現の自由そのものが圧縮に利用できることを示す。 コーデックを再設計するのではなく, 物理圧縮器自体を用いて, 正確な関数保存変換と制御機能摂動を探索し, より安価な表現を選択する。 厳密な監査の下では、厳密なゲージファミリはゼロ歪参照を提供し、小さな機能的変更はより大きなレート歪利得を露呈する。 SmolLM2 と Qwen3 全体では,Gzip と Brotli と ZipNN の類似した相対的削減により,Z 標準圧縮チェックポイントサイズを最大 23.4 % まで削減し,実用的な記憶資源としてネットワーク表現の自由度を確立した。

関連論文リスト

• Freeze the Decoder, Heal the Encoder: Parameter-Efficient Adaptation for SVD-Based KV-Cache Compression [2.921159958223653]
  よくあるが欠点は、パラメータ効率の良い微調整レシピを1つの共有学習率で比較することである。 提案手法は,ポストホックSVDに基づくKV-cache圧縮である。 視覚言語モデルを用いて、各アーム単位の学習速度チューニングと構成毎の3つのシードを用いて、このパリティを検証する。
  論文  参考訳（メタデータ） (2026-09-25T20:48:04Z)
• Codec-Gauge: Learning Compression-Friendly Gauges for Transformer KV Caches [25.55174329283001]
  長文トランスフォーマー推論は、KVキャッシュ圧縮や量子化にますます依存している。 我々は,キャッシュ調整後のレイヤであるCodec-Gaugeを紹介した。
  論文  参考訳（メタデータ） (2026-07-10T17:18:25Z)
• QuantSparse: Comprehensively Compressing Video Diffusion Transformer with Model Quantization and Attention Sparsification [67.15451442018258]
  拡散変換器は素晴らしいビデオ生成能力を示すが、その計算とメモリの禁止コストは実際の展開を妨げる。 モデル量子化とアテンションスパシフィケーションは圧縮に有望な2つの方向であるが、それぞれがアグレッシブ圧縮の下で深刻な性能劣化を被っている。 モデル量子化と注意散布を統合した統合フレームワークである textbfQuantSparse を提案する。
  論文  参考訳（メタデータ） (2025-09-28T06:49:44Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Variator: Accelerating Pre-trained Models with Plug-and-Play Compression Modules [111.98205411431402]
  Variatorは、プラグアンドプレイ圧縮プラグインによる計算効率を向上させるパラメータ効率加速法である。 Variatorはパラメータを0.9%追加するだけで計算コストを53%削減でき、性能低下は2%未満である。
  論文  参考訳（メタデータ） (2023-10-24T11:00:07Z)
• Inshrinkerator: Compressing Deep Learning Training Checkpoints via Dynamic Quantization [5.648270790530862]
  最先端のアプローチには、結果のモデル品質(精度)と圧縮比とのトレードオフを引き起こす、損失のあるモデル圧縮機構が含まれる。 モデル重みの圧縮に対する感度がトレーニング中に変化し、異なる重みが異なる量子化レベルから恩恵を受けることを重要視する。 本稿では,この変動を利用した非一様量子化手法,最適な量子化構成を動的に見つける効率的な探索機構,重みを再構成してチェックポイント差を最小限に抑える量子化対応デルタ圧縮機構を提案する。
  論文  参考訳（メタデータ） (2023-06-20T18:00:31Z)
• Estimating the Resize Parameter in End-to-end Learned Image Compression [50.20567320015102]
  本稿では,最近の画像圧縮モデルの速度歪みトレードオフをさらに改善する検索自由化フレームワークについて述べる。 提案手法により,Bjontegaard-Deltaレート(BD-rate)を最大10%向上させることができる。
  論文  参考訳（メタデータ） (2022-04-26T01:35:02Z)
• Reliable Model Compression via Label-Preservation-Aware Loss Functions [14.368823297066276]
  本稿では,教師の学習パラダイムを用いてラベルの保存を改善するフレームワークを提案する。 圧縮モデルと参照モデルとのミスマッチ数を最大4.1倍に削減する。
  論文  参考訳（メタデータ） (2020-12-03T00:00:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。