論文の概要: Motion-Compensated Weight Compression

• arxiv url: http://arxiv.org/abs/2605.24754v1
• Date: Sat, 23 May 2026 22:09:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.364944
• Title: Motion-Compensated Weight Compression
• Title（参考訳）: 運動補償重量圧縮
• Authors: Ismail Lamaakal,
• Abstract要約: 運動補償重み圧縮(英: Motion-Compensated Weight Compression、MCWC)は、重みのみの圧縮であり、置換対称ブロックを整列させて層間対応を最大化する。 MCWCはエントロピー復号、復号化、予測駆動型再構成、逆アライメントによって展開可能な重量を再構成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural network weights are increasingly a bottleneck for deployment, yet most compression pipelines treat layers independently and overlook cross-layer redundancy induced by function-preserving symmetries. We propose Motion-Compensated Weight Compression (MCWC), a weight-only codec that aligns permutation-symmetric blocks (e.g., hidden units and attention heads) to maximize cross-layer correspondence, turning depth into a predictable sequence. In the aligned coordinate system, MCWC uses a lightweight layer-sequential predictor with periodic keyframes and encodes only quantized prediction residuals using a learned entropy model trained under a rate distortion objective. A simple decoder reconstructs deployable weights by entropy decoding, dequantization, predictor-driven reconstruction, and inverse alignment, enabling fast weight materialization for inference. Across Transformer language modeling and vision classification, MCWC improves the rate accuracy Pareto frontier over strong quantization and learned weight-codec baselines, while maintaining competitive decode time. Ablations confirm that alignment, prediction, entropy modeling, and keyframe scheduling are each necessary for the full gains. Our code is available via https://github.com/Ism-ail11/MCWC.
• Abstract（参考訳）: ニューラルネットワークの重み付けは、デプロイのボトルネックになりつつあるが、ほとんどの圧縮パイプラインは、レイヤーを独立して扱い、関数保存対称性によって誘導される層間冗長性を見落としている。 本研究では,重み付きコーデックであるMotion-Compensated Weight Compression (MCWC)を提案する。 協調座標系では、MCWCは周期的な鍵フレームを持つ軽量な層列予測器を使用し、レート歪みの目的の下で訓練された学習エントロピーモデルを用いて量子化された予測残差のみを符号化する。 単純なデコーダは、エントロピー復号、復号化、予測駆動型再構成、逆アライメントにより展開可能な重みを再構成し、推論のための高速な重み物質化を可能にする。 トランスフォーマー言語モデリングと視覚分類全般において、MCWCは競合するデコード時間を維持しながら、強力な量子化とウェイトコーデックベースラインを学習し、パレートフロンティアのレート精度を向上させる。 アブレーションは、アライメント、予測、エントロピーモデリング、およびキーフレームスケジューリングが、それぞれが完全なゲインに必要なものであることを確認します。 私たちのコードはhttps://github.com/Ism-ail11/MCWCで利用可能です。

関連論文リスト

• Towards Practical Lossless Neural Compression for LiDAR Point Clouds [84.36825469211375]
  高精度な幾何学的詳細の極端に広い範囲は、効率的な文脈モデリングを妨げる。 私たちのフレームワークは2つの軽量モジュールで構成されています。 実験では、リアルタイムに競争力のある圧縮性能を示す。
  論文  参考訳（メタデータ） (2026-03-26T10:02:07Z)
• Continual Quantum Architecture Search with Tensor-Train Encoding: Theory and Applications to Signal Processing [68.35481158940401]
  CL-QASは連続的な量子アーキテクチャ検索フレームワークである。 振幅のエンコードと変分量子回路の忘れを犠牲にすることの課題を緩和する。 制御可能なロバスト性表現性、サンプル効率の一般化、およびバレンプラトーを使わずに滑らかな収束を実現する。
  論文  参考訳（メタデータ） (2026-01-10T02:36:03Z)
• Neural Minimum Weight Perfect Matching for Quantum Error Codes [7.525883733645578]
  NMWPM(Neural Minimum Weight Perfect Matching)と呼ばれるデータ駆動デコーダを提案する。 その結果,標準基準値よりも論理誤差率 (LER) が有意に低下した。
  論文  参考訳（メタデータ） (2026-01-01T07:25:51Z)
• The Lossy Horizon: Error-Bounded Predictive Coding for Lossy Text Compression (Episode I) [6.453417258264177]
  本稿では,誤り境界予測符号化(EPC, Error-Bounded Predictive Coding)を提案する。 オリジナルのトークンのサブセットを格納する代わりに、EPCはモデルがマスク付きコンテンツを予測し、モデルのトップ予測が正しくない場合のみ、最小限のランクベースの修正を格納することを可能にする。 EPCが予測的マスキングを一貫して支配し、モデル固有の知識をより効率的に活用することにより、より優れた忠実度を著しく低いビットレートで提供することを示した。
  論文  参考訳（メタデータ） (2025-10-25T08:18:31Z)
• Neural Weight Compression for Language Models [17.47037037010811]
  ニューラルウェイト圧縮(NWC)は,ニューラルモデル重み圧縮アルゴリズムである。 NWCは、特に4-6ビットの精度で、競争または最先端の精度圧縮トレードオフを達成する。
  論文  参考訳（メタデータ） (2025-10-13T10:16:20Z)
• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• Re-Densification Meets Cross-Scale Propagation: Real-Time Neural Compression of LiDAR Point Clouds [83.39320394656855]
  LiDARポイントクラウドは、様々なアプリケーションに基本的だが、高精度スキャンは、かなりのストレージと送信オーバーヘッドを発生させる。 既存の手法では、非順序の点を階層的なオクツリーやボクセル構造に変換して、密度から疎い予測符号化を行うのが一般的である。 筆者らのフレームワークは2つの軽量モジュールから構成されている。まず、Geometry Re-Densification Moduleがエンコードされたスパース幾何を再認識し、より密なスケールで特徴を抽出し、予測符号化のための特徴を再分離する。
  論文  参考訳（メタデータ） (2025-08-28T06:36:10Z)
• CompGS++: Compressed Gaussian Splatting for Static and Dynamic Scene Representation [60.712165339762116]
  CompGS++はコンパクトガウスプリミティブを活用して正確な3Dモデリングを実現する新しいフレームワークである。 私たちの設計は、プリミティブ間の冗長性をなくすという原則に基づいている。 私たちの実装は、さらなる研究を促進するためにGitHubで公開されます。
  論文  参考訳（メタデータ） (2025-04-17T15:33:01Z)
• Retraining-free Model Quantization via One-Shot Weight-Coupling Learning [41.299675080384]
  混合精度量子化(MPQ)は、層に不均一なビット幅を割り当てることで、モデルを効果的に圧縮することを提唱する。 MPQは典型的には、探索訓練された2段階のプロセスに編成される。 本稿では,混合精度モデル圧縮のためのワンショットトレーニング探索パラダイムを考案する。
  論文  参考訳（メタデータ） (2024-01-03T05:26:57Z)
• Post-Training Quantization for Re-parameterization via Coarse & Fine Weight Splitting [13.270381125055275]
  本稿では,重みの量子化誤差を低減するために,粗大かつ微細な重み分割法(CFWS)を提案する。 我々は、活性化のための最適な量子化尺度を決定するために改良されたKLメトリックを開発した。 例えば、量子化されたRepVGG-A1モデルは、わずか0.3%の精度損失を示す。
  論文  参考訳（メタデータ） (2023-12-17T02:31:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。