論文の概要: Big2Small: A Unifying Neural Network Framework for Model Compression
- arxiv url: http://arxiv.org/abs/2603.29768v1
- Date: Tue, 31 Mar 2026 14:09:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-01 15:25:03.703827
- Title: Big2Small: A Unifying Neural Network Framework for Model Compression
- Title（参考訳）: Big2Small: モデル圧縮のための統一ニューラルネットワークフレームワーク
- Authors: Jing-Xiao Liao, Haoran Wang, Tao Li, Daoming Lyu, Yi Zhang, Chengjun Cai, Feng-Lei Fan,
- Abstract要約: 我々は,測度理論に基づくモデル圧縮のための統一的な数学的枠組みを構築した。
各モデル圧縮手法は,正規化対象のニューラルネットワークと数学的に等価であることを示す。
本研究では,インプリシトニューラルネットワーク表現(INR)をデータ領域からネットワークパラメータの領域に翻訳する,TextitBig2Smallと呼ばれる,実験的に検証されたデータフリーモデル圧縮フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 14.509737343784913
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the development of foundational models, model compression has become a critical requirement. Various model compression approaches have been proposed such as low-rank decomposition, pruning, quantization, ergodic dynamic systems, and knowledge distillation, which are based on different heuristics. To elevate the field from fragmentation to a principled discipline, we construct a unifying mathematical framework for model compression grounded in measure theory. We further demonstrate that each model compression technique is mathematically equivalent to a neural network subject to a regularization. Building upon this mathematical and structural equivalence, we propose an experimentally-verified data-free model compression framework, termed \textit{Big2Small}, which translates Implicit Neural Representations (INRs) from data domain to the domain of network parameters. \textit{Big2Small} trains compact INRs to encode the weights of larger models and reconstruct the weights during inference. To enhance reconstruction fidelity, we introduce Outlier-Aware Preprocessing to handle extreme weight values and a Frequency-Aware Loss function to preserve high-frequency details. Experiments on image classification and segmentation demonstrate that \textit{Big2Small} achieves competitive accuracy and compression ratios compared to state-of-the-art baselines.
- Abstract（参考訳）: 基礎モデルの開発により、モデル圧縮が重要な要件となっている。
低ランク分解、プルーニング、量子化、エルゴード力学系、異なるヒューリスティックに基づく知識蒸留など、様々なモデル圧縮手法が提案されている。
フラグメンテーションから原理的分野へ分野を高めるため,測度理論に基づくモデル圧縮のための統一的な数学的枠組みを構築した。
さらに,各モデル圧縮手法は,正規化対象のニューラルネットワークと数学的に等価であることを示す。
この数学的および構造的等価性に基づいて,Inlicit Neural Representations (INR) をデータ領域からネットワークパラメータの領域に翻訳する,実験的に検証されたデータフリーモデル圧縮フレームワークである \textit{Big2Small} を提案する。
\textit{Big2Small} はコンパクト INR を訓練し、より大きなモデルの重みをエンコードし、推論中に重みを再構築する。
復元精度を高めるために,超重み値を処理するoutlier-Aware Preprocessingと高周波の詳細を保存するための Frequency-Aware Loss関数を導入する。
画像分類とセグメンテーションの実験により, <textit{Big2Small} は最先端のベースラインと比較して, 競合精度と圧縮率を達成することが示された。
関連論文リスト
- Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。
ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。
MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。
ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
論文 参考訳（メタデータ） (2026-02-12T02:38:57Z) - Knowledge-Informed Neural Network for Complex-Valued SAR Image Recognition [51.03674130115878]
本稿では,新しい「圧縮集約圧縮」アーキテクチャ上に構築された軽量なフレームワークであるKnowledge-Informed Neural Network(KINN)を紹介する。
KINNはパラメータ効率の認識における最先端を確立し、データスカースとアウト・オブ・ディストリビューションのシナリオにおいて例外的な一般化を提供する。
論文 参考訳（メタデータ） (2025-10-23T07:12:26Z) - On Information Geometry and Iterative Optimization in Model Compression: Operator Factorization [5.952537659103525]
我々は、多くのモデル圧縮手法が、この射影に対する情報分岐を暗黙的に近似するものとして理解することができると論じる。
ソフトランク制約を受けるニューラルネットワークのトレーニングにおける反復特異値しきい値の収束性を証明する。
論文 参考訳（メタデータ） (2025-07-12T23:39:14Z) - Theoretical Guarantees for Low-Rank Compression of Deep Neural Networks [5.582683296425384]
ディープニューラルネットワークは多くのアプリケーションで最先端のパフォーマンスを実現している。
低ランク近似技術は、これらのネットワークのサイズと複雑さを減らし、有望な解決策を提供する。
我々は、データ駆動の低ランク圧縮のための分析フレームワークを開発した。
論文 参考訳（メタデータ） (2025-02-04T23:10:13Z) - Convolutional Neural Network Compression Based on Low-Rank Decomposition [3.3295360710329738]
本稿では,変分ベイズ行列分解を組み込んだモデル圧縮法を提案する。
VBMFは各層における重みテンソルのランクを推定するために用いられる。
その結果, 高圧縮比と低圧縮比では, 圧縮モデルの性能が向上することがわかった。
論文 参考訳（メタデータ） (2024-08-29T06:40:34Z) - Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。
グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。
実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
論文 参考訳（メタデータ） (2024-01-15T15:54:54Z) - Retraining-free Model Quantization via One-Shot Weight-Coupling Learning [41.299675080384]
混合精度量子化(MPQ)は、層に不均一なビット幅を割り当てることで、モデルを効果的に圧縮することを提唱する。
MPQは典型的には、探索訓練された2段階のプロセスに編成される。
本稿では,混合精度モデル圧縮のためのワンショットトレーニング探索パラダイムを考案する。
論文 参考訳（メタデータ） (2024-01-03T05:26:57Z) - Rethinking Compression: Reduced Order Modelling of Latent Features in
Large Language Models [9.91972450276408]
本稿では,Large Language Models (LLMs) のパラメトリックおよび実用的な圧縮に対して,低次モデリングに基づく革新的なアプローチを提案する。
本手法は, 行列分解を利用したモデル圧縮の顕著な進歩を示し, 最先端の構造化プルーニング法よりも優れた有効性を示した。
論文 参考訳（メタデータ） (2023-12-12T07:56:57Z) - What do Compressed Large Language Models Forget? Robustness Challenges
in Model Compression [68.82486784654817]
本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。
本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。
サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
論文 参考訳（メタデータ） (2021-10-16T00:20:04Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - Structured Sparsification with Joint Optimization of Group Convolution
and Channel Shuffle [117.95823660228537]
本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。
提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。
また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
論文 参考訳（メタデータ） (2020-02-19T12:03:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。