論文の概要: Lossless Model Compression via Joint Low-Rank Factorization Optimization
- arxiv url: http://arxiv.org/abs/2412.06867v1
- Date: Mon, 09 Dec 2024 09:37:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-11 14:38:05.775477
- Title: Lossless Model Compression via Joint Low-Rank Factorization Optimization
- Title（参考訳）: 連立低ランク因数分解最適化による無損失モデル圧縮
- Authors: Boyang Zhang, Daning Cheng, Yunquan Zhang, Fangmin Liu, Jiake Tian,
- Abstract要約: 低ランク因子化(low-rank factorization)は、近似行列と元の重み行列の間の誤差$delta$を最小化する一般的なモデル圧縮手法である。
$delta$が最適化されたとき、オリジナルのモデルに近いパフォーマンスを達成するが、低ランクの分解とモデルパフォーマンスの分離によるパフォーマンスの相違は残る。
我々は、損失のない低ランクの重み分解のための新しい共同最適化戦略を導入する。
- 参考スコア（独自算出の注目度）: 3.318320512635214
- License:
- Abstract: Low-rank factorization is a popular model compression technique that minimizes the error $\delta$ between approximated and original weight matrices. Despite achieving performances close to the original models when $\delta$ is optimized, a performance discrepancy remains due to the separate optimization processes for low-rank factorization and model performance, resulting in unavoidable losses. We address this issue by introducing a novel joint optimization strategy for lossless low-rank weight factorization, which, for the first time, enhances the model's performance beyond the original. Our approach begins with a theoretical analysis of the relationship between low-rank factorization and model optimization objectives, establishing a precise perturbation range for matrix factorization errors on model performance. This challenge is then reformulated as a numerical rank deficiency problem with inequality constraints and develop a joint objective that simultaneously addresses factorization error and model performance. Based on the above analysis, we propose two optimization algorithms: \textbf{a lossless optimization algorithm} that maximizes model accuracy while ensuring compression, and \textbf{a compact optimization algorithm} that minimizes model size while preserving performance. These algorithms do not require fine-tuning and can directly compress numerous deep models to achieve lossless results. Our methods demonstrate robust efficacy across various vision and language tasks. For example, the compressed model reduced by 70\% on ResNext50 outperforms the original. Our code will be made public.
- Abstract（参考訳）: 低ランク因子化(low-rank factorization)は、近似行列と元の重み行列の間の誤差$\delta$を最小化する一般的なモデル圧縮手法である。
$\delta$が最適化されたとき、オリジナルのモデルに近い性能を達成するが、低ランクの分解とモデル性能の最適化プロセスが相変わらず、性能の相違は避けられない損失をもたらす。
我々は、損失のない低ランクの重み分解のための新しい共同最適化戦略を導入することでこの問題に対処する。
提案手法は,低ランク因数分解とモデル最適化の目的の関係に関する理論的解析から始まり,モデル性能に対する行列因数分解誤差の正確な摂動範囲を確立する。
この課題は、不等式制約のある数値階数不足問題として再定義され、分解誤差とモデル性能に同時に対処する共同目的を開発する。
上記の解析に基づいて,圧縮を確保しながらモデルの精度を最大化する最適化アルゴリズムと,性能を保ちながらモデルサイズを最小化する最適化アルゴリズムを提案する。
これらのアルゴリズムは微調整を必要とせず、多くの深いモデルを直接圧縮して損失のない結果が得られる。
本手法は,様々な視覚・言語課題にまたがって頑健な有効性を示す。
例えば、ResNext50で圧縮されたモデルは70%削減され、オリジナルのモデルよりも優れていた。
私たちのコードは公開されます。
関連論文リスト
- Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。
我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。
実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
論文 参考訳（メタデータ） (2024-06-12T16:58:41Z) - Soft Preference Optimization: Aligning Language Models to Expert Distributions [40.84391304598521]
SPOは、Large Language Models (LLMs)のような生成モデルと人間の好みを整合させる手法である。
SPOは、選好損失をモデル全体の出力分布全体にわたる正規化項と統合する。
本稿では,SPOの方法論,理論的基礎,および単純さ,計算効率,アライメント精度における比較優位性について紹介する。
論文 参考訳（メタデータ） (2024-04-30T19:48:55Z) - Coupling Fairness and Pruning in a Single Run: a Bi-level Optimization
Perspective [17.394732703591462]
本研究では, プルーニングマスクと重み更新処理を公平性制約で協調的に最適化する枠組みを提案する。
このフレームワークは、単一実行時の公平性を確保しながら、パフォーマンスを維持するモデルを圧縮するように設計されている。
我々の経験的分析は、我々のフレームワークといくつかの主流プルーニング戦略を対比し、モデルフェアネス、パフォーマンス、効率の維持における我々の方法の優位性を強調している。
論文 参考訳（メタデータ） (2023-12-15T20:08:53Z) - Refined Coreset Selection: Towards Minimal Coreset Size under Model
Performance Constraints [69.27190330994635]
コアセットの選択は、計算コストの削減とディープラーニングアルゴリズムのデータ処理の高速化に強力である。
本稿では,モデル性能とコアセットサイズに対する最適化優先順序を維持する革新的な手法を提案する。
実験的に、広範な実験によりその優位性が確認され、しばしばより小さなコアセットサイズでモデル性能が向上する。
論文 参考訳（メタデータ） (2023-11-15T03:43:04Z) - Generative Models for Anomaly Detection and Design-Space Dimensionality
Reduction in Shape Optimization [0.0]
本研究は,グローバルアルゴリズムの効率向上と高品質な設計の促進を目的として,新たな形状最適化手法を提案する。
これは、幾何学的分散を最大化する新しい縮小部分空間を定義する元の設計変数の数を減らすことで達成される。
計算結果から,グローバル最適化アルゴリズムの収束性を改善するとともに,高品質な幾何学的特徴を持つ設計のみを生成する。
論文 参考訳（メタデータ） (2023-08-08T04:57:58Z) - When to Update Your Model: Constrained Model-based Reinforcement
Learning [50.74369835934703]
モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。
続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。
さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
論文 参考訳（メタデータ） (2022-10-15T17:57:43Z) - Language model compression with weighted low-rank factorization [73.61874728240568]
本稿では,モデル予測に影響を及ぼすパラメータの重要性を評価するために,フィッシャー情報を紹介する。
結果のタスク精度は、元のモデルの性能にかなり近いことがわかった。
提案手法は,タスク固有のモデルを直接圧縮し,他のコンパクトモデル戦略よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2022-06-30T21:57:07Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳（メタデータ） (2021-03-18T14:26:26Z) - Neural Model-based Optimization with Right-Censored Observations [42.530925002607376]
ニューラルネットワーク(NN)は、モデルベースの最適化手順のコアでうまく機能することが実証されている。
トレーニングされた回帰モデルは,いくつかのベースラインよりも優れた予測品質が得られることを示す。
論文 参考訳（メタデータ） (2020-09-29T07:32:30Z) - Automatically Learning Compact Quality-aware Surrogates for Optimization
Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。
最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。
我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文 参考訳（メタデータ） (2020-06-18T19:11:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。