論文の概要: Efficient Model Compression Techniques with FishLeg

• arxiv url: http://arxiv.org/abs/2412.02328v1
• Date: Tue, 03 Dec 2024 09:42:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:43:18.484912
• Title: Efficient Model Compression Techniques with FishLeg
• Title（参考訳）: FishLegを用いた効率的なモデル圧縮技術
• Authors: Jamie McGowan, Wei Sheng Lai, Weibin Chen, Henry Aldridge, Jools Clarke, Jezabel Garcia, Rui Xia, Yilei Liang, Guillaume Hennequin, Alberto Bernacchia,
• Abstract要約: FishLegはFisher-Legendre(FishLeg)に基づく新しい二階刈り法である FishLegの心臓部は、逆FIMの作用を補うメタラーニングアプローチである。 FishLegは,2つの共通ベースラインに対して高い,あるいは同等のパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 30.69238973086908
• License:
• Abstract: In many domains, the most successful AI models tend to be the largest, indeed often too large to be handled by AI players with limited computational resources. To mitigate this, a number of compression methods have been developed, including methods that prune the network down to high sparsity whilst retaining performance. The best-performing pruning techniques are often those that use second-order curvature information (such as an estimate of the Fisher information matrix) to score the importance of each weight and to predict the optimal compensation for weight deletion. However, these methods are difficult to scale to high-dimensional parameter spaces without making heavy approximations. Here, we propose the FishLeg surgeon (FLS), a new second-order pruning method based on the Fisher-Legendre (FishLeg) optimizer. At the heart of FishLeg is a meta-learning approach to amortising the action of the inverse FIM, which brings a number of advantages. Firstly, the parameterisation enables the use of flexible tensor factorisation techniques to improve computational and memory efficiency without sacrificing much accuracy, alleviating challenges associated with scalability of most second-order pruning methods. Secondly, directly estimating the inverse FIM leads to less sensitivity to the amplification of stochasticity during inversion, thereby resulting in more precise estimates. Thirdly, our approach also allows for progressive assimilation of the curvature into the parameterisation. In the gradual pruning regime, this results in a more efficient estimate refinement as opposed to re-estimation. We find that FishLeg achieves higher or comparable performance against two common baselines in the area, most notably in the high sparsity regime when considering a ResNet18 model on CIFAR-10 (84% accuracy at 95% sparsity vs 60% for OBS) and TinyIM (53% accuracy at 80% sparsity vs 48% for OBS).
• Abstract（参考訳）: 多くの領域において、最も成功したAIモデルは、計算資源が限られているAIプレイヤーによって処理されるには大きすぎる傾向にある。 これを軽減するために、性能を維持しながらネットワークを高い間隔に絞り込む方法を含む、数多くの圧縮方法が開発されている。 最も優れたプルーニング技術は、しばしば2階曲率情報(フィッシャー情報行列の推定値など)を用いて、各重量の重要性を評価し、重量削除に対する最適補償を予測するものである。 しかし、これらの手法は重い近似を行うことなく高次元パラメータ空間にスケールすることは困難である。 そこで本研究では,Fisher-Legendre(FishLeg)オプティマイザに基づく新しい2階プルーニング法であるFishLegスチュワート(FLS)を提案する。 FishLegの核心は、逆FIMの作用を補うメタラーニングアプローチであり、多くの利点をもたらす。 第一に、パラメータ化により、多くの精度を犠牲にすることなく、フレキシブルなテンソル分解技術を用いて計算とメモリ効率を向上させることができ、ほとんどの2次プルーニング法のスケーラビリティに関わる課題を軽減することができる。 第二に、逆FIMを直接推定すると、反転中の確率性の増幅に対する感度が低下し、より正確な推定結果が得られる。 第3に,本手法は曲率のパラメータ化への漸進的な同化を可能にする。 段階的なプルーニング体制では、これは再見積とは対照的に、より効率的な見積もりの洗練をもたらす。 CIFAR-10のResNet18モデル(84%の精度で95%の精度でOBSは60%)とTinyIM(53%の精度で80%の精度でOBSは48%)を考えると、この領域で一般的な2つのベースラインに対して高い、あるいは同等のパフォーマンスを実現していることがわかった。

関連論文リスト

• Column-wise Quantization of Weights and Partial Sums for Accurate and Efficient Compute-In-Memory Accelerators [7.728820930581886]
  CIMはディープニューラルネットワーク(DNN)の効率的な実装方法である CIMはアナログ・デジタルコンバータ(ADC)のかなりのオーバーヘッドに悩まされている 細胞制限と複数の細胞の必要性により生じる低ビットの重量制限はさらなる課題を呈している。 この研究は、重みと部分サム量子化の粒度をカラム単位で整列させることによって、これらの課題に対処する。
  論文  参考訳（メタデータ） (2025-02-11T05:32:14Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Efficient Second-Order Neural Network Optimization via Adaptive Trust Region Methods [0.0]
  SecondOrderAdaptive (SOAA) は、従来の二階法の限界を克服するために設計された新しい最適化アルゴリズムである。 私たちは、SOAAが1次近似よりも速く、より安定した収束を達成することを実証的に実証します。
  論文  参考訳（メタデータ） (2024-10-03T08:23:06Z)
• NEAT: Nonlinear Parameter-efficient Adaptation of Pre-trained Models [26.808251361020066]
  微調整された事前訓練されたモデルは、リソース集約的で厳しい。 広く採用されているPEFT技術であるLoRA(Lo-Rank Adaptation)は、事前訓練されたモデルの重量を凍結する。 NEATは、トレーニング済みの重みを入力として取り込んだ軽量ニューラルネットワークを導入し、近似累積重み更新のための非線形変換を学習する。
  論文  参考訳（メタデータ） (2024-10-02T17:29:23Z)
• Fast as CHITA: Neural Network Pruning with Combinatorial Optimization [9.440450886684603]
  本稿では,複数重みの重み付けと重み付けの併用効果を両立する最適化型プルーニングフレームワークを提案する。 我々のアプローチであるCHITAは、古典的なBrain Surgeonフレームワークを拡張し、スピード、メモリ、パフォーマンスを大幅に改善する。
  論文  参考訳（メタデータ） (2023-02-28T15:03:18Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Exact Backpropagation in Binary Weighted Networks with Group Weight Transformations [0.0]
  量子化に基づくモデル圧縮は、推論のためのハイパフォーマンスで高速なアプローチとして機能する。 重みをバイナリ値に制限するモデルは、ユビキタスドット製品の効率的な実装を可能にします。
  論文  参考訳（メタデータ） (2021-07-03T10:29:34Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• ADAHESSIAN: An Adaptive Second Order Optimizer for Machine Learning [91.13797346047984]
  本稿では,2次最適化アルゴリズムであるADAHESSIANを紹介する。 ADAHESSIANは、他の適応最適化手法と比較して、新しい最先端の成果を大きなマージンで達成することを示す。
  論文  参考訳（メタデータ） (2020-06-01T05:00:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。