論文の概要: HERO: Hessian-Enhanced Robust Optimization for Unifying and Improving Generalization and Quantization Performance

• arxiv url: http://arxiv.org/abs/2111.11986v1
• Date: Tue, 23 Nov 2021 16:32:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-24 16:08:48.501307
• Title: HERO: Hessian-Enhanced Robust Optimization for Unifying and Improving Generalization and Quantization Performance
• Title（参考訳）: HERO:一般化と量子化性能の統一と改善のためのヘシアン強化ロバスト最適化
• Authors: Huanrui Yang, Xiaoxuan Yang, Neil Zhenqiang Gong and Yiran Chen
• Abstract要約: 我々は、勾配に基づく学習プロセスを通じて、ヘッセン固有値を最小限に抑えるため、ヘッセンで強化された頑健な最適化手法HEROを提案する。 HEROは試験精度を最大3.8%向上させ、80%のトレーニングラベル摂動で最大30%高い精度を達成し、幅広い精度で最高のトレーニング後の量子化精度を実現する。
• 参考スコア（独自算出の注目度）: 43.478851400266926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the recent demand of deploying neural network models on mobile and edge devices, it is desired to improve the model's generalizability on unseen testing data, as well as enhance the model's robustness under fixed-point quantization for efficient deployment. Minimizing the training loss, however, provides few guarantees on the generalization and quantization performance. In this work, we fulfill the need of improving generalization and quantization performance simultaneously by theoretically unifying them under the framework of improving the model's robustness against bounded weight perturbation and minimizing the eigenvalues of the Hessian matrix with respect to model weights. We therefore propose HERO, a Hessian-enhanced robust optimization method, to minimize the Hessian eigenvalues through a gradient-based training process, simultaneously improving the generalization and quantization performance. HERO enables up to a 3.8% gain on test accuracy, up to 30% higher accuracy under 80% training label perturbation, and the best post-training quantization accuracy across a wide range of precision, including a >10% accuracy improvement over SGD-trained models for common model architectures on various datasets.
• Abstract（参考訳）: 近年,モバイルおよびエッジデバイス上でのニューラルネットワークモデルの展開が求められているため,非知覚テストデータに対するモデルの一般化性の向上や,固定点量子化によるモデルの堅牢性の向上が望まれている。 しかしながら、トレーニング損失の最小化は、一般化と量子化のパフォーマンスに関する保証をほとんど与えていない。 本研究では, モデル重みに関するヘッセン行列の固有値の最小化と有界重み摂動に対するモデルの堅牢性の向上という枠組みの下で, 理論的に統一することで, 一般化と量子化性能を同時に向上する必要性を満たす。 そこで我々は,Hessian-enhanced robust optimization methodであるHEROを提案し,Hessian固有値を勾配に基づく学習プロセスにより最小化し,一般化と量子化性能を同時に向上させる。 HEROは、テスト精度が最大3.8%向上し、80%のトレーニングラベルの摂動で最大30%高い精度を実現し、さまざまなデータセット上の共通モデルアーキテクチャのためのSGDトレーニングモデルに対する10%以上の精度の改善を含む、幅広い精度で最高のトレーニング後の量子化精度を実現する。

関連論文リスト

• QT-DoG: Quantization-aware Training for Domain Generalization [58.439816306817306]
  領域一般化のための量子化アウェアトレーニング(QT-DoG)を提案する。 QT-DoGは、モデル重みのノイズを誘導することで暗黙の正則化器として量子化を利用する。 我々は、QT-DoGが様々なデータセット、アーキテクチャ、量子化アルゴリズムにまたがって一般化することを実証する。
  論文  参考訳（メタデータ） (2024-10-08T13:21:48Z)
• TRAWL: Tensor Reduced and Approximated Weights for Large Language Models [11.064868044313855]
  TRAWL (Tensor Reduced and Approximated Weights for Large Language Models) は、複数の重み行列に対してテンソル分解を適用し、大域的な構造パターンを捉えることでLLMを効果的に分解する手法である。 我々の実験によると、TRAWLは、追加のデータやトレーニング、微調整を必要とせず、ベンチマークデータセットのベースラインモデルよりも最大16%モデル性能を向上させる。
  論文  参考訳（メタデータ） (2024-06-25T04:01:32Z)
• Clipped Uniform Quantizers for Communication-Efficient Federated Learning [3.38220960870904]
  本稿では,フェデレート学習環境における一様量子化手法を提案する。 最適クリッピングしきい値と適応量子化スキームを用いることで、モデル重み伝達のビット要求を著しく削減する。
  論文  参考訳（メタデータ） (2024-05-22T05:48:25Z)
• Meta-learning to Calibrate Gaussian Processes with Deep Kernels for Regression Uncertainty Estimation [43.23399636191726]
  本稿では,遅延不確実性推定性能を改善するために,深層カーネルGPの校正のためのメタラーニング手法を提案する。 提案手法は,テスト期待校正誤差を最小限に抑えて,様々なタスクのデータを用いて不確実性を校正する方法をメタ学習する。 実験により,提案手法は高い回帰性能を維持しながら不確実性推定性能を向上させることを示した。
  論文  参考訳（メタデータ） (2023-12-13T07:58:47Z)
• Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models [88.80146574509195]
  量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。 種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:09:56Z)
• On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
  エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。 このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。 精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
  論文  参考訳（メタデータ） (2023-09-05T04:39:34Z)
• Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
  本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。 指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。 当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-05-30T10:07:17Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。