論文の概要: Revisiting Random Weight Perturbation for Efficiently Improving Generalization

• arxiv url: http://arxiv.org/abs/2404.00357v1
• Date: Sat, 30 Mar 2024 13:18:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 04:10:32.506450
• Title: Revisiting Random Weight Perturbation for Efficiently Improving Generalization
• Title（参考訳）: 一般化を効果的に改善するためのランダムウェイト摂動の再検討
• Authors: Tao Li, Qinghua Tao, Weihao Yan, Zehao Lei, Yingwen Wu, Kun Fang, Mingzhen He, Xiaolin Huang,
• Abstract要約: ディープニューラルネットワーク(DNN)の一般化を改善する2つの方法が提案されている。 本稿では,一般化のためのRWPの利用を再考し,二つの観点から改善を提案する。 拡張RWP法は,特に大規模問題において,一般化の効率化に有効であることを示す。
• 参考スコア（独自算出の注目度）: 26.278620679294562
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Improving the generalization ability of modern deep neural networks (DNNs) is a fundamental challenge in machine learning. Two branches of methods have been proposed to seek flat minima and improve generalization: one led by sharpness-aware minimization (SAM) minimizes the worst-case neighborhood loss through adversarial weight perturbation (AWP), and the other minimizes the expected Bayes objective with random weight perturbation (RWP). While RWP offers advantages in computation and is closely linked to AWP on a mathematical basis, its empirical performance has consistently lagged behind that of AWP. In this paper, we revisit the use of RWP for improving generalization and propose improvements from two perspectives: i) the trade-off between generalization and convergence and ii) the random perturbation generation. Through extensive experimental evaluations, we demonstrate that our enhanced RWP methods achieve greater efficiency in enhancing generalization, particularly in large-scale problems, while also offering comparable or even superior performance to SAM. The code is released at https://github.com/nblt/mARWP.
• Abstract（参考訳）: 現代のディープニューラルネットワーク(DNN)の一般化能力の向上は、機械学習における根本的な課題である。 シャープネス認識最小化(SAM)によって導かれる2つの手法は、対向重み摂動(AWP)による最悪のケースの周辺損失を最小化し、一方はランダム重み摂動(RWP)によりベイズ目標を最小化する。 RWPは計算の利点があり、数学的にAWPと密接に結びついているが、その経験的性能はAWPよりずっと遅れている。 本稿では、一般化を改善するためにRWPの使用を再考し、2つの観点から改善を提案する。 一 一般化と収束のトレードオフ 二 ランダムな摂動発生 広範に実験を行った結果,拡張RWP法は,特に大規模問題において,特に一般化の効率化に有効であり,SAMに匹敵する性能や優れた性能を提供することが示された。 コードはhttps://github.com/nblt/mARWP.comで公開されている。

関連論文リスト

• WARM: On the Benefits of Weight Averaged Reward Models [63.08179139233774]
  Weight Averaged Reward Models (WARM) を提案する。 最良N法とRL法を用いた要約タスクの実験は、WARMがLLM予測の全体的な品質とアライメントを改善することを示す。
  論文  参考訳（メタデータ） (2024-01-22T18:27:08Z)
• Directly Attention Loss Adjusted Prioritized Experience Replay [0.07366405857677226]
  優先度付き再生体験(PER)は、アクセス頻度を人工的に変化させることで、比較的重要なサンプルについてより深く学習することを可能にする。 DALAPが提案され、パラレル自己保持ネットワークを通じて、シフト分布の変化範囲を直接定量化することができる。
  論文  参考訳（メタデータ） (2023-11-24T10:14:05Z)
• Adversarial Weight Perturbation Improves Generalization in Graph Neural Network [146.44185476023074]
  対向重み摂動(Adversarial Weight Perturbation, AWP)は、そのようなミニマを効率的に効果的に見つける技術である。 WT-AWPによるグラフニューラルネットワークの正規化は、多くの異なるグラフ学習タスクやモデルにおける自然および堅牢な一般化を一貫して改善することを示す。
  論文  参考訳（メタデータ） (2022-12-09T16:45:12Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• Improving Generalization in Federated Learning by Seeking Flat Minima [23.937135834522145]
  フェデレートされた設定で訓練されたモデルは、しばしば劣化したパフォーマンスに悩まされ、一般化に失敗する。 本研究では,損失の幾何レンズとヘッセン固有スペクトルを用いて,そのような挙動を考察する。 損失面のシャープさと一般化ギャップを接続する先行研究により,サーバ側のシャープネス・アウェア・最小化 (SAM) や適応バージョン (ASAM) をローカルにトレーニングすることで,一般化を大幅に改善できることが示されている。
  論文  参考訳（メタデータ） (2022-03-22T16:01:04Z)
• {\delta}-SAM: Sharpness-Aware Minimization with Dynamic Reweighting [17.50856935207308]
  対人訓練は、敵に選択された摂動の上にある損失の変化を規則化し、一般化を改善する効果を示した。 最近提案されたシャープネス対応最小化(SAM)アルゴリズムは、逆方向の重みの摂動を採用し、モデルが平坦なミニマに収束することを奨励する。 本稿では,各バッチ内の動的再重み付き摂動について,非ガード型インスタンスが高重み付きである場合,インスタンスごとの摂動より優れた近似法として機能することを提案する。
  論文  参考訳（メタデータ） (2021-12-16T10:36:35Z)
• Predicting Deep Neural Network Generalization with Perturbation Response Curves [58.8755389068888]
  トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。 具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。 PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
  論文  参考訳（メタデータ） (2021-06-09T01:37:36Z)
• ASAM: Adaptive Sharpness-Aware Minimization for Scale-Invariant Learning of Deep Neural Networks [2.8292841621378844]
  スケール不変の適応シャープネスの概念を導入し、対応する一般化境界を提案する。 本稿では,適応的シャープネス認識最小化(ASAM)という新たな学習手法を提案する。 各種ベンチマークデータセットの実験結果から,ASAMはモデル一般化性能の大幅な向上に寄与することが示された。
  論文  参考訳（メタデータ） (2021-02-23T10:26:54Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。