論文の概要: Minimum sharpness: Scale-invariant parameter-robustness of neural networks

• arxiv url: http://arxiv.org/abs/2106.12612v1
• Date: Wed, 23 Jun 2021 18:20:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-25 15:03:51.051572
• Title: Minimum sharpness: Scale-invariant parameter-robustness of neural networks
• Title（参考訳）: 最小シャープネス:ニューラルネットワークのスケール不変パラメータロバストネス
• Authors: Hikaru Ibayashi, Takuo Hamaguchi, Masaaki Imaizum
• Abstract要約: 本稿では,新しいシャープネス尺度,Minimum Sharpnessを提案する。 NNは、機能的性質が完全に同一である同値なクラスを構成する特定のスケール変換を持つことが知られている。 我々のシャープネスはNNの一般化と有効な相関を持ち、既存のシャープネス対策よりも計算コストが低い。
• 参考スコア（独自算出の注目度）: 1.8692254863855962
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Toward achieving robust and defensive neural networks, the robustness against the weight parameters perturbations, i.e., sharpness, attracts attention in recent years (Sun et al., 2020). However, sharpness is known to remain a critical issue, "scale-sensitivity." In this paper, we propose a novel sharpness measure, Minimum Sharpness. It is known that NNs have a specific scale transformation that constitutes equivalent classes where functional properties are completely identical, and at the same time, their sharpness could change unlimitedly. We define our sharpness through a minimization problem over the equivalent NNs being invariant to the scale transformation. We also develop an efficient and exact technique to make the sharpness tractable, which reduces the heavy computational costs involved with Hessian. In the experiment, we observed that our sharpness has a valid correlation with the generalization of NNs and runs with less computational cost than existing sharpness measures.
• Abstract（参考訳）: 堅牢で防御的なニューラルネットワークの実現に向けて、重量パラメータ摂動(シャープネス)に対する堅牢性は近年注目を集めている(Sun et al., 2020)。 しかし、鋭さは「スケール感度」という重要な問題のままである。 本稿では,新しいシャープネス尺度,Minimum Sharpnessを提案する。 NNは、機能的特性が完全に同一である同値なクラスを構成する特定のスケール変換を持ち、同時にそのシャープさは無限に変化することが知られている。 我々は、スケール変換に不変な等価NNに対する最小化問題を通じて、シャープさを定義する。 また, 研削性を実現するための効率的かつ精密な手法を開発し, ヘシアンの計算コストを低減した。 実験の結果,我々のシャープネスはNNの一般化と有効に相関しており,既存のシャープネス対策よりも計算コストが低いことがわかった。

関連論文リスト

• A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
  我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。 これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
  論文  参考訳（メタデータ） (2024-06-06T01:52:09Z)
• A Modern Look at the Relationship between Sharpness and Generalization [64.03012884804458]
  ミニマのシャープ性は、ディープネットワークの一般化と相関できる有望な量である。 シャープネスは、ニューラルネットワークの再パラメータ化の下では不変ではない。 シャープネスは一般化とよく相関しないことを示す。
  論文  参考訳（メタデータ） (2023-02-14T12:38:12Z)
• SAMSON: Sharpness-Aware Minimization Scaled by Outlier Normalization for Improving DNN Generalization and Robustness [11.249410336982258]
  エネルギー効率の高いディープニューラルネットワーク(DNN)アクセラレータは、推論時にパフォーマンスを低下させる非イデオロギーの傾向がある。 既存の手法では、トレーニング中にDNNの重み付けに摂動を加え、ノイズの多いハードウェアでの推論をシミュレートする。 本研究では,損失値と損失シャープネスの両方を最適化することにより,ノイズの多いハードウェアに対する推論時のロバスト性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2022-11-18T16:58:23Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• Flattening Sharpness for Dynamic Gradient Projection Memory Benefits Continual Learning [67.99349091593324]
  連続学習シナリオにおける減量景観と感度安定性の関係について検討した。 提案手法は,忘れを効果的に軽減しつつ,新しいスキルを習得する能力に優れたベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2021-10-09T15:13:44Z)
• ASAM: Adaptive Sharpness-Aware Minimization for Scale-Invariant Learning of Deep Neural Networks [2.8292841621378844]
  スケール不変の適応シャープネスの概念を導入し、対応する一般化境界を提案する。 本稿では,適応的シャープネス認識最小化(ASAM)という新たな学習手法を提案する。 各種ベンチマークデータセットの実験結果から,ASAMはモデル一般化性能の大幅な向上に寄与することが示された。
  論文  参考訳（メタデータ） (2021-02-23T10:26:54Z)
• BN-invariant sharpness regularizes the training model to better generalization [72.97766238317081]
  BN下等価ネットワークに対して一貫した値を与えるシャープネス測定法BN-Sharpnessを提案する。 我々はBNシャープネスを用いてトレーニングを正規化し、アルゴリズムを設計し、新しい正規化対象を最小化する。
  論文  参考訳（メタデータ） (2021-01-08T10:23:24Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。