論文の概要: Fisher SAM: Information Geometry and Sharpness Aware Minimisation

• arxiv url: http://arxiv.org/abs/2206.04920v1
• Date: Fri, 10 Jun 2022 07:42:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-14 00:08:17.677495
• Title: Fisher SAM: Information Geometry and Sharpness Aware Minimisation
• Title（参考訳）: Fisher SAM:情報幾何学とシャープネスの最小化
• Authors: Minyoung Kim, Da Li, Shell Xu Hu, Timothy M. Hospedales
• Abstract要約: 最近のシャープネス認識最小化(SAM)は平坦なミニマを見つけることが知られている。 SAMは、現在のイテレート周辺の小さな地区内での最大損失値を報告することにより、損失関数を基本的に変更する。 近傍を定義する際に, モデルパラメータ空間の情報幾何学, すなわち, SAMのユークリッド球をフィッシャー情報によって誘導される楕円形に置き換える。
• 参考スコア（独自算出の注目度）: 81.72160507751028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent sharpness-aware minimisation (SAM) is known to find flat minima which is beneficial for better generalisation with improved robustness. SAM essentially modifies the loss function by reporting the maximum loss value within the small neighborhood around the current iterate. However, it uses the Euclidean ball to define the neighborhood, which can be inaccurate since loss functions for neural networks are typically defined over probability distributions (e.g., class predictive probabilities), rendering the parameter space non Euclidean. In this paper we consider the information geometry of the model parameter space when defining the neighborhood, namely replacing SAM's Euclidean balls with ellipsoids induced by the Fisher information. Our approach, dubbed Fisher SAM, defines more accurate neighborhood structures that conform to the intrinsic metric of the underlying statistical manifold. For instance, SAM may probe the worst-case loss value at either a too nearby or inappropriately distant point due to the ignorance of the parameter space geometry, which is avoided by our Fisher SAM. Another recent Adaptive SAM approach stretches/shrinks the Euclidean ball in accordance with the scale of the parameter magnitudes. This might be dangerous, potentially destroying the neighborhood structure. We demonstrate improved performance of the proposed Fisher SAM on several benchmark datasets/tasks.
• Abstract（参考訳）: 近年のシャープネス認識最小化 (SAM) は, 剛性向上による一般化に有用である平坦なミニマを見いだすことが知られている。 SAMは、現在のイテレート周辺の小さな地区内での最大損失値を報告することにより、損失関数を基本的に変更する。 しかし、ニューラルネットワークの損失関数は一般に確率分布(例えば、クラス予測確率)上で定義されるので、その近傍を定義するためにユークリッド球を使い、パラメータ空間を非ユークリッド空間とすることができる。 本稿では,近所の定義におけるモデルパラメータ空間の情報幾何,すなわちSAMのユークリッド球をフィッシャー情報によって誘導される楕円形に置き換える手法について考察する。 フィッシャーSAMと呼ばれる我々の手法は、基礎となる統計多様体の内在的計量に適合するより正確な近傍構造を定義する。 例えば、SAMはパラメータ空間幾何学の無知のため、近すぎるか不適切な距離で最悪の損失値を探索するが、これはフィッシャーSAMによって避けられる。 もうひとつのAdaptive SAMアプローチは、パラメータのスケールに応じてユークリッド球を伸縮/縮小する。 これは危険であり、近隣の構造を破壊する可能性がある。 いくつかのベンチマークデータセット/タスクで提案したFisher SAMの性能向上を示す。

関連論文リスト

• Bilateral Sharpness-Aware Minimization for Flatter Minima [61.17349662062522]
  Sharpness-Aware Minimization (SAM) は Max-Sharpness (MaxS) を減らして一般化を促進する 本稿では,現在の重量を囲む周辺地域のトレーニング損失と最小損失の差を利用して,Min-Sharpness (MinS) と表現する。 MaxSとMinSをマージすることで、最適化中により平坦な方向を示すより良いFIを作成しました。特に、このFIをSAMと組み合わせて提案されたバイラテラルSAM(BSAM)に組み込むことにより、SAMよりもより平坦な最小値を求めることができます。
  論文  参考訳（メタデータ） (2024-09-20T03:01:13Z)
• Improving SAM Requires Rethinking its Optimization Formulation [57.601718870423454]
  Sharpness-Aware Minimization (SAM) は、もともとネットワークの重みと有界摂動がそれぞれ同じ差分損失を最小/最大化しようとするゼロサムゲームとして定式化されている。 我々は SAM を 0-1 の損失を用いて再定式化すべきであると主張する。連続緩和として、最小化(最大化)プレイヤーが 0-1 の損失に対して上界(より下界)をサロゲートする単純なアプローチに従う。これは BiSAM と呼ばれる双レベル最適化問題として SAM の新たな定式化につながる。
  論文  参考訳（メタデータ） (2024-07-17T20:22:33Z)
• Momentum-SAM: Sharpness Aware Minimization without Computational Overhead [0.6577148087211809]
  本稿では,蓄積された運動量ベクトルの方向にパラメータを摂動させ,計算オーバーヘッドやメモリ要求を伴わずに低シャープ性を実現するMomentum-SAMを提案する。 我々は、MSAMを詳細に評価し、NAG、SAM、MSAMの分離可能なメカニズムの学習最適化と一般化に関する知見を明らかにする。
  論文  参考訳（メタデータ） (2024-01-22T15:19:18Z)
• Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
  ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。 本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
  論文  参考訳（メタデータ） (2023-06-30T09:33:41Z)
• Rethinking Sharpness-Aware Minimization as Variational Inference [1.749935196721634]
  シャープネス・アウェア (SAM) は、平坦なミニマを求めることによって勾配学習の一般化を改善することを目的としている。 ニューラルネットパラメータのSAMと平均変分推論(MFVI)の接続を確立する。
  論文  参考訳（メタデータ） (2022-10-19T10:35:54Z)
• Improving Sharpness-Aware Minimization with Fisher Mask for Better Generalization on Language Models [93.85178920914721]
  限られた訓練コーパス上の微調整された大きな事前訓練された言語モデルは、通常、計算の貧弱さに悩まされる。 本稿では,新しい最適化手法であるFSAMを提案し,SAMの効率と性能を改善するためにフィッシャーマスクを導入した。 FSAMは4種類の事前訓練モデルにおいて,バニラSAMの平均スコア0.671.98を上回っていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T14:53:58Z)
• Surrogate Gap Minimization Improves Sharpness-Aware Training [52.58252223573646]
  Surrogate textbfGap Guided textbfSharpness-textbfAware textbfMinimization (GSAM)は、Sharpness-Aware Minimization (SAM)に対する新しい改善であり、計算オーバーヘッドが無視できる。 GSAMは小さい損失(ステップ1)と低いシャープネス(ステップ2)の両方の領域を求め、高い一般化能力を持つモデルを生み出す。
  論文  参考訳（メタデータ） (2022-03-15T16:57:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。