論文の概要: Monge SAM: Robust Reparameterization-Invariant Sharpness-Aware Minimization Based on Loss Geometry

• arxiv url: http://arxiv.org/abs/2502.08448v1
• Date: Wed, 12 Feb 2025 14:40:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:50:06.632915
• Title: Monge SAM: Robust Reparameterization-Invariant Sharpness-Aware Minimization Based on Loss Geometry
• Title（参考訳）: Monge SAM:ロス幾何学に基づくロバスト再パラメータ化不変シャープネス認識最小化
• Authors: Albert Kjøller Jacobsen, Georgios Arvanitidis,
• Abstract要約: シャープネスを意識した最小化(SAM)は、逆方向の摂動の勾配に応じてパラメータを更新することにより、平坦な領域を効率的に見つける。 我々はSAMの再パラメータ化不変バージョンであるMonge SAM (M-SAM)を提案する。 理論的にも経験的にも、マルチモーダルな表現アライメントタスクにおいて、この振る舞いを実証する。
• 参考スコア（独自算出の注目度）: 2.854482269849925
• License:
• Abstract: Recent studies on deep neural networks show that flat minima of the loss landscape correlate with improved generalization. Sharpness-aware minimization (SAM) efficiently finds flat regions by updating the parameters according to the gradient at an adversarial perturbation. The perturbation depends on the Euclidean metric, making SAM non-invariant under reparametrizations, which blurs sharpness and generalization. We propose Monge SAM (M-SAM), a reparametrization invariant version of SAM by considering a Riemannian metric in the parameter space induced naturally by the loss surface. Compared to previous approaches, M-SAM works under any modeling choice, relies only on mild assumptions while being as computationally efficient as SAM. We theoretically argue that M-SAM varies between SAM and gradient descent (GD), which increases robustness to hyperparameter selection and reduces attraction to suboptimal equilibria like saddle points. We demonstrate this behavior both theoretically and empirically on a multi-modal representation alignment task.
• Abstract（参考訳）: 近年のディープニューラルネットワークの研究は、損失ランドスケープの平坦なミニマは一般化の改善と相関していることを示している。 シャープネスを意識した最小化(SAM)は、逆方向の摂動の勾配に応じてパラメータを更新することにより、平坦な領域を効率的に見つける。 摂動はユークリッド計量に依存するため、SAM は再パラメトリゼーションの下で不変ではなく、鋭さと一般化を曖昧にする。 損失面によって自然に誘導されるパラメータ空間におけるリーマン計量を考慮し、SAMの再パラメータ化不変バージョンであるMonge SAM(M-SAM)を提案する。 従来の手法と比較して、M-SAMはどんなモデリングの選択下でも機能し、SAMほど計算的に効率的でありながら、穏やかな仮定にのみ依存する。 理論上、M-SAMはSAMと勾配降下(GD)の間で変化しており、これは超パラメータ選択に対するロバスト性を高め、サドル点のような準最適平衡へのアトラクションを減少させる。 理論的にも経験的にも、マルチモーダルな表現アライメントタスクにおいて、この振る舞いを実証する。

関連論文リスト

• Promptable Anomaly Segmentation with SAM Through Self-Perception Tuning [63.55145330447408]
  異常セグメンテーションのための textbfSelf-textbfPerceptinon textbfTuning (textbfSPT) 法を提案する。 SPT法は, 自己描画型チューニング戦略を取り入れ, 異常マスクの初期粗いドラフトを生成し, 精製処理を行う。
  論文  参考訳（メタデータ） (2024-11-26T08:33:25Z)
• μP$^2$: Effective Sharpness Aware Minimization Requires Layerwise Perturbation Scaling [49.25546155981064]
  シャープネス認識最小化(SAM)を用いたニューラルネットワークの無限幅限界について検討する。 この結果から, SAMのダイナミクスは, 広範なニューラルネットワークにおいて, 最後の層のみにSAMを適用することで効果的に低下することが判明した。 対照的に、階層的なスケーリングを伴う安定したパラメータ化を識別し、それを $textitMaximal Update and Perturbation $$mu$P$2$ と呼びます。
  論文  参考訳（メタデータ） (2024-10-31T16:32:04Z)
• Reweighting Local Mimina with Tilted SAM [24.689230137012174]
  シャープネス・アウェアの最小化(SAM)は、平坦な最小値を求めることにより、無限大の一般化性能を向上させることが実証されている。 本研究では,より平坦で損失の少ない局所解に対して,効率的に高い優先度を付与するTSAM(TSAM)を提案する。
  論文  参考訳（メタデータ） (2024-10-30T02:49:48Z)
• Bilateral Sharpness-Aware Minimization for Flatter Minima [61.17349662062522]
  Sharpness-Aware Minimization (SAM) は Max-Sharpness (MaxS) を減らして一般化を促進する 本稿では,現在の重量を囲む周辺地域のトレーニング損失と最小損失の差を利用して,Min-Sharpness (MinS) と表現する。 MaxSとMinSをマージすることで、最適化中により平坦な方向を示すより良いFIを作成しました。特に、このFIをSAMと組み合わせて提案されたバイラテラルSAM(BSAM)に組み込むことにより、SAMよりもより平坦な最小値を求めることができます。
  論文  参考訳（メタデータ） (2024-09-20T03:01:13Z)
• SAM-PARSER: Fine-tuning SAM Efficiently by Parameter Space Reconstruction [53.871596866809725]
  Segment Anything Model (SAM)は、画像中のオブジェクトのセグメンテーションに強力で汎用的なソリューションを提供するため、注目されている。 パラメータ空間再構成(SAM-PARSER)によるSAMの微調整を効率的に行うことを提案する。 行列分解により基底を求め、その係数を微調整し、基底の最適線形結合により新しいシナリオに合わせたパラメータ空間を再構成する。
  論文  参考訳（メタデータ） (2023-08-28T14:17:16Z)
• Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
  ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。 本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
  論文  参考訳（メタデータ） (2023-06-30T09:33:41Z)
• Normalization Layers Are All That Sharpness-Aware Minimization Needs [53.799769473526275]
  シャープネス認識最小化(SAM)は,ミニマのシャープネスを低減するために提案された。 SAMの逆数ステップにおけるアフィン正規化パラメータ(典型的には総パラメータの0.1%)のみの摂動は、全てのパラメータの摂動よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-07T08:05:46Z)
• mSAM: Micro-Batch-Averaged Sharpness-Aware Minimization [20.560184120992094]
  シャープネス・アウェアの最小化手法は、フラットな最小化に向けて勾配降下法を操る基本損失関数を変更する。 我々は最近開発されたフラットネス解析のためのよく研究された一般的なフレームワークを拡張し、SAMがSGDよりもフラットなミニマを達成し、mSAMがSAMよりもフラットなミニマを達成できることを理論的に示す。
  論文  参考訳（メタデータ） (2023-02-19T23:27:12Z)
• Stability Analysis of Sharpness-Aware Minimization [5.024497308975435]
  Sharpness-Aware(SAM)は、ディープラーニングにおいてフラットなミニマを見つけるための、最近提案されたトレーニング手法である。 本稿では,SAM力学がサドル点付近で発生する収束不安定性を有することを示す。
  論文  参考訳（メタデータ） (2023-01-16T08:42:40Z)
• Improved Deep Neural Network Generalization Using m-Sharpness-Aware Minimization [14.40189851070842]
  シャープネス・アウェア最小化(SAM)は、基礎となる損失関数を修正し、フラットなミニマへ導出する方法を導出する。 近年の研究ではmSAMがSAMよりも精度が高いことが示唆されている。 本稿では,様々なタスクやデータセットにおけるmSAMの包括的評価について述べる。
  論文  参考訳（メタデータ） (2022-12-07T00:37:55Z)
• Rethinking Sharpness-Aware Minimization as Variational Inference [1.749935196721634]
  シャープネス・アウェア (SAM) は、平坦なミニマを求めることによって勾配学習の一般化を改善することを目的としている。 ニューラルネットパラメータのSAMと平均変分推論(MFVI)の接続を確立する。
  論文  参考訳（メタデータ） (2022-10-19T10:35:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。