論文の概要: DGSAM: Domain Generalization via Individual Sharpness-Aware Minimization

• arxiv url: http://arxiv.org/abs/2503.23430v1
• Date: Sun, 30 Mar 2025 13:20:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 19:35:57.115872
• Title: DGSAM: Domain Generalization via Individual Sharpness-Aware Minimization
• Title（参考訳）: DGSAM: 個別シャープネス認識最小化によるドメインの一般化
• Authors: Youngjun Song, Youngsik Hwang, Jonghun Lee, Heechang Lee, Dong-Young Lim,
• Abstract要約: ドメイン一般化(Domain Generalization, DG)は、一連のソースドメインのみをトレーニングすることで、目に見えないドメインに適切に一般化できるモデルを学習することを目的としている。 Sharpness-Aware Minimization (SAM) は、全体の損失状況に平坦なミニマを見つけることを目的として、一般的なアプローチである。 本稿では,DGSAM(Dereased-overhead Gradual Sharpness-Aware Minimization)と呼ばれる新しいDGアルゴリズムを導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Domain generalization (DG) aims to learn models that can generalize well to unseen domains by training only on a set of source domains. Sharpness-Aware Minimization (SAM) has been a popular approach for this, aiming to find flat minima in the total loss landscape. However, we show that minimizing the total loss sharpness does not guarantee sharpness across individual domains. In particular, SAM can converge to fake flat minima, where the total loss may exhibit flat minima, but sharp minima are present in individual domains. Moreover, the current perturbation update in gradient ascent steps is ineffective in directly updating the sharpness of individual domains. Motivated by these findings, we introduce a novel DG algorithm, Decreased-overhead Gradual Sharpness-Aware Minimization (DGSAM), that applies gradual domain-wise perturbation to reduce sharpness consistently across domains while maintaining computational efficiency. Our experiments demonstrate that DGSAM outperforms state-of-the-art DG methods, achieving improved robustness to domain shifts and better performance across various benchmarks, while reducing computational overhead compared to SAM.
• Abstract（参考訳）: ドメイン一般化(Domain Generalization, DG)は、一連のソースドメインのみをトレーニングすることで、目に見えないドメインに適切に一般化できるモデルを学習することを目的としている。 Sharpness-Aware Minimization (SAM) は、全体の損失状況に平坦なミニマを見つけることを目的として、一般的なアプローチである。 しかし,全損失シャープネスの最小化は各領域のシャープネスを保証しないことを示す。 特にSAMは、全体の損失が平坦なミニマを示す可能性がある偽の平坦なミニマに収束することができるが、個々の領域に鋭いミニマが存在する。 さらに、勾配上昇段階における現在の摂動更新は、個々のドメインのシャープネスを直接更新する上では効果がない。 これらの知見に触発されて、我々は新しいDGアルゴリズムであるDereased-overhead Gradual Sharpness-Aware Minimization (DGSAM)を導入する。 実験により,DGSAMは最先端のDG法より優れ,ドメインシフトに対する堅牢性の向上,各種ベンチマークにおける性能向上を実現し,SAMと比較して計算オーバーヘッドを低減した。

関連論文リスト

• GCSAM: Gradient Centralized Sharpness Aware Minimization [45.05109291721135]
  シャープネス認識最小化(SAM)は、ロスランドスケープのシャープネスを低減するための効果的な最適化手法として登場した。 本稿では、勾配集中化(GC)を組み込んで収束を安定化・加速するグラディエント・シャープネス・アウェア最小化(GCSAM)を提案する。 GCSAMは、一般化と計算効率の点でSAMとAdamを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-01-20T16:42:31Z)
• Domain-Inspired Sharpness-Aware Minimization Under Domain Shifts [38.78485556098491]
  本稿ではドメインシフト下での最適化のためのドメインインスパイアされたシャープネス認識最小化(DISAM)アルゴリズムを提案する。 これは異なる領域にまたがるSAMの矛盾収束度によって動機付けられ、特定の領域に対する最適化バイアスを引き起こす。 このメカニズムの下では、理論上、DIAMはより高速な総合収束を実現し、原理的に一般化を向上できることを示す。
  論文  参考訳（メタデータ） (2024-05-29T08:22:33Z)
• Friendly Sharpness-Aware Minimization [62.57515991835801]
  シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。 逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-19T01:39:33Z)
• Normalization Layers Are All That Sharpness-Aware Minimization Needs [53.799769473526275]
  シャープネス認識最小化(SAM)は,ミニマのシャープネスを低減するために提案された。 SAMの逆数ステップにおけるアフィン正規化パラメータ(典型的には総パラメータの0.1%)のみの摂動は、全てのパラメータの摂動よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-07T08:05:46Z)
• Sharpness-Aware Gradient Matching for Domain Generalization [84.14789746460197]
  ドメイン一般化(DG)の目標は、ソースドメインから他の見えないドメインに学習したモデルの一般化能力を強化することである。 最近開発されたシャープネス・アウェア最小化(SAM)法は、損失景観のシャープネス測定を最小化することで、この目標を達成することを目的としている。 モデルが小さな損失を伴って平らな最小値に収束することを保証するための2つの条件と,シャープネス・アウェア・グラディエントマッチング(SAGM)というアルゴリズムを提案する。 提案手法は5つのDGベンチマークにおける最先端の手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2023-03-18T07:25:12Z)
• Gradient Norm Aware Minimization Seeks First-Order Flatness and Improves Generalization [33.50116027503244]
  ゼロ階平坦性は低勾配誤差で最小値の判別に不十分であることを示す。 また,全方向にわたって一様に曲率の小さい最小値を求めるため,GAM(Gradient norm Aware Minimization)と呼ばれる新しいトレーニング手順を提案する。
  論文  参考訳（メタデータ） (2023-03-03T16:58:53Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• Surrogate Gap Minimization Improves Sharpness-Aware Training [52.58252223573646]
  Surrogate textbfGap Guided textbfSharpness-textbfAware textbfMinimization (GSAM)は、Sharpness-Aware Minimization (SAM)に対する新しい改善であり、計算オーバーヘッドが無視できる。 GSAMは小さい損失(ステップ1)と低いシャープネス(ステップ2)の両方の領域を求め、高い一般化能力を持つモデルを生み出す。
  論文  参考訳（メタデータ） (2022-03-15T16:57:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。