論文の概要: DGSAM: Domain Generalization via Individual Sharpness-Aware Minimization

• arxiv url: http://arxiv.org/abs/2503.23430v2
• Date: Mon, 30 Jun 2025 15:58:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 15:08:39.23822
• Title: DGSAM: Domain Generalization via Individual Sharpness-Aware Minimization
• Title（参考訳）: DGSAM: 個別シャープネス認識最小化によるドメインの一般化
• Authors: Youngjun Song, Youngsik Hwang, Jonghun Lee, Heechang Lee, Dong-Young Lim,
• Abstract要約: ドメインの一般化は、複数のソースドメインでトレーニングすることで、目に見えないターゲットドメインでうまく機能するモデルを学習することを目的としている。 Sharpness-Aware Minimization (SAM) は、一般化を改善するフラットなミニマを見つけることで知られている。 我々は,段階的なドメインの摂動を計算的に効率よく適用し,個々のシャープネスを一貫して低減するtextitDecreased-overhead Gradual SAM (DGSAM)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Domain generalization (DG) aims to learn models that perform well on unseen target domains by training on multiple source domains. Sharpness-Aware Minimization (SAM), known for finding flat minima that improve generalization, has therefore been widely adopted in DG. However, our analysis reveals that SAM in DG may converge to \textit{fake flat minima}, where the total loss surface appears flat in terms of global sharpness but remains sharp with respect to individual source domains. To understand this phenomenon more precisely, we formalize the average worst-case domain risk as the maximum loss under domain distribution shifts within a bounded divergence, and derive a generalization bound that reveals the limitations of global sharpness-aware minimization. In contrast, we show that individual sharpness provides a valid upper bound on this risk, making it a more suitable proxy for robust domain generalization. Motivated by these insights, we shift the DG paradigm toward minimizing individual sharpness across source domains. We propose \textit{Decreased-overhead Gradual SAM (DGSAM)}, which applies gradual domain-wise perturbations in a computationally efficient manner to consistently reduce individual sharpness. Extensive experiments demonstrate that DGSAM not only improves average accuracy but also reduces performance variance across domains, while incurring less computational overhead than SAM.
• Abstract（参考訳）: ドメイン一般化(DG)は、複数のソースドメインでトレーニングすることで、目に見えないターゲットドメインでうまく機能するモデルを学習することを目的としている。 一般化を改善する平らなミニマを見つけることで知られるSAM(Sharpness-Aware Minimization)は、DGにおいて広く採用されている。 しかし, 解析の結果, DG におけるSAM は, 全体の損失面が大域的鋭さで平坦に見えるが, 個々のソース領域に関して鋭いままであるような, textit{fake flat minima} に収束する可能性が示唆された。 この現象をより正確に理解するために、領域分布シフトの最大損失として平均最悪のドメインリスクを定式化し、大域的シャープネス認識最小化の限界を明らかにする一般化境界を導出する。 対照的に、個々のシャープネスは、このリスクに有効な上限を与え、堅牢な領域一般化のためのより適切なプロキシであることを示す。 これらの知見に触発されて、DGパラダイムをソースドメイン全体の個々のシャープネスの最小化にシフトする。 そこで我々は,段階的な領域内摂動を計算的に効率よく適用し,個々のシャープネスを一貫して低減する「textit{Decreased-overhead Gradual SAM (DGSAM)}」を提案する。 大規模な実験では、DGSAMは平均精度を向上するだけでなく、ドメイン間のパフォーマンスのばらつきを低減し、SAMよりも計算オーバーヘッドが少ないことが示されている。

関連論文リスト

• GCSAM: Gradient Centralized Sharpness Aware Minimization [45.05109291721135]
  シャープネス認識最小化(SAM)は、ロスランドスケープのシャープネスを低減するための効果的な最適化手法として登場した。 本稿では、勾配集中化(GC)を組み込んで収束を安定化・加速するグラディエント・シャープネス・アウェア最小化(GCSAM)を提案する。 GCSAMは、一般化と計算効率の点でSAMとAdamを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-01-20T16:42:31Z)
• Domain-Inspired Sharpness-Aware Minimization Under Domain Shifts [38.78485556098491]
  本稿ではドメインシフト下での最適化のためのドメインインスパイアされたシャープネス認識最小化(DISAM)アルゴリズムを提案する。 これは異なる領域にまたがるSAMの矛盾収束度によって動機付けられ、特定の領域に対する最適化バイアスを引き起こす。 このメカニズムの下では、理論上、DIAMはより高速な総合収束を実現し、原理的に一般化を向上できることを示す。
  論文  参考訳（メタデータ） (2024-05-29T08:22:33Z)
• Friendly Sharpness-Aware Minimization [62.57515991835801]
  シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。 逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-19T01:39:33Z)
• Normalization Layers Are All That Sharpness-Aware Minimization Needs [53.799769473526275]
  シャープネス認識最小化(SAM)は,ミニマのシャープネスを低減するために提案された。 SAMの逆数ステップにおけるアフィン正規化パラメータ(典型的には総パラメータの0.1%)のみの摂動は、全てのパラメータの摂動よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-07T08:05:46Z)
• Sharpness-Aware Gradient Matching for Domain Generalization [84.14789746460197]
  ドメイン一般化(DG)の目標は、ソースドメインから他の見えないドメインに学習したモデルの一般化能力を強化することである。 最近開発されたシャープネス・アウェア最小化(SAM)法は、損失景観のシャープネス測定を最小化することで、この目標を達成することを目的としている。 モデルが小さな損失を伴って平らな最小値に収束することを保証するための2つの条件と,シャープネス・アウェア・グラディエントマッチング(SAGM)というアルゴリズムを提案する。 提案手法は5つのDGベンチマークにおける最先端の手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2023-03-18T07:25:12Z)
• Gradient Norm Aware Minimization Seeks First-Order Flatness and Improves Generalization [33.50116027503244]
  ゼロ階平坦性は低勾配誤差で最小値の判別に不十分であることを示す。 また,全方向にわたって一様に曲率の小さい最小値を求めるため,GAM(Gradient norm Aware Minimization)と呼ばれる新しいトレーニング手順を提案する。
  論文  参考訳（メタデータ） (2023-03-03T16:58:53Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• Surrogate Gap Minimization Improves Sharpness-Aware Training [52.58252223573646]
  Surrogate textbfGap Guided textbfSharpness-textbfAware textbfMinimization (GSAM)は、Sharpness-Aware Minimization (SAM)に対する新しい改善であり、計算オーバーヘッドが無視できる。 GSAMは小さい損失(ステップ1)と低いシャープネス(ステップ2)の両方の領域を求め、高い一般化能力を持つモデルを生み出す。
  論文  参考訳（メタデータ） (2022-03-15T16:57:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。