論文の概要: Domain-Inspired Sharpness-Aware Minimization Under Domain Shifts

• arxiv url: http://arxiv.org/abs/2405.18861v1
• Date: Wed, 29 May 2024 08:22:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 18:19:10.985152
• Title: Domain-Inspired Sharpness-Aware Minimization Under Domain Shifts
• Title（参考訳）: ドメインにインスパイアされたシャープネス-ドメインシフトによる最小化
• Authors: Ruipeng Zhang, Ziqing Fan, Jiangchao Yao, Ya Zhang, Yanfeng Wang,
• Abstract要約: 本稿ではドメインシフト下での最適化のためのドメインインスパイアされたシャープネス認識最小化(DISAM)アルゴリズムを提案する。 これは異なる領域にまたがるSAMの矛盾収束度によって動機付けられ、特定の領域に対する最適化バイアスを引き起こす。 このメカニズムの下では、理論上、DIAMはより高速な総合収束を実現し、原理的に一般化を向上できることを示す。
• 参考スコア（独自算出の注目度）: 38.78485556098491
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper presents a Domain-Inspired Sharpness-Aware Minimization (DISAM) algorithm for optimization under domain shifts. It is motivated by the inconsistent convergence degree of SAM across different domains, which induces optimization bias towards certain domains and thus impairs the overall convergence. To address this issue, we consider the domain-level convergence consistency in the sharpness estimation to prevent the overwhelming (deficient) perturbations for less (well) optimized domains. Specifically, DISAM introduces the constraint of minimizing variance in the domain loss, which allows the elastic gradient calibration in perturbation generation: when one domain is optimized above the averaging level \textit{w.r.t.} loss, the gradient perturbation towards that domain will be weakened automatically, and vice versa. Under this mechanism, we theoretically show that DISAM can achieve faster overall convergence and improved generalization in principle when inconsistent convergence emerges. Extensive experiments on various domain generalization benchmarks show the superiority of DISAM over a range of state-of-the-art methods. Furthermore, we show the superior efficiency of DISAM in parameter-efficient fine-tuning combined with the pretraining models. The source code is released at https://github.com/MediaBrain-SJTU/DISAM.
• Abstract（参考訳）: 本稿ではドメインシフト下での最適化のためのドメインインスパイアされたシャープネス認識最小化(DISAM)アルゴリズムを提案する。 これは、異なる領域にまたがるSAMの不整合収束度によって動機付けられ、特定の領域に対する最適化バイアスを引き起こし、したがって全体の収束を損なう。 この問題に対処するために、我々は、(十分に)最適化されていないドメインに対する圧倒的な(不十分な)摂動を防ぐために、シャープネス推定におけるドメインレベルの収束一貫性を検討する。 特に、DIAMは、ドメイン損失の分散を最小化する制約を導入し、摂動発生における弾性勾配校正を可能にする: 1つのドメインが平均レベル \textit{w.r.t.} の損失以上に最適化されると、そのドメインへの勾配摂動は自動的に弱くなる。 このメカニズムの下では、不整合収束が生じると、理論上disAMがより高速な総合収束を実現し、原理的に一般化を向上できることが示される。 様々な領域一般化ベンチマークの広範囲な実験は、最先端の手法よりもDIAMの方が優れていることを示している。 さらに、パラメータ効率の良い微調整と事前学習モデルの組み合わせにより、DIAMの優れた効率性を示す。 ソースコードはhttps://github.com/MediaBrain-SJTU/DISAMで公開されている。

関連論文リスト

• Sharpness-Aware Gradient Matching for Domain Generalization [84.14789746460197]
  ドメイン一般化(DG)の目標は、ソースドメインから他の見えないドメインに学習したモデルの一般化能力を強化することである。 最近開発されたシャープネス・アウェア最小化(SAM)法は、損失景観のシャープネス測定を最小化することで、この目標を達成することを目的としている。 モデルが小さな損失を伴って平らな最小値に収束することを保証するための2つの条件と,シャープネス・アウェア・グラディエントマッチング(SAGM)というアルゴリズムを提案する。 提案手法は5つのDGベンチマークにおける最先端の手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2023-03-18T07:25:12Z)
• Domain Generalisation via Domain Adaptation: An Adversarial Fourier Amplitude Approach [13.642506915023871]
  最悪の対象ドメインを逆向きに合成し、その最悪の対象ドメインにモデルを適用する。 DomainBedNetデータセットでは、提案手法により、ドメインの一般化性能が大幅に向上する。
  論文  参考訳（メタデータ） (2023-02-23T14:19:07Z)
• Constrained Maximum Cross-Domain Likelihood for Domain Generalization [14.91361835243516]
  ドメインの一般化は、複数のソースドメイン上で一般化可能なモデルを学ぶことを目的としている。 本稿では,異なる領域の後方分布間のKL偏差を最小限に抑える新しい領域一般化法を提案する。 Digits-DG、PACS、Office-Home、MiniDomainNetの4つの標準ベンチマークデータセットの実験は、我々のメソッドの優れたパフォーマンスを強調している。
  論文  参考訳（メタデータ） (2022-10-09T03:41:02Z)
• Generalizing to Unseen Domains with Wasserstein Distributional Robustness under Limited Source Knowledge [22.285156929279207]
  ドメインの一般化は、目に見えないターゲットドメインでうまく機能する普遍的なモデルを学ぶことを目的としている。 We propose a novel domain generalization framework called Wasserstein Distributionally Robust Domain Generalization (WDRDG)。
  論文  参考訳（メタデータ） (2022-07-11T14:46:50Z)
• Domain Adversarial Training: A Game Perspective [80.3821370633883]
  本稿では,ゲーム理論の観点から,ドメイン・アドバイザ・トレーニングにおける最適解を定義する。 ドメイン・アドバイザリ・トレーニングにおける降下は、グラデーションの収束保証に違反し、しばしば転送性能を損なう可能性があることを示す。 実装は簡単で、追加のパラメータが不要で、あらゆるドメイン・アドバイザリ・フレームワークにプラグインすることができます。
  論文  参考訳（メタデータ） (2022-02-10T22:17:30Z)
• Model-Based Domain Generalization [96.84818110323518]
  本稿では,モデルベースドメイン一般化問題に対する新しいアプローチを提案する。 我々のアルゴリズムは、最新のwildsベンチマークの最先端手法を最大20ポイント上回った。
  論文  参考訳（メタデータ） (2021-02-23T00:59:02Z)
• On the Convergence of Overlapping Schwarz Decomposition for Nonlinear Optimal Control [7.856998585396421]
  非線形シュワルツ問題を解くために重なり合う分解アルゴリズムの収束特性について検討する。 アルゴリズムは局所的な線形収束を示し、収束速度は重なり合うサイズで指数関数的に向上することを示す。
  論文  参考訳（メタデータ） (2020-05-14T00:19:28Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)
• Bi-Directional Generation for Unsupervised Domain Adaptation [61.73001005378002]
  教師なしのドメイン適応は、確立されたソースドメイン情報に依存するラベルなしのターゲットドメインを促進する。 従来の手法では、潜在空間におけるドメインの不一致を強制的に低減することで、本質的なデータ構造が破壊される。 本稿では、2つの中間領域をブリッジソースとターゲットドメインに補間する一貫した分類器を用いた双方向生成ドメイン適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-12T09:45:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。