論文の概要: Seeking Consistent Flat Minima for Better Domain Generalization via Refining Loss Landscapes

• arxiv url: http://arxiv.org/abs/2412.13573v1
• Date: Wed, 18 Dec 2024 07:45:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:49:04.323139
• Title: Seeking Consistent Flat Minima for Better Domain Generalization via Refining Loss Landscapes
• Title（参考訳）: ランドスケープの精細化によるドメイン一般化のための一貫性フラットミニマの探索
• Authors: Aodi Li, Liansheng Zhuang, Xiao Long, Minghong Yao, Shafei Wang,
• Abstract要約: ドメインの一般化は、複数のトレーニングドメインからモデルを学び、それを見えないテストドメインに一般化することを目的としています。 最近の理論では、損失ランドスケープの平坦なミニマムにパラメータを持つ深層モデルを求めることは、領域外一般化誤差を著しく減少させることが示されている。 既存の手法は、異なる領域における損失ランドスケープの整合性を無視することが多く、結果として、全ての領域において最適な平坦なミニマに同時に存在しないモデルが生じる。
• 参考スコア（独自算出の注目度）: 3.1099372412393524
• License:
• Abstract: Domain generalization aims to learn a model from multiple training domains and generalize it to unseen test domains. Recent theory has shown that seeking the deep models, whose parameters lie in the flat minima of the loss landscape, can significantly reduce the out-of-domain generalization error. However, existing methods often neglect the consistency of loss landscapes in different domains, resulting in models that are not simultaneously in the optimal flat minima in all domains, which limits their generalization ability. To address this issue, this paper proposes an iterative Self-Feedback Training (SFT) framework to seek consistent flat minima that are shared across different domains by progressively refining loss landscapes during training. It alternatively generates a feedback signal by measuring the inconsistency of loss landscapes in different domains and refines these loss landscapes for greater consistency using this feedback signal. Benefiting from the consistency of the flat minima within these refined loss landscapes, our SFT helps achieve better out-of-domain generalization. Extensive experiments on DomainBed demonstrate superior performances of SFT when compared to state-of-the-art sharpness-aware methods and other prevalent DG baselines. On average across five DG benchmarks, SFT surpasses the sharpness-aware minimization by 2.6% with ResNet-50 and 1.5% with ViT-B/16, respectively. The code will be available soon.
• Abstract（参考訳）: ドメインの一般化は、複数のトレーニングドメインからモデルを学び、それを見えないテストドメインに一般化することを目的としています。 最近の理論では、損失ランドスケープの平坦なミニマムにパラメータを持つ深層モデルを求めることは、領域外一般化誤差を著しく減少させることが示されている。 しかし、既存の手法は、異なる領域における損失ランドスケープの整合性を無視することが多く、結果として、すべての領域において最適な平坦なミニマに同時に存在しないモデルが一般化能力を制限している。 この問題に対処するため,本論文では,各領域にまたがる一貫した平らなミニマを求めるための,段階的自己フィードバックトレーニング(SFT)フレームワークを提案する。 代わりに、異なる領域における損失ランドスケープの不整合を測定してフィードバック信号を生成し、このフィードバック信号を用いてこれらの損失ランドスケープをより整合性に改良する。 これらの改良された損失景観における平坦なミニマの整合性から、SFTはドメイン外一般化の改善に寄与する。 DomainBedの大規模な実験は、最先端のシャープネス・アウェア法や他の一般的なDGベースラインと比較して、SFTの優れた性能を示す。 5つのDGベンチマークで、SFTは、それぞれResNet-50で2.6%、ViT-B/16で1.5%のシャープネス認識最小化を達成している。 コードはまもなく利用可能になる。

関連論文リスト

• Flatten Long-Range Loss Landscapes for Cross-Domain Few-Shot Learning [8.729669566501103]
  クロスドメインの少数ショット学習は、ターゲットドメイン内の限られたトレーニングデータから知識を取得することを目的としている。 我々は、CNNとViTの両方で元のものを置き換える新しい正規化レイヤを導入する。 提案手法は,個々のデータセットに対する現在のベストアプローチと比較して,最大9%の性能向上を実現している。
  論文  参考訳（メタデータ） (2024-03-01T14:44:41Z)
• Gradient Alignment for Cross-Domain Face Anti-Spoofing [26.517887637150594]
  本稿では,新たな学習目標であるGAC-FASを紹介する。 従来のシャープネス対応最小化器とは異なり、GAC-FASは各領域の上昇点を特定し、一般化勾配の更新を制御する。 ドメイン間FASデータセットの厳密な検証によりGAC-FASの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-29T02:57:44Z)
• Sharpness-Aware Gradient Matching for Domain Generalization [84.14789746460197]
  ドメイン一般化(DG)の目標は、ソースドメインから他の見えないドメインに学習したモデルの一般化能力を強化することである。 最近開発されたシャープネス・アウェア最小化(SAM)法は、損失景観のシャープネス測定を最小化することで、この目標を達成することを目的としている。 モデルが小さな損失を伴って平らな最小値に収束することを保証するための2つの条件と,シャープネス・アウェア・グラディエントマッチング(SAGM)というアルゴリズムを提案する。 提案手法は5つのDGベンチマークにおける最先端の手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2023-03-18T07:25:12Z)
• Normalization Perturbation: A Simple Domain Generalization Method for Real-World Domain Shifts [133.99270341855728]
  実世界のドメインスタイルは環境の変化やセンサノイズによって大きく変化する可能性がある。 深層モデルはトレーニングドメインスタイルしか知らない。 このドメインスタイルのオーバーフィット問題を解決するために,正規化摂動を提案する。
  論文  参考訳（メタデータ） (2022-11-08T17:36:49Z)
• Fishr: Invariant Gradient Variances for Out-of-distribution Generalization [98.40583494166314]
  フィッシャーは、損失関数の勾配の空間における領域不変性を強制する学習スキームである。 フィッシャーはこの損失についてフィッシャー・インフォメーションやヘッセンと密接な関係を示している。 特に、FishrはDomainBedベンチマークのテクニックの状態を改善し、経験的リスク最小化よりも大幅にパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2021-09-07T08:36:09Z)
• SAND-mask: An Enhanced Gradient Masking Strategy for the Discovery of Invariances in Domain Generalization [7.253255826783766]
  ネットワークの各端に流れる勾配の一致に基づいて連続的な重みを決定するマスキング戦略を提案する。 SAND-maskはドメイン一般化のためのDomainbedベンチマークで検証される。
  論文  参考訳（メタデータ） (2021-06-04T05:20:54Z)
• Model-Based Domain Generalization [96.84818110323518]
  本稿では,モデルベースドメイン一般化問題に対する新しいアプローチを提案する。 我々のアルゴリズムは、最新のwildsベンチマークの最先端手法を最大20ポイント上回った。
  論文  参考訳（メタデータ） (2021-02-23T00:59:02Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。