論文の概要: Flatness-Aware Minimization for Domain Generalization

• arxiv url: http://arxiv.org/abs/2307.11108v1
• Date: Thu, 20 Jul 2023 05:48:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-24 14:49:24.712992
• Title: Flatness-Aware Minimization for Domain Generalization
• Title（参考訳）: ドメイン一般化のための平坦性を考慮した最小化
• Authors: Xingxuan Zhang, Renzhe Xu, Han Yu, Yancheng Dong, Pengfei Tian, Peng Cu
• Abstract要約: ドメイン一般化(DG)は、未知の分布シフトの下でよく一般化されるロバストモデルを学ぶことを目指している。 現在、ほとんどのDGメソッドは広く使用されているベンチマークであるDomainBedに従っており、すべてのデータセットのデフォルトとしてAdamを使用している。 領域一般化のための平坦度認識最小化(Flatness-Aware Minimization for Domain Generalization, FAD)を提案する。
• 参考スコア（独自算出の注目度）: 17.430563368226853
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain generalization (DG) seeks to learn robust models that generalize well under unknown distribution shifts. As a critical aspect of DG, optimizer selection has not been explored in depth. Currently, most DG methods follow the widely used benchmark, DomainBed, and utilize Adam as the default optimizer for all datasets. However, we reveal that Adam is not necessarily the optimal choice for the majority of current DG methods and datasets. Based on the perspective of loss landscape flatness, we propose a novel approach, Flatness-Aware Minimization for Domain Generalization (FAD), which can efficiently optimize both zeroth-order and first-order flatness simultaneously for DG. We provide theoretical analyses of the FAD's out-of-distribution (OOD) generalization error and convergence. Our experimental results demonstrate the superiority of FAD on various DG datasets. Additionally, we confirm that FAD is capable of discovering flatter optima in comparison to other zeroth-order and first-order flatness-aware optimization methods.
• Abstract（参考訳）: ドメイン一般化(DG)は、未知の分布シフトの下でよく一般化する堅牢なモデルを学ぶことを目指している。 DGの重要な側面として、オプティマイザの選択は深く調査されていない。 現在、ほとんどのDGメソッドは広く使われているベンチマークであるDomainBedに従っており、すべてのデータセットのデフォルトオプティマイザとしてAdamを使用している。 しかし、Adamは必ずしも現在のDGメソッドやデータセットの大部分にとって最適な選択肢ではない。 本研究では,損失景観平坦性の観点から,ゼロ次および1次平坦性を同時に最適化できる領域一般化のための平坦性認識最小化(fad)を提案する。 本稿では,FADのアウト・オブ・ディストリビューション(OOD)の一般化誤差と収束に関する理論的解析を行う。 実験の結果,様々なDGデータセット上でのFADの優位性を示した。 さらに、FADは、他のゼロ階および1階の平坦度対応最適化手法と比較して、フラットな最適性を発見することができることを確認した。

関連論文リスト

• Disentangling Masked Autoencoders for Unsupervised Domain Generalization [57.56744870106124]
  教師なしの領域一般化は急速に注目されているが、まだ十分に研究されていない。 Disentangled Masked Auto (DisMAE) は、本質的な特徴を忠実に示す不整合表現を発見することを目的としている。 DisMAEは、セマンティックで軽量な変分エンコーダを備えた非対称なデュアルブランチアーキテクチャを共同で訓練する。
  論文  参考訳（メタデータ） (2024-07-10T11:11:36Z)
• PracticalDG: Perturbation Distillation on Vision-Language Models for Hybrid Domain Generalization [24.413415998529754]
  本稿では,Hybrid Domain Generalization (HDG) と,アルゴリズムのロバスト性を評価するために,様々な分割を構成する新しい指標である$H2$-CVを提案する。 提案手法は,複数のデータセット上での最先端アルゴリズムよりも優れており,特にデータ不足に直面する場合のロバスト性の向上に寄与する。
  論文  参考訳（メタデータ） (2024-04-13T13:41:13Z)
• Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
  構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。 また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T22:33:14Z)
• MADG: Margin-based Adversarial Learning for Domain Generalization [25.45950080930517]
  そこで本稿では,差分損失に基づく離散性尺度に基づく新しい逆学習DGアルゴリズムMADGを提案する。 提案したMADGモデルは,すべてのソースドメインにまたがるドメイン不変の特徴を学習し,敵対的トレーニングを用いて,未知のターゲットドメインによく適応する。 我々は、人気のある実世界のDGデータセット上でMADGモデルを広範囲に実験した。
  論文  参考訳（メタデータ） (2023-11-14T19:53:09Z)
• Towards Optimization and Model Selection for Domain Generalization: A Mixup-guided Solution [43.292274574847234]
  そこで本研究では,ドメイン一般化のためのMixupガイドによる最適化と選択手法を提案する。 最適化のために、好みの方向を導出するアウト・オブ・ディストリビューション・データセットを利用する。 モデル選択のために、ターゲット分布に近づいた検証データセットを生成する。
  論文  参考訳（メタデータ） (2022-09-01T02:18:00Z)
• On Certifying and Improving Generalization to Unseen Domains [87.00662852876177]
  ドメインの一般化は、テスト時に遭遇した見知らぬドメインのパフォーマンスが高いモデルを学ぶことを目的としています。 いくつかのベンチマークデータセットを使用して、DGアルゴリズムを包括的に評価することは困難である。 我々は,任意のDG手法の最悪の性能を効率的に証明できる普遍的な認証フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-24T16:29:43Z)
• Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
  機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。 私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。 この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:36:32Z)
• Reappraising Domain Generalization in Neural Networks [8.06370138649329]
  機械学習アルゴリズムのドメイン一般化(DG)は、複数のトレーニング分布からドメインに依存しない仮説を学習する能力として定義される。 経験的リスク最小化(ERM)ベースラインは,既存のDG手法を一貫して上回っていることがわかった。 そこで我々は,各クラスに対してランダムにドメインを選択して,それをテスト用として保持する,クラスワイズDGの定式化を提案する。
  論文  参考訳（メタデータ） (2021-10-15T10:06:40Z)
• Learning to Generate Novel Domains for Domain Generalization [115.21519842245752]
  本稿では,未知の領域によく一般化するモデルとして,複数のソースドメインから学習するタスクに焦点を当てる。 我々は、擬似ノーベル領域からデータを合成し、ソースドメインを増強するためにデータジェネレータを用いる。 我々の手法であるL2A-OTは、4つのベンチマークデータセット上で現在最先端のDG手法より優れています。
  論文  参考訳（メタデータ） (2020-07-07T09:34:17Z)
• When Does Preconditioning Help or Hurt Generalization? [74.25170084614098]
  本稿では,第1次および第2次手法のテキスト単純バイアスが一般化特性の比較にどのように影響するかを示す。 本稿では、バイアス分散トレードオフを管理するためのいくつかのアプローチと、GDとNGDを補間する可能性について論じる。
  論文  参考訳（メタデータ） (2020-06-18T17:57:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。