論文の概要: On Certifying and Improving Generalization to Unseen Domains
- arxiv url: http://arxiv.org/abs/2206.12364v1
- Date: Fri, 24 Jun 2022 16:29:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-27 15:59:05.417458
- Title: On Certifying and Improving Generalization to Unseen Domains
- Title（参考訳）: 未発見領域の一般化の証明と改善について
- Authors: Akshay Mehra, Bhavya Kailkhura, Pin-Yu Chen and Jihun Hamm
- Abstract要約: ドメインの一般化は、テスト時に遭遇した見知らぬドメインのパフォーマンスが高いモデルを学ぶことを目的としています。
いくつかのベンチマークデータセットを使用して、DGアルゴリズムを包括的に評価することは困難である。
我々は,任意のDG手法の最悪の性能を効率的に証明できる普遍的な認証フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 87.00662852876177
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Domain Generalization (DG) aims to learn models whose performance remains
high on unseen domains encountered at test-time by using data from multiple
related source domains. Many existing DG algorithms reduce the divergence
between source distributions in a representation space to potentially align the
unseen domain close to the sources. This is motivated by the analysis that
explains generalization to unseen domains using distributional distance (such
as the Wasserstein distance) to the sources. However, due to the openness of
the DG objective, it is challenging to evaluate DG algorithms comprehensively
using a few benchmark datasets. In particular, we demonstrate that the accuracy
of the models trained with DG methods varies significantly across unseen
domains, generated from popular benchmark datasets. This highlights that the
performance of DG methods on a few benchmark datasets may not be representative
of their performance on unseen domains in the wild. To overcome this roadblock,
we propose a universal certification framework based on distributionally robust
optimization (DRO) that can efficiently certify the worst-case performance of
any DG method. This enables a data-independent evaluation of a DG method
complementary to the empirical evaluations on benchmark datasets. Furthermore,
we propose a training algorithm that can be used with any DG method to provably
improve their certified performance. Our empirical evaluation demonstrates the
effectiveness of our method at significantly improving the worst-case loss
(i.e., reducing the risk of failure of these models in the wild) without
incurring a significant performance drop on benchmark datasets.
- Abstract（参考訳）: ドメイン一般化 (Domain Generalization, DG) は、複数の関連するソースドメインのデータを使用することで、テスト時に遭遇した見知らぬドメインのパフォーマンスが高いモデルを学ぶことを目的としている。
多くの既存のDGアルゴリズムは、表現空間内のソース分布間のばらつきを減らし、ソースに近い見えない領域を整列させる。
これは、ソースへの分布距離(ワッサーシュタイン距離など)を用いて、未知の領域への一般化を説明する解析によって動機づけられる。
しかし、DGの目的がオープンであることから、いくつかのベンチマークデータセットを使用してDGアルゴリズムを包括的に評価することは困難である。
特に、DG手法を用いてトレーニングされたモデルの精度は、一般的なベンチマークデータセットから生成された未確認領域によって大きく異なることを示す。
これは、いくつかのベンチマークデータセットにおけるDGメソッドのパフォーマンスが、野生の目に見えないドメインにおけるパフォーマンスを表すものではないことを強調している。
この課題を克服するために,分散ロバスト最適化 (distributionally robust optimization,dro) に基づく汎用認証フレームワークを提案する。
これにより、ベンチマークデータセット上での経験的評価を補完するDG法のデータ非依存評価が可能になる。
さらに,任意のdg法を用いて認証性能を向上できるトレーニングアルゴリズムを提案する。
我々の実証評価は,ベンチマークデータセットに大幅な性能低下を生じさせることなく,最悪の場合の損失を著しく改善する手法の有効性を実証するものである。
関連論文リスト
- Disentangling Masked Autoencoders for Unsupervised Domain Generalization [57.56744870106124]
教師なしの領域一般化は急速に注目されているが、まだ十分に研究されていない。
Disentangled Masked Auto (DisMAE) は、本質的な特徴を忠実に示す不整合表現を発見することを目的としている。
DisMAEは、セマンティックで軽量な変分エンコーダを備えた非対称なデュアルブランチアーキテクチャを共同で訓練する。
論文 参考訳（メタデータ） (2024-07-10T11:11:36Z) - Non-stationary Domain Generalization: Theory and Algorithm [11.781050299571692]
本稿では,非定常環境における領域一般化について検討する。
まず,環境非定常性がモデル性能に及ぼす影響について検討する。
そこで我々は適応不変表現学習に基づく新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-10T21:32:43Z) - PracticalDG: Perturbation Distillation on Vision-Language Models for Hybrid Domain Generalization [24.413415998529754]
本稿では,Hybrid Domain Generalization (HDG) と,アルゴリズムのロバスト性を評価するために,様々な分割を構成する新しい指標である$H2$-CVを提案する。
提案手法は,複数のデータセット上での最先端アルゴリズムよりも優れており,特にデータ不足に直面する場合のロバスト性の向上に寄与する。
論文 参考訳（メタデータ） (2024-04-13T13:41:13Z) - MADG: Margin-based Adversarial Learning for Domain Generalization [25.45950080930517]
そこで本稿では,差分損失に基づく離散性尺度に基づく新しい逆学習DGアルゴリズムMADGを提案する。
提案したMADGモデルは,すべてのソースドメインにまたがるドメイン不変の特徴を学習し,敵対的トレーニングを用いて,未知のターゲットドメインによく適応する。
我々は、人気のある実世界のDGデータセット上でMADGモデルを広範囲に実験した。
論文 参考訳（メタデータ） (2023-11-14T19:53:09Z) - Towards Reliable Domain Generalization: A New Dataset and Evaluations [45.68339440942477]
我々は手書き文字認識(HCCR)のための新しい領域一般化タスクを提案する。
提案したPaHCCデータセット上で18のDG手法を評価し,既存の手法の性能がまだ不十分であることを示す。
私たちのデータセットと評価は、コミュニティに新たな視点をもたらし、より実質的な進歩をもたらします。
論文 参考訳（メタデータ） (2023-09-12T11:29:12Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-03T07:45:53Z) - Open-Set Domain Adaptation with Visual-Language Foundation Models [51.49854335102149]
非教師なしドメイン適応(UDA)は、ソースドメインからラベルのないデータを持つターゲットドメインへの知識の転送に非常に効果的であることが証明されている。
オープンセットドメイン適応(ODA)は、トレーニングフェーズ中にこれらのクラスを識別する潜在的なソリューションとして登場した。
論文 参考訳（メタデータ） (2023-07-30T11:38:46Z) - Reappraising Domain Generalization in Neural Networks [8.06370138649329]
機械学習アルゴリズムのドメイン一般化(DG)は、複数のトレーニング分布からドメインに依存しない仮説を学習する能力として定義される。
経験的リスク最小化(ERM)ベースラインは,既存のDG手法を一貫して上回っていることがわかった。
そこで我々は,各クラスに対してランダムにドメインを選択して,それをテスト用として保持する,クラスワイズDGの定式化を提案する。
論文 参考訳（メタデータ） (2021-10-15T10:06:40Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-10-09T15:42:35Z) - Dual Distribution Alignment Network for Generalizable Person
Re-Identification [174.36157174951603]
ドメイン一般化(DG)は、人物再識別(Re-ID)を扱うための有望なソリューションとして機能する
本稿では、複数のソースドメインの分布を選択的に整列させることにより、この問題に対処するDual Distribution Alignment Network(DDAN)を提案する。
大規模なDomain Generalization Re-ID(DG Re-ID)ベンチマークでDDANを評価した。
論文 参考訳（メタデータ） (2020-07-27T00:08:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。