論文の概要: Trade-off between reconstruction loss and feature alignment for domain
generalization
- arxiv url: http://arxiv.org/abs/2210.15000v1
- Date: Wed, 26 Oct 2022 19:40:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-28 13:09:07.309803
- Title: Trade-off between reconstruction loss and feature alignment for domain
generalization
- Title(参考訳): ドメイン一般化のための再構成損失と特徴アライメントのトレードオフ
- Authors: Thuan Nguyen, Boyang Lyu, Prakash Ishwar, Matthias Scheutz, Shuchin
Aeron
- Abstract要約: ドメイン一般化(Domain Generalization、DG)は、いくつかの見知らぬ領域で学習モデルを訓練し、その後、これらの事前学習されたモデルを他の未知の(未知だが関連する)領域に適用することを目的とした、伝達学習の分野である。
未確認ドメインのデータとラベルの両方がトレーニング時に利用できないDGの困難な設定に対処するために、最も一般的なアプローチは、ドメイン不変の表現機能に基づいて分類器を設計することである。
一般的な信念とは対照的に、DGでは不変表現のみに基づく分類器の設計は必要だが不十分であることを示す。
- 参考スコア(独自算出の注目度): 30.459247038765568
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Domain generalization (DG) is a branch of transfer learning that aims to
train the learning models on several seen domains and subsequently apply these
pre-trained models to other unseen (unknown but related) domains. To deal with
challenging settings in DG where both data and label of the unseen domain are
not available at training time, the most common approach is to design the
classifiers based on the domain-invariant representation features, i.e., the
latent representations that are unchanged and transferable between domains.
Contrary to popular belief, we show that designing classifiers based on
invariant representation features alone is necessary but insufficient in DG.
Our analysis indicates the necessity of imposing a constraint on the
reconstruction loss induced by representation functions to preserve most of the
relevant information about the label in the latent space. More importantly, we
point out the trade-off between minimizing the reconstruction loss and
achieving domain alignment in DG. Our theoretical results motivate a new DG
framework that jointly optimizes the reconstruction loss and the domain
discrepancy. Both theoretical and numerical results are provided to justify our
approach.
- Abstract(参考訳): ドメイン一般化(Domain Generalization、DG)は、いくつかの見知らぬ領域で学習モデルを訓練し、その後、これらの事前学習されたモデルを他の未知の(未知だが関連する)領域に適用することを目的とした、伝達学習の分野である。
未確認領域のデータとラベルの両方がトレーニング時に利用できないDGの困難な設定に対処するために、最も一般的なアプローチはドメイン不変の表現機能、すなわちドメイン間で不変かつ転送可能な潜在表現に基づいて分類器を設計することである。
一般の考え方とは対照的に,不変表現特徴のみに基づく分類器の設計はdgでは必要だが不十分であることを示す。
本解析は,ラベルに関する情報のほとんどを潜在空間に保持するために,表現関数によって引き起こされる再構成損失に制約を課すことの必要性を示唆する。
さらに,再建損失の最小化とDGにおけるドメインアライメントの達成とのトレードオフを指摘する。
我々の理論的結果は、復元損失とドメインの不一致を協調的に最適化する新しいDGフレームワークを動機付けている。
我々のアプローチを正当化するために理論的および数値的な結果が提供される。
関連論文リスト
- CHATTY: Coupled Holistic Adversarial Transport Terms with Yield for
Unsupervised Domain Adaptation [1.87446486236017]
我々はCHATTYと呼ばれる新しい手法を提案する。
敵対的トレーニングは、ニューラルネットワークの特徴抽出層をトレーニングするために、ドメイン判別器ヘッドからの勾配を反転させることで、ドメイン不変表現の学習に一般的に使用される。
本稿では,ソースとターゲットドメインの出力を学習可能な方法で置き換えるサブネットワークを提案する。
論文 参考訳(メタデータ) (2023-04-19T13:00:23Z) - Complementary Domain Adaptation and Generalization for Unsupervised
Continual Domain Shift Learning [4.921899151930171]
教師なし連続的なドメインシフト学習は、現実世界のアプリケーションにおいて重要な課題である。
本稿では,シンプルで効果的な学習フレームワークであるComplementary Domain Adaptation and Generalization (CoDAG)を提案する。
我々のアプローチはモデルに依存しないため、既存のドメイン適応および一般化アルゴリズムと互換性がある。
論文 参考訳(メタデータ) (2023-03-28T09:05:15Z) - Relation Matters: Foreground-aware Graph-based Relational Reasoning for
Domain Adaptive Object Detection [81.07378219410182]
我々は、FGRR(Fearground-aware Graph-based Reasoning)というドメインDのための新しい汎用フレームワークを提案する。
FGRRはグラフ構造を検出パイプラインに組み込んで、ドメイン内およびドメイン間フォアグラウンドオブジェクト関係を明示的にモデル化する。
実験の結果、提案したFGRRは4つのDomainDベンチマークの最先端よりも優れていることが示された。
論文 参考訳(メタデータ) (2022-06-06T05:12:48Z) - Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。
私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。
この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-11-27T07:36:32Z) - Reappraising Domain Generalization in Neural Networks [8.06370138649329]
機械学習アルゴリズムのドメイン一般化(DG)は、複数のトレーニング分布からドメインに依存しない仮説を学習する能力として定義される。
経験的リスク最小化(ERM)ベースラインは,既存のDG手法を一貫して上回っていることがわかった。
そこで我々は,各クラスに対してランダムにドメインを選択して,それをテスト用として保持する,クラスワイズDGの定式化を提案する。
論文 参考訳(メタデータ) (2021-10-15T10:06:40Z) - COLUMBUS: Automated Discovery of New Multi-Level Features for Domain
Generalization via Knowledge Corruption [12.555885317622131]
ここでは、ソースドメインの集合で訓練されたモデルが、データに触れることなく、目に見えないドメインでうまく一般化されることを期待する領域一般化問題に対処する。
コロンバス(Columbus)は、最も関連性の高い入力とマルチレベルのデータ表現を対象とする汚職によって、新機能の発見を強制する手法である。
論文 参考訳(メタデータ) (2021-09-09T14:52:05Z) - f-Domain-Adversarial Learning: Theory and Algorithms [82.97698406515667]
教師なしのドメイン適応は、トレーニング中、ターゲットドメイン内のラベルなしデータにアクセス可能な、多くの機械学習アプリケーションで使用されている。
領域適応のための新しい一般化法を導出し、f-発散体の変分的特徴に基づく分布間の相違性の新しい尺度を利用する。
論文 参考訳(メタデータ) (2021-06-21T18:21:09Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳(メタデータ) (2020-10-09T15:42:35Z) - Dual Distribution Alignment Network for Generalizable Person
Re-Identification [174.36157174951603]
ドメイン一般化(DG)は、人物再識別(Re-ID)を扱うための有望なソリューションとして機能する
本稿では、複数のソースドメインの分布を選択的に整列させることにより、この問題に対処するDual Distribution Alignment Network(DDAN)を提案する。
大規模なDomain Generalization Re-ID(DG Re-ID)ベンチマークでDDANを評価した。
論文 参考訳(メタデータ) (2020-07-27T00:08:07Z) - Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。
グラフ埋め込みに基づく汎用フレームワークを提案する。
提案手法が強力なドメイン適応フレームワークにつながることを示す。
論文 参考訳(メタデータ) (2020-03-09T12:25:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。