論文の概要: Trade-off between reconstruction loss and feature alignment for domain generalization

• arxiv url: http://arxiv.org/abs/2210.15000v1
• Date: Wed, 26 Oct 2022 19:40:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 13:09:07.309803
• Title: Trade-off between reconstruction loss and feature alignment for domain generalization
• Title（参考訳）: ドメイン一般化のための再構成損失と特徴アライメントのトレードオフ
• Authors: Thuan Nguyen, Boyang Lyu, Prakash Ishwar, Matthias Scheutz, Shuchin Aeron
• Abstract要約: ドメイン一般化(Domain Generalization、DG)は、いくつかの見知らぬ領域で学習モデルを訓練し、その後、これらの事前学習されたモデルを他の未知の(未知だが関連する)領域に適用することを目的とした、伝達学習の分野である。 未確認ドメインのデータとラベルの両方がトレーニング時に利用できないDGの困難な設定に対処するために、最も一般的なアプローチは、ドメイン不変の表現機能に基づいて分類器を設計することである。 一般的な信念とは対照的に、DGでは不変表現のみに基づく分類器の設計は必要だが不十分であることを示す。
• 参考スコア（独自算出の注目度）: 30.459247038765568
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Domain generalization (DG) is a branch of transfer learning that aims to train the learning models on several seen domains and subsequently apply these pre-trained models to other unseen (unknown but related) domains. To deal with challenging settings in DG where both data and label of the unseen domain are not available at training time, the most common approach is to design the classifiers based on the domain-invariant representation features, i.e., the latent representations that are unchanged and transferable between domains. Contrary to popular belief, we show that designing classifiers based on invariant representation features alone is necessary but insufficient in DG. Our analysis indicates the necessity of imposing a constraint on the reconstruction loss induced by representation functions to preserve most of the relevant information about the label in the latent space. More importantly, we point out the trade-off between minimizing the reconstruction loss and achieving domain alignment in DG. Our theoretical results motivate a new DG framework that jointly optimizes the reconstruction loss and the domain discrepancy. Both theoretical and numerical results are provided to justify our approach.
• Abstract（参考訳）: ドメイン一般化(Domain Generalization、DG)は、いくつかの見知らぬ領域で学習モデルを訓練し、その後、これらの事前学習されたモデルを他の未知の(未知だが関連する)領域に適用することを目的とした、伝達学習の分野である。 未確認領域のデータとラベルの両方がトレーニング時に利用できないDGの困難な設定に対処するために、最も一般的なアプローチはドメイン不変の表現機能、すなわちドメイン間で不変かつ転送可能な潜在表現に基づいて分類器を設計することである。 一般の考え方とは対照的に,不変表現特徴のみに基づく分類器の設計はdgでは必要だが不十分であることを示す。 本解析は,ラベルに関する情報のほとんどを潜在空間に保持するために,表現関数によって引き起こされる再構成損失に制約を課すことの必要性を示唆する。 さらに,再建損失の最小化とDGにおけるドメインアライメントの達成とのトレードオフを指摘する。 我々の理論的結果は、復元損失とドメインの不一致を協調的に最適化する新しいDGフレームワークを動機付けている。 我々のアプローチを正当化するために理論的および数値的な結果が提供される。

関連論文リスト

• Disentangling Masked Autoencoders for Unsupervised Domain Generalization [57.56744870106124]
  教師なしの領域一般化は急速に注目されているが、まだ十分に研究されていない。 Disentangled Masked Auto (DisMAE) は、本質的な特徴を忠実に示す不整合表現を発見することを目的としている。 DisMAEは、セマンティックで軽量な変分エンコーダを備えた非対称なデュアルブランチアーキテクチャを共同で訓練する。
  論文  参考訳（メタデータ） (2024-07-10T11:11:36Z)
• Gradually Vanishing Gap in Prototypical Network for Unsupervised Domain Adaptation [32.58201185195226]
  プロトタイプネットワーク(GVG-PN)におけるGradually Vanishing Gapという効率的なUDAフレームワークを提案する。 我々のモデルは,グローバルとローカルの両方の観点からの伝達学習を実現する。 いくつかのUDAベンチマークの実験では、提案されたGVG-PNがSOTAモデルより明らかに優れていることが検証された。
  論文  参考訳（メタデータ） (2024-05-28T03:03:32Z)
• Transitive Vision-Language Prompt Learning for Domain Generalization [41.484858946789664]
  ビジョン言語による事前トレーニングにより、ディープモデルは、目に見えないドメインをまたがる一般化において、大きな一歩を踏み出した。 しかし、ドメインの不変性とクラス分離性の間のトレードオフがまだ進行しているという問題がまだ残っている。
  論文  参考訳（メタデータ） (2024-04-29T14:56:11Z)
• Complementary Domain Adaptation and Generalization for Unsupervised Continual Domain Shift Learning [4.921899151930171]
  教師なし連続的なドメインシフト学習は、現実世界のアプリケーションにおいて重要な課題である。 本稿では,シンプルで効果的な学習フレームワークであるComplementary Domain Adaptation and Generalization (CoDAG)を提案する。 我々のアプローチはモデルに依存しないため、既存のドメイン適応および一般化アルゴリズムと互換性がある。
  論文  参考訳（メタデータ） (2023-03-28T09:05:15Z)
• Relation Matters: Foreground-aware Graph-based Relational Reasoning for Domain Adaptive Object Detection [81.07378219410182]
  我々は、FGRR(Fearground-aware Graph-based Reasoning)というドメインDのための新しい汎用フレームワークを提案する。 FGRRはグラフ構造を検出パイプラインに組み込んで、ドメイン内およびドメイン間フォアグラウンドオブジェクト関係を明示的にモデル化する。 実験の結果、提案したFGRRは4つのDomainDベンチマークの最先端よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-06T05:12:48Z)
• Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
  機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。 私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。 この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:36:32Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Dual Distribution Alignment Network for Generalizable Person Re-Identification [174.36157174951603]
  ドメイン一般化(DG)は、人物再識別(Re-ID)を扱うための有望なソリューションとして機能する 本稿では、複数のソースドメインの分布を選択的に整列させることにより、この問題に対処するDual Distribution Alignment Network(DDAN)を提案する。 大規模なDomain Generalization Re-ID(DG Re-ID)ベンチマークでDDANを評価した。
  論文  参考訳（メタデータ） (2020-07-27T00:08:07Z)
• Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
  領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。 グラフ埋め込みに基づく汎用フレームワークを提案する。 提案手法が強力なドメイン適応フレームワークにつながることを示す。
  論文  参考訳（メタデータ） (2020-03-09T12:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。