論文の概要: Barycenteric distribution alignment and manifold-restricted invertibility for domain generalization

• arxiv url: http://arxiv.org/abs/2109.01902v1
• Date: Sat, 4 Sep 2021 16:57:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-07 16:54:30.978518
• Title: Barycenteric distribution alignment and manifold-restricted invertibility for domain generalization
• Title（参考訳）: 領域一般化のための可換分布アライメントと多様体制限可逆性
• Authors: Boyang Lyu, Thuan Nguyen, Prakash Ishwar, Matthias Scheutz, Shuchin Aeron
• Abstract要約: ドメイン一般化(Domain Generalization)は、仮説が共通の表現関数から成り、その後ラベリング関数が続く問題である。 学習対象の表現に軽度な仮定を課すことは,この問題に対処するのに十分であることを示す。 さらに、表現空間における分布差は、ワッサーシュタイン2バリセンタコストを介して処理される。
• 参考スコア（独自算出の注目度）: 30.063386698192893
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For the Domain Generalization (DG) problem where the hypotheses are composed of a common representation function followed by a labeling function, we point out a shortcoming in existing approaches that fail to explicitly optimize for a term, appearing in a well-known and widely adopted upper bound to the risk on the unseen domain, that is dependent on the representation to be learned. To this end, we first derive a novel upper bound to the prediction risk. We show that imposing a mild assumption on the representation to be learned, namely manifold restricted invertibility, is sufficient to deal with this issue. Further, unlike existing approaches, our novel upper bound doesn't require the assumption of Lipschitzness of the loss function. In addition, the distributional discrepancy in the representation space is handled via the Wasserstein-2 barycenter cost. In this context, we creatively leverage old and recent transport inequalities, which link various optimal transport metrics, in particular the $L^1$ distance (also known as the total variation distance) and the Wasserstein-2 distances, with the Kullback-Liebler divergence. These analyses and insights motivate a new representation learning cost for DG that additively balances three competing objectives: 1) minimizing classification error across seen domains via cross-entropy, 2) enforcing domain-invariance in the representation space via the Wasserstein-2 barycenter cost, and 3) promoting non-degenerate, nearly-invertible representation via one of two mechanisms, viz., an autoencoder-based reconstruction loss or a mutual information loss. It is to be noted that the proposed algorithms completely bypass the use of any adversarial training mechanism that is typical of many current domain generalization approaches. Simulation results on several standard datasets demonstrate superior performance compared to several well-known DG algorithms.
• Abstract（参考訳）: 共通表現関数とラベリング関数からなるドメイン一般化(DG)問題に対して、学習対象の表現に依存する未確認領域上のリスクに対して、よく知られ広く採用されている上界に現れる、項を明示的に最適化できない既存のアプローチの欠点を指摘する。 この目的のために、我々はまず、予測リスクに対する新しい上限を導出する。 本稿では,学習すべき表現,すなわち多様体制限可逆性について軽度仮定を課すことは,この問題に対処するのに十分であることを示す。 さらに、既存のアプローチとは異なり、我々の新しい上限は損失関数のリプシッツ性の仮定を必要としない。 さらに、表現空間における分布的不一致は、wasserstein-2 barycenterコストによって処理される。 この文脈では、様々な最適な輸送指標、特に$L^1$距離(総変量距離とも呼ばれる)とWasserstein-2距離をクルバック・リーブラーの発散と結びつける、古くて最近の輸送不等式を創造的に活用する。 これらの分析と洞察は、3つの競合する目標を付加的にバランスさせる新たなDG表現学習コストを動機付けている。1) クロスエントロピーによる分類誤差の最小化、2) ワッサーシュタイン-2バリセンターコストによる表現空間におけるドメイン不変性の強化、3) 自己エンコーダベースの再構築損失または相互情報損失である。 提案したアルゴリズムは、現在の多くの領域一般化アプローチの典型である任意の逆トレーニング機構の使用を完全に回避している点に注意が必要である。 いくつかの標準データセットのシミュレーション結果は、よく知られたDGアルゴリズムよりも優れた性能を示す。

関連論文リスト

• Domain Adaptation via Rebalanced Sub-domain Alignment [22.68115322836635]
  教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ラベル付きソースドメインから関連するラベル付きターゲットドメインへ知識を転送する手法である。 過去に多くのUDA手法が成功したが、ソースとターゲットドメインは同一のクラスラベルの分布を持つ必要があると仮定することが多い。 本稿では、ソースとターゲットサブドメインを整列させて、ソース分類誤差を重み付けする新しい一般化法を提案する。
  論文  参考訳（メタデータ） (2023-02-03T21:30:40Z)
• Theoretical Guarantees for Domain Adaptation with Hierarchical Optimal Transport [0.0]
  ドメイン適応は統計学習理論において重要な問題として生じる。 近年の進歩は、領域適応アルゴリズムの成功は、ソースとターゲット領域の確率分布のばらつきを最小限に抑える能力に大きく依存していることを示している。 階層的最適輸送によるドメイン適応のための新しい理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-24T15:34:09Z)
• Constrained Maximum Cross-Domain Likelihood for Domain Generalization [14.91361835243516]
  ドメインの一般化は、複数のソースドメイン上で一般化可能なモデルを学ぶことを目的としている。 本稿では,異なる領域の後方分布間のKL偏差を最小限に抑える新しい領域一般化法を提案する。 Digits-DG、PACS、Office-Home、MiniDomainNetの4つの標準ベンチマークデータセットの実験は、我々のメソッドの優れたパフォーマンスを強調している。
  論文  参考訳（メタデータ） (2022-10-09T03:41:02Z)
• Relation Matters: Foreground-aware Graph-based Relational Reasoning for Domain Adaptive Object Detection [81.07378219410182]
  我々は、FGRR(Fearground-aware Graph-based Reasoning)というドメインDのための新しい汎用フレームワークを提案する。 FGRRはグラフ構造を検出パイプラインに組み込んで、ドメイン内およびドメイン間フォアグラウンドオブジェクト関係を明示的にモデル化する。 実験の結果、提案したFGRRは4つのDomainDベンチマークの最先端よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-06T05:12:48Z)
• Generalizable Representation Learning for Mixture Domain Face Anti-Spoofing [53.82826073959756]
  ドメイン一般化(DG)に基づく対スプーフィングアプローチは、予期せぬシナリオの堅牢性のために注目を集めています。 ドメインダイナミック調整メタラーニング(D2AM)についてドメインラベルを使わずに提案する。 この制限を克服するため,ドメインダイナミック調整メタラーニング(D2AM)を提案する。
  論文  参考訳（メタデータ） (2021-05-06T06:04:59Z)
• Model-Based Domain Generalization [96.84818110323518]
  本稿では,モデルベースドメイン一般化問題に対する新しいアプローチを提案する。 我々のアルゴリズムは、最新のwildsベンチマークの最先端手法を最大20ポイント上回った。
  論文  参考訳（メタデータ） (2021-02-23T00:59:02Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Discrepancy Minimization in Domain Generalization with Generative Nearest Neighbors [13.047289562445242]
  ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインでトレーニングされた機械学習モデルが、統計の異なるターゲットドメインでうまく一般化できないという、ドメインシフトの問題を扱う。 シフト対象領域の一般化を保証するのに失敗するソースドメイン全体にわたるドメイン不変表現を学習することにより、ドメイン一般化の問題を解決するために、複数のアプローチが提案されている。 本稿では,GNNDM(Generative Nearest Neighbor Based Discrepancy Minimization)法を提案する。
  論文  参考訳（メタデータ） (2020-07-28T14:54:25Z)
• Maximum Density Divergence for Domain Adaptation [0.0]
  教師なしドメイン適応は、十分にラベル付けされたソースドメインからラベル付けされていないターゲットドメインへ知識を転送する問題に対処する。 本稿では,敵対的学習とメートル法学習の両方の利点を享受するATM(Adversarial Tight Match)というドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2020-04-27T07:35:06Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)
• Bi-Directional Generation for Unsupervised Domain Adaptation [61.73001005378002]
  教師なしのドメイン適応は、確立されたソースドメイン情報に依存するラベルなしのターゲットドメインを促進する。 従来の手法では、潜在空間におけるドメインの不一致を強制的に低減することで、本質的なデータ構造が破壊される。 本稿では、2つの中間領域をブリッジソースとターゲットドメインに補間する一貫した分類器を用いた双方向生成ドメイン適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-12T09:45:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。