論文の概要: Learning Generalizable Models via Disentangling Spurious and Enhancing
Potential Correlations
- arxiv url: http://arxiv.org/abs/2401.05752v1
- Date: Thu, 11 Jan 2024 09:00:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-12 15:24:58.769364
- Title: Learning Generalizable Models via Disentangling Spurious and Enhancing
Potential Correlations
- Title(参考訳): 疎結合と潜在的相関の強化による一般化モデルの学習
- Authors: Na Wang, Lei Qi, Jintao Guo, Yinghuan Shi, Yang Gao
- Abstract要約: ドメイン一般化 (Domain Generalization, DG) は、任意の未知のターゲットドメインに適切に一般化できるように、複数のソースドメイン上でモデルをトレーニングすることを目的としている。
サンプルや機能など、複数の視点を採用することは、効果的であることが証明されている。
本稿では,サンプルと特徴の両方の観点から,ドメイン不変表現の獲得を促すことによって,モデルの一般化能力の向上に焦点をあてる。
- 参考スコア(独自算出の注目度): 28.38895118573957
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Domain generalization (DG) intends to train a model on multiple source
domains to ensure that it can generalize well to an arbitrary unseen target
domain. The acquisition of domain-invariant representations is pivotal for DG
as they possess the ability to capture the inherent semantic information of the
data, mitigate the influence of domain shift, and enhance the generalization
capability of the model. Adopting multiple perspectives, such as the sample and
the feature, proves to be effective. The sample perspective facilitates data
augmentation through data manipulation techniques, whereas the feature
perspective enables the extraction of meaningful generalization features. In
this paper, we focus on improving the generalization ability of the model by
compelling it to acquire domain-invariant representations from both the sample
and feature perspectives by disentangling spurious correlations and enhancing
potential correlations. 1) From the sample perspective, we develop a frequency
restriction module, guiding the model to focus on the relevant correlations
between object features and labels, thereby disentangling spurious
correlations. 2) From the feature perspective, the simple Tail Interaction
module implicitly enhances potential correlations among all samples from all
source domains, facilitating the acquisition of domain-invariant
representations across multiple domains for the model. The experimental results
show that Convolutional Neural Networks (CNNs) or Multi-Layer Perceptrons
(MLPs) with a strong baseline embedded with these two modules can achieve
superior results, e.g., an average accuracy of 92.30% on Digits-DG.
- Abstract(参考訳): ドメインの一般化(dg)は、複数のソースドメインでモデルをトレーニングし、任意の未認識のターゲットドメインにうまく一般化できるようにする。
ドメイン不変表現の獲得は、データ固有の意味情報をキャプチャし、ドメインシフトの影響を緩和し、モデルの一般化能力を高める能力を持つため、DGにとって重要である。
サンプルや機能など、複数の視点を採用することで、効果的であることが証明される。
サンプルパースペクティブはデータ操作技術によるデータ拡張を促進する一方、特徴パースペクティブは意味のある一般化特徴の抽出を可能にする。
本稿では,サンプルと特徴の両面からドメイン不変表現を抽出し,突発的相関を解消し,ポテンシャル相関を強化することによって,モデルの一般化能力の向上に焦点をあてる。
1) サンプルの観点から, 対象特徴とラベルの関連性に焦点を合わせるために, 周波数制限モジュールを開発し, 突発的相関を解消する。
2) 機能の観点からは、単純なTail Interactionモジュールは、すべてのソースドメインからのサンプル間の潜在的な相関を暗黙的に強化し、モデルのために複数のドメインにまたがるドメイン不変表現の取得を容易にする。
実験の結果、これらの2つのモジュールに組み込まれた強いベースラインを持つ畳み込みニューラルネットワーク(CNN)またはマルチ層パーセプトロン(MLP)は、例えば、Digits-DGの平均精度92.30%という優れた結果が得られることが示された。
関連論文リスト
- Self-Supervised Representation Learning with Meta Comprehensive
Regularization [11.387994024747842]
既存の自己管理フレームワークに組み込まれたCompMod with Meta Comprehensive Regularization (MCR)というモジュールを導入する。
提案したモデルを双方向最適化機構により更新し,包括的特徴を捉える。
本稿では,情報理論と因果対実的視点から提案手法の理論的支援を行う。
論文 参考訳(メタデータ) (2024-03-03T15:53:48Z) - Learning to Learn Domain-invariant Parameters for Domain Generalization [29.821634033299855]
ドメイン一般化(DG)は、ソースドメインからドメイン不変表現をキャプチャすることでこの問題を克服することを目的としている。
DDC(Domain Decoupling and Combination)とDIGB(Domain-invariance-guided Backpropagation)の2つのモジュールを提案する。
提案手法は,高い一般化能力を有する最先端性能を実現する。
論文 参考訳(メタデータ) (2022-11-04T07:19:34Z) - Learning to Augment via Implicit Differentiation for Domain
Generalization [107.9666735637355]
ドメイン一般化(DG)は、複数のソースドメインを活用してドメイン一般化可能なモデルを学ぶことで、この問題を克服することを目的としている。
本稿では,AugLearnと呼ばれる新しい拡張型DG手法を提案する。
AugLearnは、PACS、Office-Home、Digits-DGの3つの標準DGベンチマークで効果を示す。
論文 参考訳(メタデータ) (2022-10-25T18:51:51Z) - Con$^{2}$DA: Simplifying Semi-supervised Domain Adaptation by Learning
Consistent and Contrastive Feature Representations [1.2891210250935146]
Con$2$DAは、半教師付き学習の最近の進歩を半教師付きドメイン適応問題に拡張するフレームワークである。
我々のフレームワークは、与えられた入力に対してデータ変換を行うことで、関連するサンプルのペアを生成する。
我々は、異なる損失関数を使用して、関連するデータペアのサンプルの特徴表現間の一貫性を強制します。
論文 参考訳(メタデータ) (2022-04-04T15:05:45Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳(メタデータ) (2021-10-09T09:02:45Z) - Instrumental Variable-Driven Domain Generalization with Unobserved
Confounders [53.735614014067394]
ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインから、目に見えないターゲットドメインをうまく一般化できるモデルを学ぶことを目的としている。
観測不能な共同創設者のバイアスを2段階学習で除去し,インストゥルメンタル変数駆動型DG法(IV-DG)を提案する。
第1段階では、あるドメインの入力特徴の条件分布を他のドメインの入力特徴の条件分布として学習する。
第2段階では,ラベルと学習条件分布の関係を推定する。
論文 参考訳(メタデータ) (2021-10-04T13:32:57Z) - Adversarial Bipartite Graph Learning for Video Domain Adaptation [50.68420708387015]
ドメイン適応技術は,異なる領域間のモデルを適応させることに重点を置いているが,ビデオ認識領域ではめったに研究されていない。
近年,映像のソースと対象映像の表現を統一するために,対角学習を活用する視覚領域適応はビデオにはあまり効果がない。
本稿では,ソースとターゲットの相互作用を直接モデル化するAdversarial Bipartite Graph (ABG)学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-31T03:48:41Z) - Out-of-distribution Generalization via Partial Feature Decorrelation [72.96261704851683]
本稿では,特徴分解ネットワークと対象画像分類モデルとを協調的に最適化する,PFDL(Partial Feature Deorrelation Learning)アルゴリズムを提案する。
実世界のデータセットを用いた実験により,OOD画像分類データセットにおけるバックボーンモデルの精度が向上することを示した。
論文 参考訳(メタデータ) (2020-07-30T05:48:48Z) - Bayesian Sparse Factor Analysis with Kernelized Observations [67.60224656603823]
多視点問題は潜在変数モデルに直面することができる。
高次元問題と非線形問題は伝統的にカーネルメソッドによって扱われる。
両アプローチを単一モデルにマージすることを提案する。
論文 参考訳(メタデータ) (2020-06-01T14:25:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。