論文の概要、ライセンス

# (参考訳) ドメイン密度変換によるドメイン不変表現学習 [全文訳有]

Domain Invariant Representation Learning with Domain Density Transformations ( http://arxiv.org/abs/2102.05082v1 )

ライセンス: CC BY 4.0
A. Tuan Nguyen, Toan Tran, Yarin Gal, Atilim Gunes Baydin(参考訳) ドメインの一般化とは、ソースドメインの集合からデータに基づいてモデルをトレーニングし、対象ドメインの見えない領域にモデルを一般化できるようにする問題を指す。 モデルによって学習された情報はドメイン固有であり、ターゲットドメインに不完全に一般化される可能性があるため、(すべてのソースドメインからプールされた)データの集合集合に関するモデルを直感的にトレーニングすることは、サブオプティマティックに実行されることが示されている。 この問題に対処するために、主なアプローチは、予測タスクにそれを使用するために、いくつかのドメイン不変情報を見つけて学習することです。 本稿では,領域間のすべての変換関数の下で不変となるよう表現ネットワークを強制することにより,ドメイン不変表現を理論的に学習する手法を提案する。 また、このようなドメイン変換を学習し、実際にメソッドを実装するために、生成的敵ネットワークをどのように利用するかを示す。 本手法は, ドメイン一般化問題において, 広く利用されているいくつかのデータセットにおいて, 最先端モデルで競争力のある結果が得られることを示す。

Domain generalization refers to the problem where we aim to train a model on data from a set of source domains so that the model can generalize to unseen target domains. Naively training a model on the aggregate set of data (pooled from all source domains) has been shown to perform suboptimally, since the information learned by that model might be domain-specific and generalize imperfectly to target domains. To tackle this problem, a predominant approach is to find and learn some domain-invariant information in order to use it for the prediction task. In this paper, we propose a theoretically grounded method to learn a domain-invariant representation by enforcing the representation network to be invariant under all transformation functions among domains. We also show how to use generative adversarial networks to learn such domain transformations to implement our method in practice. We demonstrate the effectiveness of our method on several widely used datasets for the domain generalization problem, on all of which we achieve competitive results with state-of-the-art models.
公開日: Tue, 9 Feb 2021 19:25:32 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Domain Invariant Representation Learning with Domain Density ドメイン密度を用いたドメイン不変表現学習 0.76
Transformations A. Tuan Nguyen 1 Toan Tran 2 Yarin Gal 1 Atilim Gunes Baydin 1 Abstract 変遷 A. Tuan Nguyen 1 Toan Tran 2 Yarin Gal 1 Atilim Gunes Baydin 1 Abstract 0.77
1 2 0 2 b e F 9 1 2 0 2 b e F 9 0.85
] G L . ] G L。 0.79
s c [ 1 v 2 8 0 5 0 sc [ 1 v 2 8 0 5 0 0.68
. 2 0 1 2 : v i X r a . 2 0 1 2 : v i X r a 0.85
Domain generalization refers to the problem where we aim to train a model on data from a set of source domains so that the model can generalize to unseen target domains. ドメインの一般化とは、ソースドメインの集合からデータに基づいてモデルをトレーニングし、対象ドメインの見えない領域にモデルを一般化できるようにする問題を指す。 0.75
Naively training a model on the aggregate set of data (pooled from all source domains) has been shown to perform suboptimally, since the information learned by that model might be domain-specific and generalize imperfectly to target domains. モデルによって学習された情報はドメイン固有であり、ターゲットドメインに不完全に一般化される可能性があるため、(すべてのソースドメインからプールされた)データの集合集合に関するモデルを直感的にトレーニングすることは、サブオプティマティックに実行されることが示されている。
訳抜け防止モード: データを集約した上でモデルを訓練すること() すべてのソースドメインからプールされる ] suboptimally (複数形 suboptimallys) そのモデルによって学習される情報は、特定のドメインであり、対象ドメインに対して不完全である。
0.68
To tackle this problem, a predominant approach is to find and learn some domain-invariant information in order to use it for the prediction task. この問題に対処するために、主なアプローチは、予測タスクにそれを使用するために、いくつかのドメイン不変情報を見つけて学習することです。
訳抜け防止モード: この問題に対処する。 主なアプローチは 予測タスクに使用するために、いくつかのドメイン-不変情報を見つけ、学習する。
0.68
In this paper, we propose a theoretically grounded method to learn a domain-invariant representation by enforcing the representation network to be invariant under all transformation functions among domains. 本稿では,領域間のすべての変換関数の下で不変となるよう表現ネットワークを強制することにより,ドメイン不変表現を理論的に学習する手法を提案する。 0.72
We also show how to use generative adversarial networks to learn such domain transformations to implement our method in practice. また、このようなドメイン変換を学習し、実際にメソッドを実装するために、生成的敵ネットワークをどのように利用するかを示す。 0.49
We demonstrate the effectiveness of our method on several widely used datasets for the domain generalization problem, on all of which we achieve competitive results with state-of-the-art models. 本手法は, ドメイン一般化問題において, 広く利用されているいくつかのデータセットにおいて, 最先端モデルで競争力のある結果が得られることを示す。 0.61
1. Introduction Domain generalization refers to the machine learning scenario where the model is trained on multiple source domains so that it is expected to generalize well to unseen target domains. 1. 導入ドメインの一般化は、モデルが複数のソースドメイン上でトレーニングされる機械学習のシナリオを指して、見つからないターゲットドメインに適切に一般化されることを期待する。 0.76
The key difference between domain generalization (Khosla et al., 2012; Muandet et al., 2013; Ghifary et al., 2015) and domain adaptation (Zhao et al., 2019; Zhang et al., 2019; Combes et al., 2020; Tanwani, 2020) is that, in domain generalization, the learner does not have access to (even a small amount of) data of the target domain, making the problem much more challenging. ドメイン一般化(Khosla et al., 2012; Muandet et al., 2013; Ghifary et al., 2015)とドメイン適応(Zhao et al., 2019; Zhang et al., 2019; Combes et al., 2020; Tanwani, 2020)の主な違いは、ドメイン一般化において、学習者が対象ドメインのデータにアクセスできなく(少量でも)、問題をはるかに困難にすることである。 0.76
One of the most common domain generalization approaches is to learn an invariant representation across domains, aiming at a good generalization performance on target domains. 最も一般的なドメイン一般化アプローチの1つは、ターゲットドメインに対する優れた一般化性能を目指して、ドメイン間で不変な表現を学ぶことである。
訳抜け防止モード: 最も一般的なドメイン一般化アプローチの1つは 対象領域における良好な一般化性能を目指して、領域間の不変表現を学習する。
0.73
1University of Oxford 2VinAI Research. 1University of Oxford 2VinAI Research 0.91
Correspondence to: A. Tuan Nguyen <tuan.nguyen@cs.ox.ac .uk>. 対応: A。 Tuan Nguyen <tuan.nguyen@cs.ox.ac .uk> 0.58
Figure 1. An example of two domains. 図1。 2つのドメインの例。 0.77
For each domain, x is uniformly distributed on the outer circle (radius 2 for domain 1 and radius 3 for domain 2), with the color indicating class label y. 各領域に対して、x は外側円 (ドメイン 1 の半径 2 とドメイン 2 の半径 3 ) 上に均一に分布し、その色はクラスラベル y を示す。 0.83
After the transformation z = x/||x||2, the marginal of z is aligned (uniformly distributed on the unit circle for both domains), but the conditional p(y|z) is not aligned. 変換 z = x/||x||2 の後、z の境界は整列する(両領域の単位円上に一様分布する)が、条件 p(y|z) は整列しない。 0.77
Thus, using this representation for predicting y would not generalize well across domains. したがって、y の予測にこの表現を使うことは、領域をまたいでうまく一般化しない。 0.49
In the representation learning framework, the prediction y = f (x), where x is data and y is a label, is obtained as a composition y = h ◦ g(x) of a deep representation network z = g(x), where z is a learned representation of data x, and a smaller classifier y = h(z), predicting label y given representation z, both of which are shared across domains. 表現学習フレームワークにおいて、x をデータとし、y をラベルとする予測 y = f(x) は、深部表現ネットワーク z = g(x) の合成 y = h > g(x) として、z をデータ x の学習表現とし、より小さい分類器 y = h(z) で、それぞれドメイン間で共有されるラベル y を予測する。
訳抜け防止モード: 表現学習フレームワークでは、予測 y = f ( x ) である。 ここで x はデータであり、y はラベルであり、ディープ表現ネットワーク z = g(x ) の組成 y = h ^ g(x ) として得られる。 ここで z はデータ x の学習表現であり、より小さい分類器 y = h(z ) である。 与えられた表現 z のラベル y を予測し、それぞれがドメイン間で共有される。
0.83
Current “domain-invariance”-based methods in domain generalization focus on either the marginal distribution alignment (Muandet et al., 2013) or the conditional distribution alignment (Li et al., 2018b;c), which are still prone to distributional shifts if the conditional or marginal (respectively) data distribution is not stable. 領域一般化における現在の「領域不変性」に基づく手法は、条件分布アライメント (Muandet et al., 2013) または条件分布アライメント (Li et al., 2018b;c) に焦点を絞っている。
訳抜け防止モード: ドメインの一般化における現在の「ドメイン-不変性」ベースの手法 マージン分布アライメント(Muandet et al ., 2013)のいずれか。 または条件付き分布アライメント(Li et al ., 2018b;c)。 条件付きまたは限界的な(それぞれ)データ分布が安定していない場合、分布シフトは依然として起こりやすい。
0.79
In particular, the marginal alignment refers to making the representation distribution p(z) to be the same across domains. 特に、辺のアライメントは、表現分布 p(z) を領域をまたいで同一にすることを意味する。 0.64
This is essential since if p(z) for the target domain is different from that of source domains, the classification network h(z) would face outof-distribution data because the representation z it receives as input at test time would be different from the ones it was trained with in source domains. これは、ターゲットドメインのp(z)がソースドメインのそれと異なる場合、分類ネットワークh(z)は、テスト時に入力として受信する表現zがソースドメインで訓練されたものと異なるため、分散外のデータに直面します。 0.71
Conditional alignment refers to aligning p(y|z), the conditional distribution of the label given the representation, since if this conditional for the target domain is different from that of the source domains, the classification network (trained on the source domains) would give inaccurate predictions at test time. 条件付きアライメントはp(y|z)をアライメントすることを指し、対象ドメインの条件がソースドメインの条件と異なる場合、分類ネットワーク(ソースドメインで訓練された)はテスト時に不正確な予測を与えるため、表現が与えられたラベルの条件付き分布である。 0.82
The formal definition of the two alignments is discussed in Section 3. 2つのアライメントの形式的定義は、セクション3で議論される。 0.73
𝑝(𝑥)𝑝(𝑧)𝑝(𝑥)𝑝(𝑧)Domain 1: 𝑧=𝑥/𝑥(with color indicating yDomain 2: 𝑧=𝑥/𝑥(with color indicating y p(x)p(z)p(x)p(z)Doma in 1: z=x/x(色: yDomain 2: z=x/x(色: y 0.96
英語(論文から抽出)日本語訳スコア
Domain Invariant Representation Learning with Domain Density Transformations ドメイン密度変換によるドメイン不変表現学習 0.79
In Figure 1 we illustrate an example where the representation z satisfies the marginal alignment but not the conditional alignment. 図1では、表現zが境界アライメントを満たすが条件アライメントではない例を示します。 0.68
Specifically, x is distributed uniformly on the circle with radius 2 (and centered at the origin) for domain 1 and distributed uniformly on the circle with radius 3 (centered at the origin) for domain 2. 具体的には、xを領域1の半径2(原点中心)で円上に均一に分布させ、領域2の半径3(原点中心)で円上に均一に分布させる。 0.73
The representation z defined by the mapping z = g(x) = x/||x||2 will align the marginal distribution p(z), i.e., z is now distributed uniformly on the unit circle for both domains. 写像 z = g(x) = x/||x||2 で定義される表現 z は辺分布 p(z) を整列する。
訳抜け防止モード: 写像 z = g(x ) = x/||x||2 で定義される表現 z は、辺分布 p(z ) に一致する。 すなわち、z は両領域の単位円上に一様分布する。
0.78
However, the conditional distribution p(y|z) is not aligned between the two domains (y is represented by color), which means using this representation for classification is suboptimal, and in this extreme case would lead to 0% accuracy in the target domain 2. しかし、条件分布 p(y|z) は2つの領域の間(y は色で表される)に一致せず、この表現を分類に使用することは最適であり、この極端な場合、対象領域 2 において 0% の精度をもたらす。 0.77
This is an extreme case of misalignment but it does illustrate the importance of the conditional alignment. これは極端な不一致のケースであるが、条件付きアライメントの重要性を示している。 0.71
Therefore, we need to align both the marginal and the conditional distributions for a domain-invariant representation. したがって、領域不変表現に対する境界分布と条件分布を一致させる必要がある。 0.76
There have been several attempts recently to align both the marginal and conditional distribution in a domain adaptation problem, for example, (Tanwani, 2020), by leveraging a small set of labeled data of the target domain. 例えば(tanwani, 2020)、ターゲットドメインのラベル付きデータの小さなセットを活用することで、ドメイン適応問題における限界分布と条件分布の両方を調整する試みが最近いくつか行われている。 0.86
However, it is challenging to apply this approach directly to domain generalization because we do not have access to data in the target domain. しかし、ターゲット領域のデータにアクセスできないため、このアプローチをドメインの一般化に直接適用することは困難である。 0.76
In this paper, we focus on learning a domain-invariant representation that aligns both the marginal and the conditional distribution in domain generalization problems. 本稿では,領域一般化問題における境界分布と条件分布の両方を整合する領域不変表現の学習に着目する。 0.78
We present theoretical results regarding the conditions for the existence of domain-invariant representations, and subsequently propose a method to learn such representations based on domain density transformation functions. ドメイン不変表現の存在条件に関する理論的結果を示し、その後、ドメイン密度変換関数に基づいてそのような表現を学習する方法を提案する。 0.73
A simple intuition for our approach is that if we enforce the representation to be invariant under the transformations among source domains, the representation will become more robust under other domain transformations. 我々のアプローチの単純な直観は、もし表現をソースドメイン間の変換の下で不変に強制すると、表現は他のドメイン変換の下でより堅牢になるということである。 0.64
Furthermore, we introduce an implementation of our method in practice, in which the domain transformation functions are learned through the training process of generative adversarial networks (GANs) (Goodfellow et al., 2014; Choi et al., 2018). さらに,本手法の実践的実装について紹介し,生成逆数ネットワーク(GAN)のトレーニングプロセスを通じてドメイン変換関数を学習する(Goodfellow et al., 2014; Choi et al., 2018)。 0.78
We conduct extensive experiments on several widely used datasets and observe a significant improvement over the naive baseline of training a model normally on the aggregate dataset from all domains. 私たちは、広く使用されているいくつかのデータセットについて広範な実験を行い、すべてのドメインからの集計データセットで通常モデルを訓練するという素朴なベースラインの大幅な改善を観察します。 0.61
We also compare our methods against other state-of-the-art models and show that our method achieves competitive results. また,本手法を他の最先端モデルと比較し,本手法が競合する結果が得られることを示す。 0.66
Our contribution in this work is threefold: この作品への私たちの貢献は3倍です 0.65
• We shed light on the domain generalization problem by providing several theoretical observations: a necessary and sufficient condition for the existence of a domaininvariant representation and a connection between domain-independent representation and a marginally- •いくつかの理論的な観察を提供することで、ドメイン一般化問題に光を当てた:ドメイン不変表現の存在とドメイン非依存表現と限界的表現の関係に関する必要十分条件 0.77
aligned representation. • We propose a theoretically grounded method for learning a domain-invariant representation based on domain density transformation functions. 整列代表。 • 領域密度変換関数に基づく領域不変表現を理論的に基礎づけた手法を提案する。 0.69
We also demonstrate that we can learn the domain transformation functions by GANs in order to implement our approach in practice. また、実践的なアプローチを実装するためにGANによるドメイン変換関数を学習できることも実証しています。 0.75
• We show the effectiveness of our methods by performing experiments on widely used domain generalization datasets (e.g., Rotated MNIST, PACS and OfficeHome) and compare with relevant baselines (especially DGER (Zhao et al., 2020), a main baseline that also aims to learn domain invariant representations). • 広く使われている領域一般化データセット(例えば、回転MNIST, PACS, OfficeHome)で実験を行い、関連するベースライン(特にDGER(Zhao et al., 2020))と比較することにより、本手法の有効性を示す。
訳抜け防止モード: •広く使われている領域一般化データセットの実験により,本手法の有効性を示す。 (例:回転MNIST、PACS、OfficeHome) そして、関連するベースライン(特にDGER(Zhao et al , 2020)と比較する。 ドメイン不変表現の学習も目的とするメインベースライン。
0.73
2. Related Work Domain Generalization: Domain generalization is an important task in real-world machine learning problems since the data distribution of a target domain might vary from that of the source domains which a model is trained on. 2. 関連ワークドメイン一般化: ドメイン一般化は、ターゲットドメインのデータ分布がモデルがトレーニングされているソースドメインと異なる可能性があるため、現実世界の機械学習問題において重要なタスクである。 0.83
Therefore, extensive research has been developed focusing on learning a model that generalizes well to unseen target domains. したがって、対象領域をよく認識するモデルを学ぶことに焦点を当てた広範な研究がなされている。 0.65
While the literature is vast, here we cover the most important works that are related to ours. 文学は広大ですが、ここでは私たちの作品に関連する最も重要な作品を取り上げます。 0.71
A predominant approach for domain generalization is domain invariance (Muandet et al., 2013; Li et al., 2018b;c; Arjovsky et al., 2019; Wang et al., 2020; Muandet et al., 2013; Akuzawa et al., 2019; Ilse et al., 2020; Zhao et al., 2020). ドメイン一般化の主要なアプローチはドメイン不変性(Muandet et al., 2013; Li et al., 2018b;c; Arjovsky et al., 2019; Wang et al., 2020; Muandet et al., 2013; Akuzawa et al., 2019; Ilse et al., 2020; Zhao et al., 2020)である。 0.86
Our method falls into this category since we propose a method that learns a domain-invariant representation (which we define as to align both the marginal distribution of the representation and the conditional distribution of the output given the representation). この手法は、ドメイン不変表現(表現の限界分布と表現が与えられた出力の条件分布の両方を整合するように定義する)を学ぶ方法を提案するため、このカテゴリーに分類されます。 0.78
We consider DGER (Zhao et al., 2020), which also learns a representation that aligns both the marginal and conditional distribution via an adversarial loss and an entropy regularizer, one of the main baselines to ours. 我々は, DGER (Zhao et al., 2020) を, 対向損失とエントロピー正規化器(エントロピー正規化器)を通じて, 境界分布と条件分布の両方を整合させる表現も学習していると考えている。 0.66
It should be noted that Zhao et al. 注意すべきは、Zhao et al。 0.57
(2020) assume the label is distributed uniformly on all domains, which is stronger than our assumption that the distribution of label is stable across domains (and not necessarily uniform). (2020) ラベルがすべての領域に一様分布していると仮定し、ラベルの分布が(必ずしも一様ではない)領域をまたいで安定であるという仮定よりも強い。 0.70
We also show later in our paper that the invariance of the distribution of class label across domains is indeed the necessary and sufficient condition for the existence of a domain-invariant representation. また、後述の論文では、ドメイン間のクラスラベルの分布の不変性が、ドメイン不変表現の存在に必要な十分条件であることも示している。 0.76
We provide a unified theoretical discussion about the two alignments and a method to learn a representation that aligns both the marginal and conditional distributions via domain density transformation functions for the domain generalization problem. 2つのアライメントに関する統一的な理論的議論と、ドメイン一般化問題のためのドメイン密度変換関数を介して、境界分布と条件分布の両方を整合させる表現を学ぶ方法を提供する。 0.76
Another line of methods that received a recent surge in interest is applying the idea of meta-learning for domain generalization problems (Du et al., 2020; Balaji et al., 2018; Li et al., 2018a; Behl et al., 2019). 最近の関心を集めている別の手法は、メタラーニングのアイデアをドメインの一般化問題に適用することである(Du et al., 2020; Balaji et al., 2018; Li et al., 2018a; Behl et al., 2019)。 0.84
The core idea behind 背後にあるコアアイデア。 0.47
英語(論文から抽出)日本語訳スコア
Domain Invariant Representation Learning with Domain Density Transformations ドメイン密度変換によるドメイン不変表現学習 0.79
Figure 2. Graphical model. 図2。 グラフィックモデル。 0.71
Each domain d defines a data distribution p(x, y|d). 各ドメインdはデータ分布p(x, y|d)を定義する。 0.82
We want to learn a representation z with a mapping from x so that p(z|x) can be generalized between domains. x から写像を持つ表現 z を学習し、p(z|x) を領域間で一般化できるようにしたい。 0.69
these works is that if we train a model that can adapt among source domains well, it would be more likely to adapt to unseen target domains. これらの効果は、ソースドメイン間でうまく適応できるモデルをトレーニングすれば、対象とするドメインに適応する可能性が高くなるということです。 0.73
Finally, there are approaches (Ding & Fu, 2017; Chattopadhyay et al., 2020; Seo et al., 2019) that make use of the domain specificity, together with domain invariance, for the prediction problem. 最後に、予測問題に対してドメイン特異性とドメイン不変性を利用するアプローチ(Ding & Fu, 2017; Chattopadhyay et al., 2020; Seo et al., 2019)がある。 0.70
The argument here is that domain invariance, while being generalized well between domains, might be insufficient for the prediction of each specific domain and thus domain specificity is necessary. ここでの議論は、領域不変性は、ドメイン間でよく一般化されているが、各特定のドメインの予測には不十分であり、したがってドメイン特異性が必要であるということである。 0.56
We would like to emphasize that our method is not a direct competitor of meta-learning based and domain specificity based methods. 我々はメタラーニングとドメイン固有性に基づく手法と直接競合するものではないことを強調したい。 0.70
In fact, we expect that our method can be used in conjunction with these methods to get the best of both worlds for better performance. 実際,本手法はこれらの手法と併用して,より優れた性能を得るために両世界を最大限に活用できると期待している。 0.68
Density transformation between domains: Since our method is based on domain density transformations, we will review briefly some related work here. ドメイン間の密度変換: この手法はドメイン密度変換に基づいているので、ここではいくつかの関連研究を概観する。 0.74
To transform the data density between domains, one can use several types of generative models. ドメイン間のデータ密度を変換するために、いくつかのタイプの生成モデルを使うことができる。
訳抜け防止モード: データ密度をドメイン間で変換する。 数種類の生成モデルを使用することができる。
0.81
Two common methods are based on GANs (Zhu et al., 2017; Choi et al., 2018; 2020) and normalizing flows (Grover et al., 2020). GANs (Zhu et al., 2017; Choi et al., 2018; 2020) と正規化フロー (Grover et al., 2020) の2つの一般的な手法がある。 0.89
Although our method is not limited to the choice of the generative model used for learning the domain transformation functions, we opt to use GAN, specifically StarGAN (Choi et al., 2018), for its rich network capacity. 提案手法は,ドメイン変換関数の学習に使用される生成モデルの選択に限ったものではなく,GAN,特にStarGAN(Choi et al., 2018)をネットワーク容量に使用することを選んだ。 0.81
This is just an implementation choice to demonstrate the use and effectiveness of our method in practice, and it is unrelated to our theoretical results. これは,本手法の実用化と有効性を示すための実装選択であり,理論的な結果とは無関係である。 0.71
Connection to contrastive learning: Our method can be interpreted intuitively as a way to learn a representation network that is invariant (robust) under domain transformation functions. コントラスト学習への接続:本手法はドメイン変換関数の下で不変(ロバスト)な表現ネットワークを学習する方法として直観的に解釈できる。 0.87
On the other hand, contrastive learning (Chen et al., 2020a;b; Misra & Maaten, 2020) is also a representation learning paradigm where the model learns images’ similarity. 一方、コントラスト学習(Chen et al., 2020a;b; Misra & Maaten, 2020)もまた、モデルが画像の類似性を学習する表現学習パラダイムである。 0.77
In particular, contrastive learning encourages the representation of an input to be similar under different transformations (usually image augmentations). 特に、コントラスト学習は、入力の表現が異なる変換(通常画像強調)の下で類似するように奨励する。 0.69
However, the transformations in contrastive learning are not learned and しかし、対照的な学習の変容は学ばず、 0.66
do not serve the purpose of making the representation robust under domain transformations. ドメイン変換の下で表現を堅牢にする目的では役に立たない。 0.62
Our method first learns the transformations between domains and then uses them to learn a representation that is invariant under domain shifts. 提案手法はまずドメイン間の変換を学習し,次にドメインシフトの下で不変な表現を学習する。 0.74
3. Theoretical Approach 3.1. Problem Statement Let us define the data distribution for a domain d ∈ D by p(x, y|d), where the variable x ∈ X represents the data and y ∈ Y is the corresponding label. 3. 理論3.1。 問題ステートメント 変数 x ∈ X がデータを表し、y ∈ Y が対応するラベルである p(x, y|d) による領域 d ∈ D のデータ分布を定義する。 0.77
The graphical model for our domain generalization framework is depicted in Figure 2, in which the joint distribution is presented as follows: ドメイン一般化フレームワークのグラフィカルモデルは、図2に示すように、ジョイント分布を次のように示す。
訳抜け防止モード: 私たちのドメイン一般化フレームワークのグラフィカルモデルは図2に示します。 共同分布が次のように示される場合。
0.79
p(d, x, y, z) = p(d)p(y)p(x|y, d)p(z|x) . p(d, x, y, z) = p(d)p(y)p(x|y, d)p(z|x) である。 0.96
(1) In the domain generalization problem, the data distribution p(x, y|d) varies between domains, thus we expect changes in the marginal data distribution p(x|d) or the conditional data distribution p(y|x, d) or both. (1) 領域一般化問題において,データ分布p(x,y|d)は領域によって異なるため,境界データ分布p(x|d)や条件データ分布p(y|x,d)などの変化が期待できる。 0.83
In this paper, we assume that p(y|d) is invariant across domains, i.e., y is not dependent on d—this assumption is shown to be the key condition for the existence of a domain-invariant representation (see Theorem 1). 本稿では、p(y|d) が領域をまたいで不変であること、すなわち y が d に依存しないことを仮定する。
訳抜け防止モード: 本稿では、p(y|d ) が領域間で不変であると仮定する。 つまり y は d に依存しない ― この仮定が示される ドメイン - 不変表現 (Theorem 1 参照) の存在の鍵条件となる。
0.78
This is practically reasonable since in many classification datasets, the class distribution can be assumed to be unchanged across domains (usually uniform distribution among the classes, e.g., balanced datasets). 多くの分類データセットでは、クラス分布はドメイン間で変更されないと仮定することができる(通常、バランスの取れたデータセットなど、クラス間の一様分布)。 0.80
Our aim is to find a domain-invariant representation z represented by the mapping p(z|x) that can be used for the classification of label y and be generalized among domains. 我々の目的は、ラベル y の分類に用いられ、領域間で一般化できる写像 p(z|x) で表現される領域不変表現 z を見つけることである。 0.63
In practice, this mapping can be deterministic (in that case, p(z|x) = δgθ(x)(z) with some function gθ, where δ is the Dirac delta distribution) or probabilistic (e.g., a normal distribution with the mean and standard deviation outputted by a network parameterized by θ). 実際、この写像は決定論的 (p(z|x) = δgθ(x)(z) であり、ある函数 gθ は δ がディラックデルタ分布である)、確率的 (例えば θ でパラメータ化されたネットワークによって出力される平均と標準偏差を持つ正規分布) である。 0.84
For all of our experiments, we use a deterministic mapping for an efficient inference at test time, while in this section, we present our theoretical results with the general case of a distribution p(z|x). すべての実験では、テスト時に効率的な推論のために決定論的マッピングを使用し、このセクションでは、分布 p(z|x) の一般ケースで理論的な結果を提示します。 0.79
In most existing domain generalization approaches, the domain-invariant representation z is defined using one of the two following definitions: Definition 1. 既存のほとんどの領域一般化アプローチにおいて、ドメイン不変表現 z は以下の2つの定義の1つを用いて定義される。 0.73
(Marginal Distribution Alignment) The representation z is said to satisfy the marginal distribution alignment condition if p(z|d) is invariant w.r.t. (Marginal Distribution Alignment) 表現 z は p(z|d) が不変 w.r.t であるとき、辺分布アライメント条件を満たすと言われる。 0.73
d. Definition 2. (Conditional Distribution Alignment) The representation z is said to satisfy the conditional distribution alignment condition if p(y|z, d) is invariant w.r.t. d.定義2。 (条件分布アライメント) 表現 z は p(y|z, d) が不変 w.r.t であれば条件分布アライメント条件を満たすと言われている。 0.80
d. However, when the data distribution varies between domains, it is crucial to align both the marginal and the conditional distribution of the representation z. d. しかし、データ分布がドメインによって異なる場合、表現zの境界分布と条件分布の両方を整列させることが重要である。 0.82
To this end, 𝑑 𝑦 𝑥 𝑧 この目的のために 𝑑 𝑦 𝑥 𝑧 0.73
英語(論文から抽出)日本語訳スコア
Domain Invariant Representation Learning with Domain Density Transformations ドメイン密度変換によるドメイン不変表現学習 0.79
this paper aims to learn a representation z that satisfies both the marginal and conditional alignment conditions. 本稿では,境界と条件のアライメント条件の両方を満たす表現 z を学習することを目的とする。 0.66
We justify our assumption of independence between y and d (thus p(y|d) = p(y)) by the following theorem, which shows that this assumption turns out to be the necessary and sufficient condition for learning a domain-invariant representation. 以下の定理により、y と d (thus p(y|d) = p(y)) の間の独立性の仮定を正当化し、この仮定が領域不変表現を学習するのに必要かつ十分であることを示す。 0.79
Theorem 1. The invariance of p(y|d) across domains is the necessary and sufficient condition for the existence of a domain-invariant representation (that aligns both the marginal and conditional distribution). 理論1。 領域間の p(y|d) の不変性は、領域不変表現(境界分布と条件分布の両方を整列させる)の存在に必要な十分な条件である。 0.69
Proof. i) If there exists a representation z defined by the mapping p(z|x) that aligns both the marginal and conditional distribution, then ∀d, d(cid:48), y we have: 証明。 i) 境界分布と条件分布の両方を整列する写像 p(z|x) によって定義される表現 z が存在する場合、d(cid:48), y がある。 0.69
p(y, z|d) = p(z|d)p(y|z, d) p(y, z|d) = p(z|d)p(y|z, d) 0.88
= p(z|d(cid:48))p(y|z, d(cid:48)) = p(y, z|d(cid:48)). p(z|d(cid:48))p(y|z, d(cid:48)) = p(y, z|d(cid:48))。 0.82
(2) By marginalizing both sides of Eq 2 over z, we get p(y|d) = p(y|d(cid:48)) . (2) p(y|d) = p(y|d(cid:48)) となる。 0.65
ii) If p(y|d) is unchanged w.r.t. ii) p(y|d) が w.r.t であるとき。 0.58
the domain d, then we can always find a domain invariant representation, for example, p(z|x) = δ0(z) for the deterministic case (that maps all x to 0), or p(z|x) = N (z; 0, 1) for the probabilistic case. 整域 d は、決定論的な場合の p(z|x) = δ0(z) や確率的場合の p(z|x) = n(z; 0, 1) など、常に整域不変表現を見つけることができる。
訳抜け防止モード: ドメインdは、常にドメイン不変表現を見つけることができます。 例えば p(z|x ) = δ0(z ) for the deterministic case (the map all x to 0 ) である。 または p(z|x ) = N ( z ; 0, 1 ) 確率の場合。
0.85
These representations are trivial and not of our interest since they are uninformative of the input x. これらの表現は、入力 x の非形式であるため、自明であり、我々の興味ではない。 0.58
However, the readers can verify that they do align both the marginal and conditional distribution of data. しかし、読者はデータの限界分布と条件分布の両方が一致していることを確認することができる。 0.66
It is also worth noting that methods which learn a domain independent representation, for example, Ilse et al. また、ドメインに依存しない表現を学習するメソッド、例えばIlse et alも注目に値する。 0.60
(2020), only align the marginal distribution. (2020) 限界分布のみを整列する。 0.69
This comes directly from the following remark: Remark 1. これは、以下のコメントから直接来ています。 0.64
A representation z satisfies the marginal distribution alignment condition if and only if I(z, d) = 0, where I(z, d) is the mutual information between z and d. 表現 z が辺分布アライメント条件を満たすのは I(z, d) = 0 であるときであり、I(z, d) が z と d の間の相互情報であるときである。 0.80
Proof. • If I(z, d) = 0, then p(z|d) = p(z), which 証明。 • I(z, d) = 0 であれば、p(z|d) = p(z) となる。 0.75
means p(z|d) is invariant w.r.t. p(z|d) は不変 w.r.t である。 0.54
d. • If p(z|d) is invariant w.r.t. d. • p(z|d) が不変 w.r.t であるとき。 0.53
d, then ∀z, d : d, then sz, d : 0.73
p(z) = p(z|d(cid:48))p(d(cid:48 ))dd(cid:48) = p(z) = p(z|d(cid:48))p(d(cid:48 ))dd(cid:48) = 0.85
p(z|d)p(d(cid:48))dd(cid :48) p(z|d)p(d(cid:48))dd(cid :48) 0.86
(cid:90) (cid:90) (cid:90) (cid:90) 0.78
(cid:90) (since p(z|d(cid:48)) = p(z|d)∀d(cid:48)) = p(z|d) p(d(cid:48))dd(cid:4 8) = p(z|d) =⇒ I(z, d) = 0 (cid:90) (p(z|d(cid:48)) = p(z|d)\d(cid:48)) = p(z|d) p(d(cid:48))dd(cid:4 8) = p(z|d) = * I(z, d) = 0 0.82
The question still remains that how we can learn a nontrivial domain invariant representation that satisfies both of the distribution alignment conditions. 依然として問題は、分布アライメント条件の両方を満たす非自明な領域不変表現をどのように学べるかである。 0.70
This will be discussed in the following subsection. これは、以下の節で議論される。 0.66
3.2. Learning a Domain-Invariant Representation with 3.2. ドメイン不変表現の学習 0.67
Domain Density Transformation Functions ドメイン密度変換関数 0.73
To present our method, we will make some assumptions about the data distribution. 本手法では,データ分布についていくつかの仮定を行う。 0.76
Specifically, for any two domains d, d(cid:48), we assume that there exists an invertible and differentiable function denoted by fd,d(cid:48) that transforms the density p(x|y, d) to p(x(cid:48)|y, d(cid:48)) ∀y. 具体的には、任意の二つの領域 d, d(cid:48) に対して、密度 p(x|y, d) を p(x(cid:48)|y, d(cid:48)) に変換する fd, d(cid:48) で表される可逆かつ微分可能な函数が存在すると仮定する。 0.76
Let fd,d(cid:48) be the inverse of fd(cid:48),d, i.e., fd(cid:48),d := (fd,d(cid:48))−1. fd,d(cid:48) を fd(cid:48),d,すなわち fd(cid:48),d := (fd,d(cid:48))−1 の逆元とする。 0.95
Due to the invertibility and differentiability of f’s, we can apply the change of variables theorem (Rudin, 2006; Bogachev, 2007). f’s の可逆性と微分性のため、変数の定理の変更を適用することができる(Rudin, 2006; Bogachev, 2007)。 0.80
In particular, with x(cid:48) = fd,d(cid:48)(x) (and thus x = fd(cid:48),d(x(cid:4 8))), we have 特に、x(cid:48) = fd,d(cid:48)(x) とすると、x = fd(cid:48),d(x(cid:4 8)) となる。 0.86
p(x|y, d) = p(x(cid:48)|y, d(cid:48)) p(x|y, d) = p(x(cid:48)|y, d(cid:48)) 0.88
(4) where Jfd(cid:48) ,d (x(cid:48)) is the Jacobian matrix of the function fd(cid:48),d evaluated at x(cid:48). (4) ここで Jfd(cid:48) ,d(cid:48) は x(cid:48) で評価された函数 fd(cid:48) のヤコビ行列である。 0.86
Multiplying both sides of Eq 4 with p(y|d) = p(y|d(cid:48)), we get eq 4 の両側に p(y|d) = p(y|d(cid:48) を乗じると、 0.87
(cid:12)(cid:12)(cid :12)det Jfd(cid:48) ,d (x(cid:48)) (cid:12)(cid:12)(cid :12)det Jfd(cid:48) ,d(x(cid:48)) 0.82
(cid:12)(cid:12)(cid :12)−1 (cid:12)(cid:12)(cid :12)−1 0.72
p(x, y|d) = p(x(cid:48), y|d(cid:48)) p(x, y|d) = p(x(cid:48), y|d(cid:48)) 0.87
(cid:12)(cid:12)(cid :12)−1 (cid:12)(cid:12)(cid :12)det Jfd(cid:48) ,d (x(cid:48)) (cid:12)(cid:12)(cid :12)det Jfd(cid:48),d (x(cid:48)) (cid:12)(cid:12)(cid :12)−1 (cid:12)(cid:12)(cid :12)(cid:12)(cid:12) (cid:48) ,d (x(cid:48)) (cid:12)(cid:12)(cid :12)det Jfd(cid:48),d (x(cid:48)) (cid:12)(cid:12)(cid :12)−1 0.85
(5) (6) and marginalizing both sides of the above equation over y gives us (5) (6) 上の方程式の両側をyで辺境にすることで 0.79
p(x|d) = p(x(cid:48)|d(cid:48)) p(x|d) = p(x(cid:48)|d(cid:48)) 0.83
By using Eq 4 and Eq 6, we can prove the following theorem, which offers a way to learn a domain-invariant representation, given the transformation functions f’s between domains. Eq 4 と Eq 6 を使用することで、次の定理を証明できる。
訳抜け防止モード: Eq 4 と Eq 6 を使用することで、次の定理を証明できます。 ドメイン間の変換関数 f を考えると、不変表現(invariant representation)というドメインを学ぶ方法を提供する。
0.76
Theorem 2. Given an invertible and differentiable function fd,d(cid:48) (with the inverse fd(cid:48),d) that transforms the data density from domain d to d(cid:48) (as described above). 定理2。 可逆かつ微分可能な関数 fd,d(cid:48) (逆 fd(cid:48,d) が与えられたとき、データ密度は d から d(cid:48) に変換される(上述)。 0.69
Assuming that the representation z satisfies: 表現 z が満たすと仮定する。 0.55
p(z|x) = p(z|fd,d(cid:48)(x)), ∀x p(z|x) = p(z|fd,d(cid:48)(x)) 0.93
(7) Then it aligns both the marginal and the conditional of the data distribution for domain d and d(cid:48). (7) 次に、ドメインdとd(cid:48)のデータ分布のマージンと条件の両方を整列させる。 0.80
Proof. i) Marginal alignment: ∀z we have: 証明。 i) 辺縁のアライメント: [z] 0.55
(cid:90) (cid:90) (cid:90) (cid:90) 0.78
(3) p(z|d) = (3) p(z|d) = 0.87
p(x|d)p(z|x)dx p(x|d)p(z|x)dx 0.84
= p(fd(cid:48),d(x(cid :48))|d)p(z|fd(cid:48),d(x(cid:4 8))) = p(fd(cid:48),d(x(cid :48))|d)p(z|fd(cid:48),d(x(cid:4 8))) 0.88
(cid:12)(cid:12)(cid :12)det Jfd(cid:48) ,d (x(cid:48)) (cid:12)(cid:12)(cid :12)det Jfd(cid:48) ,d(x(cid:48)) 0.82
(cid:12)(cid:12)(cid :12) dx(cid:48) (cid:12)(cid:12)(cid :12) dx(cid:48) 0.75
英語(論文から抽出)日本語訳スコア
Domain Invariant Representation Learning with Domain Density Transformations ドメイン密度変換によるドメイン不変表現学習 0.79
Figure 3. Domain density transformation. 図3。 ドメイン密度変換。 0.71
If we know the function f1,2 that transforms the data density from domain 1 to domain 2, we can learn a domain invariant representation network gθ(x) by enforcing it to be invariant under f1,2, i.e., gθ(x1) = gθ(x2) for any x2 = f1,2(x1) . もしデータ密度を 1 から 2 に変換する関数 f1,2 を知っていれば、任意の x2 = f1,2(x1) に対して f1,2 の下で不変であるように強制することで、ドメイン不変表現ネットワーク gθ(x) を学習することができる。 0.84
(by applying variable substitution in multiple inte- (複数 inte で変数置換を適用する) 0.81
gral: x(cid:48) = fd,d(cid:48)(x)) gral: x(cid:48) = fd,d(cid:48)(x) 0.98
= p(x(cid:48)|d(cid:48)) = p(x(cid:48)|d(cid:48)) 0.84
(cid:12)(cid:12)(cid :12)det Jfd(cid:48) ,d (x(cid:48)) (cid:12)(cid:12)(cid :12)det Jfd(cid:48) ,d(x(cid:48)) 0.82
(cid:12)(cid:12)(cid :12)−1 (cid:12)(cid:12)(cid :12)−1 0.72
p(z|x(cid:48)) p(z|x(cid:48)) 0.78
(cid:12)(cid:12)(cid :12)det Jfd(cid:48) ,d (x(cid:48)) (cid:12)(cid:12)(cid :12) dx(cid:48) (cid:12)(cid:12)(cid :12)−1 (cid:12)(cid:12)(cid :12)det Jfd(cid:48) ,d (x(cid:48)) (cid:12)(cid:12)(cid :48) ,d (x(cid:48)) (cid:12)(cid:12)(cid :12) dx(cid:48) (cid:12)(cid:12)(cid :12)−1 (cid:12)(cid:12)(cid :12)(cid:12)(cid:12) det Jfd(cid:48) ,d (x(cid:48)) 0.74
(since p(fd(cid:48),d(x(cid :48))|d) = p(x(cid:48)|d(cid:48)) (p(fd(cid:48),d(x(ci d:48))|d) = p(x(cid:48)|d(cid:48)) 0.91
due to Eq 6 and p(z|fd(cid:48),d(x(cid:4 8))) = p(z|x(cid:48)) due to definition of z in Eq 7) Eq 6 と p(z|fd(cid:48),d(x(cid:4 8))) = p(z|x(cid:48)) により、Eq 7 における z の定義による 0.84
(cid:12)(cid:12)(cid :12)det Jfd(cid:48),d (x(cid:48)) (cid:12)(cid:12)(cid :12)−1 (cid:12)(cid:12)(cid :12)det Jfd(cid:48),d(x(cid: 48)) (cid:12)(cid:12)(cid :12)−1 0.79
(since = p(x(cid:48)|y, d(cid:48)) to Eq 4 and p(z|fd(cid:48),d(x(cid:4 8))) = p(z|x(cid:48)) due to definition of z in Eq 7) (since = p(x(cid:48)|y, d(cid:48)) to Eq 4 and p(z|fd(cid:48),d(x(cid:4 8))) = p(z|x(cid:48)) 0.85
p(fd(cid:48),d(x(cid :48))|y, d) due p(fd(cid:48),d(x(cid :48))|y, d) due 0.98
(cid:90) p(x(cid:48)|y, d(cid:48))p(z|x(cid:48))dx(cid:48) (cid:90) p(x(cid:48)|y, d(cid:48))p(z|x(cid:48))dx(cid:48) 0.80
= = p(z|y, d(cid:48)) = p(z|y, d(cid:48)) 0.92
Note that p(y|z, d) = 注意 p(y|z, d) = 0.68
p(y, z|d) p(z|d) p(y, z|d) p(z|d) 0.86
= p(y|d)p(z|y, d) = p(y|d)p(z|y, d) 0.86
p(z|d) (9) p(z|d) (9) 0.85
(10) (cid:90) (10) (cid:90) 0.82
(cid:90) (cid:90) (cid:90) (cid:90) 0.78
(cid:90) p(x(cid:48)|d(cid:48))p(z|x(cid:48))dx(cid:48) (cid:90) p(x(cid:48)|d(cid:48))p(z|x(cid:48))dx(cid:48) 0.79
= = p(z|d(cid:48)) = p(z|d(cid:48)) 0.88
(8) Since p(y|d) = p(y) = p(y|d(cid:48)), p(z|y, d) = p(z|y, d(cid:48)) and p(z|d) = p(z|d(cid:48)), we have: p(y|d(cid:48))p(z|y, d(cid:48)) (8) p(y|d) = p(y|d(cid:48)), p(z|y, d) = p(z|y, d(cid:48)) および p(z|d) = p(z|d(cid:48)) であるため、p(y|d(cid:48))p(z|y, d(cid:48) となる。 0.87
= p(y|z, d(cid:48)) = p(y|z, d(cid:48)) 0.86
(11) p(y|z, d) = (11) p(y|z, d) = 0.90
p(z|d(cid:48)) p(z|d(cid:48)) 0.78
ii) Conditional alignment: ∀z, y we have: ii)条件付きアライメント: イズ、イ。 0.50
(cid:90) p(z|y, d) = (cid:90) p(z|y, d) = 0.86
p(x|y, d)p(z|x)dx p(x|y, d)p(z|x)dx 0.88
= p(fd(cid:48),d(x(cid :48))|y, d)p(z|fd(cid:48),d(x(cid:4 8))) = p(fd(cid:48),d(x(cid :48))|y,d)p(z|fd(cid:48),d(x(cid:4 8)) 0.90
(cid:12)(cid:12)(cid :12)det Jfd(cid:48) ,d (x(cid:48)) (cid:12)(cid:12)(cid :12) dx(cid:48) (cid:12)(cid:12)(cid :12)det jfd(cid:48) ,d (x(cid:48)) (cid:12)(cid:12) dx(cid:48) 0.86
(by applying variable substitution in multiple inte- (複数 inte で変数置換を適用する) 0.81
gral: x(cid:48) = fd,d(cid:48)(x)) gral: x(cid:48) = fd,d(cid:48)(x) 0.98
= p(x(cid:48)|y, d(cid:48)) = p(x(cid:48)|y, d(cid:48)) 0.86
(cid:12)(cid:12)(cid :12)det Jfd(cid:48) ,d (x(cid:48)) (cid:12)(cid:12)(cid :12)det Jfd(cid:48) ,d(x(cid:48)) 0.82
(cid:12)(cid:12)(cid :12)−1 (cid:12)(cid:12)(cid :12)det Jfd(cid:48),d (x(cid:48)) (cid:12)(cid:12)(cid :12) dx(cid:48) (cid:12)(cid:12)(cid :12)−1 (cid:12)(cid:12)(cid :12)det jfd(cid:48),d(x(cid: 48)) (cid:12)(cid:12) dx(cid:48) 0.83
p(z|x(cid:48)) p(z|x(cid:48)) 0.78
This theorem indicates that, if we can find the functions f’s that transform the data densities among the domains, we can learn a domain-invariant representation z by encouraging the representation to be invariant under all the transformations f’s. この定理は、もしドメイン間のデータ密度を変換する関数 f が見つかると、すべての変換 f の下で表現が不変であるように促すことにより、ドメイン不変表現 z を学ぶことができることを示している。 0.74
This idea is illustrated in Figure 3. この考え方を図3に示します。 0.78
We therefore can use the following learning objective to learn a domain-invariant representation z = gθ(x): Ed したがって、次の学習目的を使って、ドメイン不変表現 z = gθ(x): ed を学ぶことができる。 0.69
(cid:2)l(y, gθ(x)) + Ed(cid:48)[||gθ(x) − gθ(fd,d(cid:48)(x))||2 2](cid:3)(cid:3) (cid:2)l(y, gθ(x)) + Ed(cid:48)[||gθ(x) − gθ(fd,d(cid:48)(x))||22](cid:3) 0.96
(cid:2)Ep(x,y|d) (cid:2)Ep(x,y|d) 0.84
(12) where l(y, gθ(x)) is the prediction loss of a network that predicts y given z = gθ(x), and the second term is to enforce the invariant condition in Eq 7. (12) ここで l(y, g(x)) は y を与えられた z = g(x) で予測するネットワークの予測損失であり、第二の項は Eq 7 で不変条件を強制することである。 0.85
𝑓",$transforms data density from domain 1 to 2(with the inverse 𝑓$,")𝑥$=𝑓",$(𝑥") 𝑥" 𝑥$ 𝑧𝑔,(𝑥")𝑔,(𝑥$)Domain 1Domain 2 f", $transforms data density from domain 1 to 2 (with the inverse f$,") x$=f", $(x") x" x$ zg,(x")g,(x$)Domain 1Domain 2 0.73
英語(論文から抽出)日本語訳スコア
Domain Invariant Representation Learning with Domain Density Transformations ドメイン密度変換によるドメイン不変表現学習 0.79
Assume that we have a set of K sources domain Ds = {d1, d2, ..., dK}, the objective function in Eq. K ソース領域 Ds = {d1, d2, ..., dK} の集合が Eq の客観的関数であると仮定する。 0.72
12 becomes: Ed,d(cid:48)∈Ds,p(x,y|d) 12 となる: Ed,d(cid:48)∈Ds,p(x,y|d) 0.86
(cid:2)l(y, gθ(x)) + ||gθ(x) − gθ(fd,d(cid:48)(x))||2 (cid:2)l(y, gθ(x)) + |gθ(x) − gθ(fd,d(cid:48)(x))||2 0.90
(cid:3) 2 (13) (cid:3) 2 (13) 0.82
In the next section, we show how one can incorporate this idea into real-world domain generalization problems with generative adversarial networks. 次の節では、このアイデアを実世界のドメイン一般化問題とジェネレーティブな逆ネットワークに組み込む方法を示す。
訳抜け防止モード: 次のセクションでは このアイデアを、生成的逆ネットワークを用いた実世界領域一般化問題に組み込むことができる。
0.77
4. Domain Generalization with Generative 4. ジェネラティブによるドメイン一般化 0.76
Adversarial Networks In practice, we will learn the functions f’s that transform the data distributions between domains and one can use several generative modeling frameworks, e.g., normalizing flows (Grover et al., 2020) or GANs (Zhu et al., 2017; Choi et al., 2018; 2020) to learn such functions. 対人ネットワーク 実際には、ドメイン間でのデータ分布を変換する関数fを学習し、フローの正規化(grover et al.、2020年)やgans(zhu et al.、2017年、choi et al.、2018年、2020年)といった生成的モデリングフレームワークを使用して、そのような関数を学ぶことができます。 0.63
One advantage of normalizing flows is that this transformation is naturally invertible by design of the neural network. 流れの正規化の利点の1つは、この変換が自然にニューラルネットワークの設計によって可逆であることである。 0.63
In addition, the determinant of the Jacobian of that transformation can be efficiently computed. さらに、その変換のヤコビアンの決定式を効率的に計算することができる。 0.70
However, due to the fact that we do not need access to the Jacobian when the training process of the generative model is completed, we propose the use of GANs to inherit its rich network capacity. しかし、ジェネレーティブモデルのトレーニングプロセスが完了すると、Jacobianへのアクセスを必要としないという事実のために、我々はその豊富なネットワーク容量を継承するためにGANの使用を提案します。 0.72
In particular, we use the StarGAN (Choi et al., 2018) model, which is designed for image domain transformations. 特に、画像領域変換用に設計されたStarGAN(Choi et al., 2018)モデルを使用します。 0.64
The goal of StarGAN is to learn a unified network G that transforms the data density among multiple domains. StarGANの目標は、複数のドメイン間のデータ密度を変換する統一ネットワークGを学ぶことです。 0.81
In particular, the network G(x, d, d(cid:48)) (i.e., G is conditioned on the image x and the two different domains d, d(cid:48)) transforms an image x from domain d to domain d(cid:48). 特に、ネットワークG(x, d, d(cid:48))(すなわち、Gは画像x上でコンディショニングされ、2つの異なるドメインd, d(cid:48))は、画像xをドメインdからドメインd(cid:48)に変換する。 0.83
Different from the original StarGAN model that only takes the image x and the desired destination domain d(cid:48) as its input, in our implementation, we feed both the original domain d and desired destination domain d(cid:48) together with the original image x to the generator G. The generator’s goal is to fool a discriminator D into thinking that the transformed image belongs to the destination domain d(cid:48). 画像xと所望の宛先ドメインd(cid:48)のみを入力とするオリジナルのStarGANモデルとは異なり、実装では、元のドメインdと所望の宛先ドメインd(cid:48)の両方を元の画像xとともにジェネレータGに供給する。ジェネレータの目標は、変換された画像が宛先ドメインd(cid:48)に属すると考えるために差別者Dをだますことである。 0.83
In other words, the equilibrium state of StarGAN, in which G completely fools D, is when G successfully transforms the data density of the original domain to that of the destination domain. 言い換えれば、G が完全に D をだましている StarGAN の平衡状態は、G が元の領域のデータ密度を宛先領域のデータ密度に変換した時である。 0.73
After training, we use G(., d, d(cid:48)) as the function fd,d(cid:48)(.) トレーニング後、関数 fd,d(cid:48)() として G(., d, d(cid:48) を使用します。 0.85
described in the previous section and perform the representation learning via the objective function in Eq 13. 前のセクションで説明し、Eq 13の客観的関数を介して表現学習を実行します。 0.71
Three important loss functions of the StarGAN architecture are: StarGANアーキテクチャの3つの重要な損失関数は次のとおりです。 0.66
• The adversarial loss Ladv that is the classification loss of a discriminator D that tries to distinguish between real images and the fake images generated by G. The equilibrium state of StarGAN is when G completely fools D, which means the distribution of the generated images (via G(x, d, d(cid:48)), x ∼ p(x|d)) becomes the distribution of the real images of the destination domain p(x(cid:48)|d(cid:48)). 実画像とGによって生成された偽画像とを区別しようとする判別器Dの分類損失である逆損失Ladvは、Gが生成された画像(G(x, d, d(cid:48))の分布を意味するGが完全にだまされると、StarGANの平衡状態は、宛先領域p(x(cid:48)|d(cid:48))の実画像の分布となる。 0.76
This is our objective, i.e., to learn a function that transforms domains’ densities. これは、ドメインの密度を変換する関数を学ぶという私たちの目的です。 0.76
• Reconstruction loss Lrec Ex,d,d(cid:48)[||x − G(x(cid:48), d(cid:48), d)||1] where x(cid:48) = G(x, d, d(cid:48)) to ensure that the transformations preserve the image’s content. • Reconstruction loss Lrec Ex,d,d(cid:48)[||x − G(x(cid:48), d(cid:48), d)||1] where x(cid:48) = G(x, d, d(cid:48)) ここで変換が画像の内容を維持する。 0.92
Note that this also aligns with our interest since we want G(., d(cid:48), d) to be the inverse of G(., d, d(cid:48)), which will minimize Lrec to zero. これは、G(., d(cid:48), d) を G(., d, d(cid:48)) の逆元とし、これは Lrec を 0 に最小化するからである。
訳抜け防止モード: これは、G ( . . .) を欲しがっているので、私たちの関心とも一致します。 d(cid:48 ), d ) は G ( , ) の逆数である。 d, d(cid:48 ) ) は Lrec を 0 に最小化する。
0.69
= We can enforce the generator G to transform the data distribution within the class y (e.g., p(x|y, d) to p(x(cid:48)|y, d(cid:48)) ∀y) by sampling each minibatch with data from the same class y, so that the discriminator will distinguish the transformed images with the real images from class y and domain d(cid:48). = 各ミニバッチを同じクラス y のデータでサンプリングすることにより、生成元 G をクラス y 内のデータ分布 (p(x|y, d) を p(x(cid:48)|y, d(cid:48)) に変換することができるので、判別器は変換された画像をクラス y とドメイン d(cid:48) の実際の画像と区別することができる。 0.84
However, we found that this constraint can be relaxed in practice, and the generator almost always transforms the image within the original class y. しかし、実際にはこの制約を緩和することができ、ジェネレータは常に元のクラス y 内の画像を変換できることがわかった。 0.67
As mentioned earlier, after training the StarGAN model, we can use the generator G(., d, d(cid:48)) as our fd,d(cid:48)(.) 上記のように、StarGANモデルをトレーニングした後、ジェネレータG(., d, d(cid:48))をfd,d(cid:48)(.)として使用できます。 0.79
function and learn a domain-invariant representation via the learning objective in Eq 13. Eq 13の学習目的を通してドメイン不変表現を関数し、学習する。 0.74
We name this implementation of our method DIR-GAN (domain-invariant representation learning with generative adversarial networks). DIR-GAN (generative adversarial network を用いたドメイン不変表現学習) のこの実装を命名する。 0.70
5. Experiments 5.1. Datasets 5. 実験5.1。 データセット 0.71
To evaluate our method, we perform experiments in three datasets that are commonly used in the literature for domain generalization. 提案手法を評価するために,文献で一般的に用いられる3つのデータセットを用いて実験を行った。 0.76
Rotated MNIST. In this dataset by Ghifary et al. 回転MNIST。 Ghifaryらによるこのデータセットで。 0.71
(2015), 1,000 MNIST images (100 per class) (LeCun & Cortes, 2010) are chosen to form the first domain (denoted M0), then rotations of 15◦, 30◦, 45◦, 60◦ and 75◦ are applied to create five additional domains, denoted M15,M30,M45,M60 and M75. (2015)、1000のMNIST画像(LeCun & Cortes, 2010)が第1のドメイン(M0)を形成するために選択され、その後、M15,M30,M45,M60,M75の5つの追加ドメインを作成するために15、30、45、60、75の回転が適用される。 0.79
The task is classification with ten classes (digits 0 to 9). タスクは10のクラス(桁0から9)で分類される。 0.80
PACS (Li et al., 2017) contains 9,991 images from four different domains: art painting, cartoon, photo, sketch. PACS(Li et al., 2017)には、絵画、漫画、写真、スケッチの4つの異なる領域から9,991枚の画像が含まれている。 0.57
The task is classification with seven classes. タスクは7つのクラスで分類されます。 0.68
• Domain classification loss Lcls that encourages the generator G to generate images that correctly belongs to the desired destination domain d(cid:48). • 生成元Gが所望の宛先ドメインdに正しく属する画像を生成するように促すドメイン分類損失Lcls(cid:48)。 0.90
OfficeHome (Venkateswara et al., 2017) has 15,500 images of daily objects from four domains: art, clipart, product and real. OfficeHome (Venkateswara et al., 2017) には、アート、クリップアート、製品、リアルの4つのドメインから毎日のオブジェクトの15,500の画像があります。 0.63
There are 65 classes in this classification dataset. この分類データセットには65のクラスがある。 0.79
英語(論文から抽出)日本語訳スコア
Domain Invariant Representation Learning with Domain Density Transformations ドメイン密度変換によるドメイン不変表現学習 0.79
Table 1. Rotated Mnist leave-one-domain-out experiment. 表1。 Mnist leave-one-domain-out 回転実験。 0.61
Reported numbers are mean accuracy and standard deviation among 5 runs 報告された数字は5ランの平均精度と標準偏差である 0.70
Model HIR (Wang et al., 2020) DIVA (Ilse et al., 2020) DGER (Zhao et al., 2020) DA (Ganin et al., 2016) LG (Shankar et al., 2018) HEX (Wang et al., 2019) ADV (Wang et al., 2019) モデル HIR (Wang et al., 2020) DIVA (Ilse et al., 2020) DGER (Zhao et al., 2020) DA (Ganin et al., 2016) LG (Shankar et al., 2018) HEX (Wang et al., 2019) ADV (Wang et al., 2019) 0.82
DIR-GAN (ours) DIR-GAN (ours) 0.84
M0 90.34 93.5 90.09 86.7 89.7 90.1 89.9 M0 90.34 93.5 90.09 86.7 89.7 90.1 89.9 0.44
97.2(±0.3) 97.2(±0.3) 0.59
M15 99.75 99.3 99.24 98.0 97.8 98.9 98.6 M15 99.75 99.3 99.24 98.0 97.8 98.9 98.6 0.44
99.4(±0.1) 99.4(±0.1) 0.59
M30 99.40 99.1 99.27 97.8 98.0 98.9 98.8 M30 99.40 99.1 99.27 97.8 98.0 98.9 98.8 0.44
99.3(±0.1) 99.3(±0.1) 0.59
99.3(±0.1) 99.3(±0.1) 0.59
Domains M45 96.17 99.2 99.31 97.4 97.1 98.8 98.7 藩 M45 96.17 99.2 99.31 97.4 97.1 98.8 98.7 0.40
M60 99.25 99.3 99.45 96.9 96.6 98.3 98.6 M60 99.25 99.3 99.45 96.9 96.6 98.3 98.6 0.44
99.2(±0.1) 99.2(±0.1) 0.59
M75 91.26 93.0 90.81 89.1 92.1 90.0 90.4 M75 91.26 93.0 90.81 89.1 92.1 90.0 90.4 0.44
97.1(±0.3) 97.1(±0.3) 0.59
Average 96.03 97.2 96.36 94.3 95.3 95.8 95.2 98.6 Average 96.03 97.2 96.36 94.3 95.3 95.8 95.2 98.6 0.45
Table 2. PACS leave-one-domain-out experiment. 表2。 PACSの1ドメインアウト実験。 0.64
Reported numbers are mean accuracy and standard deviation among 5 runs 報告された数字は5ランの平均精度と標準偏差である 0.70
Model DGER (Zhao et al., 2020) JiGen (Carlucci et al., 2019) モデル DGER (Zhao et al., 2020) JiGen (Carlucci et al., 2019) 0.82
MLDG (Li et al., 2018a) MLDG (Li et al., 2018a) 0.94
MetaReg (Balaji et al., 2018) MetaReg (Balaji et al., 2018) 0.85
CSD (Piratla et al., 2020) CSD (Piratla et al., 2020) 0.85
DMG (Chattopadhyay et al., 2020) DMG(Chattopadhyay et al., 2020) 0.85
DIR-GAN (ours) DIR-GAN (ours) 0.84
Backbone Resnet18 Resnet18 Resnet18 Resnet18 Resnet18 Resnet18 Resnet18 Backbone Resnet18 Resnet18 Resnet18 Resnet18 Resnet18 Resnet18 Resnet18 0.66
Art Painting 80.70 79.42 79.50 83.70 78.90 76.90 絵画 80.70 79.42 79.50 83.70 78.90 76.90 0.44
82.56(± 0.4) 82.56(± 0.4) 0.71
Cartoon 76.40 75.25 77.30 77.20 75.80 80.38 Cartoon 76.40 75.25 77.30 77.20 75.80 80.38 0.47
76.37(± 0.3) 76.37(± 0.3) 0.71
PACS Photo 96.65 96.03 94.30 95.50 94.10 93.35 PACS Photo 96.65 96.03 94.30 95.50 94.10 93.35 0.66
95.65(± 0.5) 95.65(± 0.5) 0.71
Sketch 71.77 71.35 71.50 70.40 76.70 75.21 Sketch 71.77 71.35 71.50 70.40 76.70 75.21 0.47
79.89(± 0.2) 79.89(± 0.2) 0.71
Average 81.38 79.14 80.70 81.70 81.40 81.46 83.62 Average 81.38 79.14 80.70 81.70 81.40 81.46 83.62 0.46
Table 3. OfficeHome leave-one-domain-out experiment. 表3。 OfficeHome ワン・ドメインアウトの実験。 0.62
Reported numbers are mean accuracy and standard deviation among 5 runs 報告された数字は5ランの平均精度と標準偏差である 0.70
Model D-SAM (D’Innocente & Caputo, 2018) モデル D-SAM (D’Innocente & Caputo, 2018) 0.90
JiGen (Carlucci et al., 2019) JiGen (Carlucci et al., 2019) 0.85
DIR-GAN (ours) DIR-GAN (ours) 0.84
Backbone Resnet18 Resnet18 Resnet18 Backbone Resnet18 Resnet18 Resnet18 0.74
Art 58.03 53.04 art 58.03 53.04 0.56
56.69(±0.4) 56.69(±0.4) 0.59
ClipArt 44.37 47.51 ClipArt 44.37 47.51 0.59
50.49(±0.2) 50.49(±0.2) 0.59
OfficeHome Product 69.22 71.47 OfficeHome製品69.22 71.47 0.63
71.32(±0.4) 71.32(±0.4) 0.59
Real 71.45 72.79 71.45 72.79 0.56
74.23(±0.5) 74.23(±0.5) 0.59
Average 60.77 61.20 63.18 平均60.77 61.20 63.18 0.49
5.2. Experimental Setting 5.2. 実験の設定 0.75
For all datasets, we perform “leave-one-domain-out ” experiments, where we choose one domain as the target domain, train the model on all remaining domains and evaluate it on the chosen domain. 実験を行い、対象ドメインとして1つのドメインを選択し、残りのすべてのドメインでモデルをトレーニングし、選択したドメインでそれを評価します。 0.69
Following standard practice, we use 90% of available data as training data and 10% as validation data, except for the Rotated MNIST experiment where we do not use a validation set and just report the performance of the last epoch. 標準の練習の後、利用可能なデータの90%をトレーニングデータとして使用し、10%をバリデーションデータとして使用します。ただし、検証セットを使用しないRotated MNIST実験を除き、最後のエポックのパフォーマンスを報告します。 0.72
For the Rotated MNIST dataset, we use a network of two 3x3 convolutional layers and a fully connected layer as the representation network gθ to get a representation z of 64 dimensions. Rotated MNISTデータセットでは、2つの3x3畳み込み層と完全に接続された層からなるネットワークを使用して、64次元の表現zを得る。 0.76
A single linear layer is then used to map the representation z to the ten output classes. 次に、単一の線形層を使用して表現zを10の出力クラスにマッピングする。 0.74
This architecture is the deterministic version of the network used by Ilse et al. このアーキテクチャは、Ilse et alが使用するネットワークの決定論的なバージョンです。 0.72
(2020). We train our network for 500 epochs with the Adam optimizer (Kingma & Ba, 2014), using the learning rate 0.001 and minibatch size 64, and report performance on the (2020). 我々はAdam Optimizationr (Kingma & Ba, 2014) を用いて500エポックのネットワークをトレーニングし、学習率 0.001 とミニバッチサイズ 64 を用いて性能を報告した。 0.83
test domain after the last epoch. 最後のエポック後のテストドメイン。 0.68
For the PACS and OfficeHome datasets, we use a Resnet18 (He et al., 2016) network as the representation network gθ. PACSおよびOfficeHomeデータセットでは、表現ネットワークgθとしてResnet18(He et al., 2016)ネットワークを使用する。 0.83
As a standard practice, the Resnet18 backbone is pre-trained on ImageNet. 標準のプラクティスとして、Resnet18バックボーンはImageNetで事前トレーニングされている。 0.59
We replace the last fully connected layer of the Resnet with a linear layer of dimensions (512, 256) so that our representation has 256 dimensions. Resnetの最後の完全に接続された層を線形の次元の層(512, 256)に置き換え、表現が256次元になるようにします。 0.83
As with the Rotated MNIST experiment, we use a single layer to map from the representation z to the output. Rotated MNIST実験と同様に、表現zから出力にマップするために単一の層を使用します。 0.74
We train the network for 100 epochs with plain stochastic gradient descent (SGD) using learning rate 0.001, momentum 0.9, minibatch size 64, and weight decay 0.001. 学習率0.001、運動量0.9、ミニバッチサイズ64、重量減衰0.001を用いて、平易な確率勾配降下(SGD)を持つ100エポックのネットワークを訓練します。 0.59
Data augmentation is also standard practice for real-world computer vision datasets like PACS and OfficeHome, and during the training we augment our data as follows: crops of random size and aspect ratio, resizing to 224 × 224 pixels, random horizontal flips, random color jitter, randomly converting the image tile to grayscale with 10% probability, and normalization using the ImageNet channel means and standard deviations. データ拡張は、PACSやOfficeHomeのような現実世界のコンピュータビジョンデータセットの標準的なプラクティスでもあり、トレーニング中に、ランダムサイズとアスペクト比の作物、224×224ピクセルへのリサイズ、ランダム水平フリップ、ランダムカラージッタ、画像タイルを10%の確率でグレースケールにランダムに変換、ImageNetチャンネル手段と標準偏差を用いた正規化、といったデータを拡大します。 0.76
英語(論文から抽出)日本語訳スコア
Domain Invariant Representation Learning with Domain Density Transformations ドメイン密度変換によるドメイン不変表現学習 0.79
Figure 4. Visualization of the representation space. 図4。 表現空間の可視化。 0.71
Each point indicates a representation z of an image x in the two dimensional space and its color indicates the label y. 各点は2次元空間における画像 x の表現 z を示し、その色はラベル y を示す。 0.74
Two left figures are for our method DIR-GAN and two right figures are for the naive model DeepAll. 2つの左図はDIR-GAN法、右図はNiveモデルDeepAll法である。 0.55
The StarGAN (Choi et al., 2018) model implementation is taken from the authors’ original source code with no significant modifications. StarGAN(Choi et al., 2018)モデルの実装は、著者の元のソースコードから取得され、重要な変更はありません。 0.73
For each set of source domains, we train the StarGAN model for 100,000 iterations with a minibatch of 16 images per iteration. ソースドメインのセットごとに、StarGANモデルを10,000回、イテレーション毎に16イメージのミニバッチでトレーニングします。 0.67
The code for all of our experiments will be released for reproducibility. すべての実験のコードは再現性のためにリリースされます。 0.76
Please also refer to the source code for any other architecture and implementation details. 他のアーキテクチャや実装の詳細についてはソースコードも参照してください。 0.78
5.3. Results Rotated MNIST Experiment. 5.3. 結果回転MNIST実験。 0.70
Table 1 shows the performance of our model on the Rotated MNIST dataset. 表1は、Rotated MNISTデータセットにおけるモデルのパフォーマンスを示しています。 0.78
The main baselines we consider in this experiment are HIR (Wang et al., 2020), DIVA (Ilse et al., 2020) and DGER (Zhao et al., 2020), which are domain invariance based methods. この実験で検討する主なベースラインは、ドメイン不変性に基づくHIR(Wang et al., 2020)、DIVA(Ilse et al., 2020)、DGER(Zhao et al., 2020)である。
訳抜け防止モード: この実験で検討する主なベースラインは、HIR(Wang et al , 2020)である。 DIVA(Ilse et al ., 2020)とDGER(Zhao et al ., 2020) これはドメイン不変性に基づくメソッドです。
0.81
Our method recognizably outperforms those, illustrating the effectiveness of our method on learning a domain-invariant representation over the existing works. 提案手法は,既存の作業におけるドメイン不変表現の学習において,本手法の有効性を示すものである。 0.74
We also include other best-performing models for this dataset in the second half of the table. また、このデータセットの他の最高のパフォーマンスモデルもテーブルの後半に含めています。 0.67
To the best of our knowledge, we set a new state-of-the-art performance on this Rotated MNIST dataset. 我々の知る限り、我々はこの回転MNISTデータセットに最先端のパフォーマンスを新たに設定した。 0.65
We further analyze the distribution of the representation z by performing principal component analysis to reduce the dimension of z from 64 to two principal components. さらに、z の次元を 64 から 2 の主成分に縮めるために主成分分析を行うことにより、表現 z の分布を解析する。 0.69
We visualize the representation space for two domains M30 and M60, with each point indicating the representation z of an image x in the two-dimensional space and its color indicating the label y. 2つの領域 M30 と M60 の表現空間を可視化し、各点が2次元空間における画像 x の表現 z を示し、その色はラベル y を示す。 0.84
Figures 4a and 4b show the representation space of our method (in domains M30 and M60 respectively). 図4aと4bは、我々の方法の表現空間(それぞれドメインM30とM60)を示す。 0.75
It is clear that both the marginal (judged by the general distribution of the points) and the conditional (judged by the positions of colors) are relatively aligned. 境界(点の一般分布によって判断される)と条件(色の位置によって判断される)が相対的に整列していることは明らかである。 0.73
Meanwhile, Figures 4c and 4d show the representation space with naive training (in domains M30 and M60 respectively), showing the misalignment in the marginal distribution (judged by 一方、図4c、図4dは、ネーティブなトレーニング(ドメインm30、m60)を伴う表現空間を示し、辺分布のずれ(判断)を示す。 0.68
the general distribution of the points) and the conditional distribution (for example, the distributions of blue points and green points). 点の一般的な分布と条件分布(例えば、青色点と緑色点の分布)。
訳抜け防止モード: 点の一般的な分布)と条件分布(例えば、) 青い点と緑の点の分布)。
0.69
PACS and OfficeHome. PACSとOfficeHome。 0.73
To the best of our knowledge, domain invariant representation learning methods have not been applied widely and successfully for real-world computer vision datasets (e.g., PACS and OfficeHome) with very deep neural networks such as Resnet, so the only relevant baseline to ours is DGER (Zhao et al., 2020) for the PACS experiment. 私たちの知る限り、ドメイン不変表現学習法は、Resnetのような非常に深いニューラルネットワークを持つ現実世界のコンピュータビジョンデータセット(例えば、PACSとOfficeHome)に広くそしてうまく適用されていないため、私たちの唯一の関連するベースラインは、PACS実験のためのDGER(Zhao et al., 2020)です。 0.73
Therefore, we include more baselines from other approaches (e.g., meta-learning based or domainspecificity based methods) for comparison. したがって、比較のために、他のアプローチ(メタラーニングベースやドメイン固有性ベースメソッドなど)からのベースラインをより多く含みます。
訳抜け防止モード: したがって、他のアプローチのベースラインも追加します。 (メタ学習やドメイン特異性に基づく方法など) 比較のため。
0.63
Table 2 and 3 show that DIR-GAN outperforms DGER significantly and achieves competitive performance compared to other state-of-the-art baselines. 表2と3は、DIR-GANがDGERを著しく上回り、他の最先端のベースラインと比較して競争性能を発揮することを示している。 0.45
6. Conclusion To conclude, in this work we propose a theoretically grounded approach to learn a domain-invariant representation for the domain generalization problem by using domain transformation functions. 6. 結論 本論文では、ドメイン変換関数を用いて、ドメイン一般化問題に対するドメイン不変表現を学ぶための理論的根拠付きアプローチを提案する。 0.81
We also provide some insights into domain-invariant representation learning with several theoretical observations. また、いくつかの理論的観察により、ドメイン不変表現学習に関する洞察も提供します。 0.50
We then introduce an implementation for our method in practice with the domain transformations learned by a StarGAN architecture and empirically show that our approach outperforms other domaininvariance-bas ed methods. 次に、StarGANアーキテクチャによって学習されたドメイン変換を実践的に実装し、我々のアプローチが他のドメイン不変性に基づく手法よりも優れていることを実証的に示す。 0.67
Our method also achieves competitive results on several datasets when compared to other state-of-the-art models. 提案手法は,他の最先端モデルと比較して,複数のデータセット上での競合結果も達成する。 0.53
In the future, we plan to incorporate our method into meta-learning based and domainspecificity based approaches for improved performance. 今後,メタラーニングとドメイン固有性に基づくアプローチに本手法を取り入れて,性能向上を目指す。
訳抜け防止モード: 今後の計画 この手法をメタ学習ベースとドメイン固有性ベースのアプローチに組み込んでパフォーマンスを向上させる。
0.72
We also plan to extend the domain-invariant representation learning framework to the more challenging scenarios, for example, where domain information is not available (i.e., we have a dataset pooled from multiple source domains but do not know the domain identification of each data instance). また、ドメイン不変表現学習フレームワークを、ドメイン情報が利用できない場合(例えば、複数のソースドメインからデータセットがプールされているが、各データインスタンスのドメイン識別がわからない場合)など、より困難なシナリオに拡張する計画もあります。 0.83
英語(論文から抽出)日本語訳スコア
Domain Invariant Representation Learning with Domain Density Transformations ドメイン密度変換によるドメイン不変表現学習 0.79
References Akuzawa, K., Iwasawa, Y., and Matsuo, Y. Adversarial invariant feature learning with accuracy constraint for domain generalization. Akuzawa, K., Iwasawa, Y., and Matsuo, Y. Adversarial invariant feature learning with accuracy constraint for domain generalization を参照。 0.86
In Joint European Conference on Machine Learning and Knowledge Discovery in Databases, pp. european conference on machine learning and knowledge discovery in databases, pp. (英語) 0.71
315–331. Springer, 2019. 315–331. スプリンガー、2019年。 0.62
Arjovsky, M., Bottou, L., Gulrajani, Arjovsky、M.、Bottou、L.、Gulrajani。 0.77
I., and LopezInvariant risk minimization. I. と LopezInvariant のリスク最小化。 0.81
arXiv preprint arXiv プレプリント 0.83
Paz, D. arXiv:1907.02893, 2019. Paz, D. arXiv:1907.02893, 2019 0.76
Balaji, Y., Sankaranarayanan, S., and Chellappa, R. Metareg: Towards domain generalization using meta-regularization. Balaji, Y., Sankaranarayanan, S., and Chellappa, Metareg: Meta-regularization を用いた領域一般化を目指す。 0.84
Advances in Neural Information Processing Systems, 31: 998–1008, 2018. ニューラル情報処理システムの進歩、31: 998–1008、2018。 0.79
Behl, H., Baydin, A. G., and Torr, P. H. Alpha maml: Adaptive model-agnostic meta-learning. Behl, H., Baydin, A. G., Torr, P. H. Alpha maml: Adaptive model-agnostic meta-learning。 0.90
In 6th ICML Workshop on Automated Machine Learning, Thirty-sixth International Conference on Machine Learning (ICML 2019), Long Beach, CA, US, 2019. 第6回ICML Workshop on Automated Machine Learning, Thirty-sixth International Conference on Machine Learning (ICML 2019), Long Beach, CA, US, 2019。 0.85
Bogachev, V. I. ボガチェフ、V.I。 0.65
Measure theory, volume 1. Springer Science 測定理論、第1巻。 スプリング科学 0.60
& Business Media, 2007. 2007年、ビジネス・メディア。 0.79
Carlucci, F. M., D’Innocente, A., Bucci, S., Caputo, B., and Tommasi, T. Domain generalization by solving jigsaw puzzles. Carlucci, F. M., D’Innocente, A., Bucci, S., Caputo, B., Tommasi, T. Domain Generalization, ジグソーパズルの解法による一般化。 0.89
In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. コンピュータビジョンとパターン認識に関するIEEE/CVF会議の進行において、pp。 0.76
2229– 2238, 2019. 2229– 2238, 2019. 0.99
Chattopadhyay, P., Balaji, Y., and Hoffman, J. Chattopadhyay、P.、Balaji、Y.、およびHoffman、J。 0.84
Learning to balance specificity and invariance for in and out of domain generalization. ドメインの一般化における特異性と不変性のバランスをとるための学習。 0.64
In European Conference on Computer Vision, pp. 英語) European Conference on Computer Vision, pp。 0.79
301–318. Springer, 2020. 301–318. スプリンガー、2020年。 0.65
Chen, T., Kornblith, S., Norouzi, M., and Hinton, G. A simple framework for contrastive learning of visual repIn International conference on machine resentations. Chen, T., Kornblith, S., Norouzi, M., and Hinton, G. 視覚的反応の対比学習のためのシンプルなフレームワークマシンのセンセーションに関する国際会議。 0.90
learning, pp. 1597–1607. 学ぶんだ pp 1597–1607. 0.65
PMLR, 2020a. PMLR、2020年。 0.87
Chen, T., Kornblith, S., Swersky, K., Norouzi, M., and Hinton, G. Big self-supervised models are strong semisupervised learners. Chen, T., Kornblith, S., Swersky, K., Norouzi, M., and Hinton, G. 自己監督型モデルは、強力な半教師型学習者である。 0.79
arXiv preprint arXiv:2006.10029, 2020b. arXiv preprint arXiv:2006.10029, 2020b 0.73
Choi, Y., Choi, M., Kim, M., Ha, J.-W., Kim, S., and Choo, J. Stargan: Unified generative adversarial networks for multi-domain image-to-image translation. Choi, Y., Choi, M., Kim, M., Ha, J.-W., Kim, S., and Choo, J. Stargan: マルチドメイン画像・画像翻訳のための統一生成逆ネットワーク。 0.86
In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. Proceedings of the IEEE conference on computer vision and pattern recognition, pp。 0.72
8789–8797, 2018. 8789–8797, 2018. 0.84
Choi, Y., Uh, Y., Yoo, J., and Ha, J.-W. Stargan v2: Diverse image synthesis for multiple domains. Choi, Y., Uh, Y., Yoo, J., and Ha, J.-W. Stargan v2: 複数のドメインの多様な画像合成。 0.86
In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. コンピュータビジョンとパターン認識に関するIEEE/CVF会議の進行において、pp。 0.76
8188–8197, 2020. 8188–8197, 2020. 0.84
Combes, R. T. d., Zhao, H., Wang, Y.-X., and Gordon, G. Domain adaptation with conditional distribution matching and generalized label shift. Combes, R. T. d., Zhao, H., Wang, Y.-X., Gordon, G. Domain adaptation with Conditional distribution matching and generalized label shift。 0.91
arXiv preprint arXiv:2003.04475, 2020. arXiv preprint arXiv:2003.04475, 2020 0.80
Ding, Z. and Fu, Y. Ding, Z. and Fu, Y。 0.91
Deep domain generalization with structured low-rank constraint. 構造化低ランク制約による深部領域一般化 0.68
IEEE Transactions on Image Processing, 27(1):304–313, 2017. IEEE Transactions on Image Processing, 27(1):304–313, 2017 0.91
Du, Y., Xu, J., Xiong, H., Qiu, Q., Zhen, X., Snoek, C. G., and Shao, L. Learning to learn with variational information bottleneck for domain generalization. Du, Y., Xu, J., Xiong, H., Qiu, Q., Zhen, X., Snoek, C.G., Shao, L. ドメイン一般化のための変動情報ボトルネックで学ぶことを学ぶ。 0.84
In European Conference on Computer Vision, pp. 英語) European Conference on Computer Vision, pp。 0.79
200–216. Springer, 2020. 200–216. スプリンガー、2020年。 0.65
D’Innocente, A. and Caputo, B. Domain generalization with domain-specific aggregation modules. D’Innocente, A. and Caputo, B. ドメイン固有の集約モジュールによるドメイン一般化。 0.72
In German Conference on Pattern Recognition, pp. ドイツのパターン認識会議で、pp。 0.65
187–198. Springer, 2018. 187–198. 2018年、スプリンガー。 0.61
Ganin, Y., Ustinova, E., Ajakan, H., Germain, P., Larochelle, H., Laviolette, F., Marchand, M., and Lempitsky, V. Domain-adversarial training of neural networks. Ganin, Y., Ustinova, E., Ajakan, H., Germain, P., Larochelle, H., Laviolette, F., Marchand, M., and Lempitsky, V. Domain-adversarial Training of neural Network。 0.89
The Journal of Machine Learning Research, 17(1):2096–2030, 2016. journal of machine learning research, 17(1):2096–2030, 2016を参照。 0.84
Ghifary, M., Kleijn, W. B., Zhang, M., and Balduzzi, D. Domain generalization for object recognition with multi-task autoencoders. Ghifary, M., Kleijn, W. B., Zhang, M., Balduzzi, D. Domain generalization for object recognition with multi-task autoencoders。 0.88
In Proceedings of the IEEE International Conference on Computer Vision, pp. In Proceedings of the IEEE International Conference on Computer Vision, pp. 0.85
2551–2559, 2015. 2551–2559, 2015. 0.84
Goodfellow, I. J., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., and Bengio, Y. Generative adversarial networks. Goodfellow, I.J., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., and Bengio, Y. Generative adversarial network. 0.97
arXiv preprint arXiv:1406.2661, 2014. arXiv preprint arXiv:1406.2661, 2014 0.80
Grover, A., Chute, C., Shu, R., Cao, Z., and Ermon, S. Alignflow: Cycle consistent learning from multiple domains via normalizing flows. Grover, A., Chute, C., Shu, R., Cao, Z., and Ermon, S. Alignflow: 正規化フローによる複数のドメインからのサイクル一貫した学習。 0.88
In Proceedings of the AAAI Conference on Artificial Intelligence, volume 34, pp. The Proceedings of the AAAI Conference on Artificial Intelligence, Volume 34, pp。 0.76
4028–4035, 2020. 4028–4035, 2020. 0.84
He, K., Zhang, X., Ren, S., and Sun, J. He, K., Zhang, X., Ren, S., and Sun, J。 0.82
Deep residual learning for image recognition. 画像認識のための深い残差学習 0.81
In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. コンピュータビジョンとパターン認識に関するIEEE会議の進行において、pp。 0.72
770–778, 2016. 770–778, 2016. 0.84
Ilse, M., Tomczak, J. M., Louizos, C., and Welling, M. Diva: Domain invariant variational autoencoders. Ilse, M., Tomczak, J.M., Louizos, C., and Welling, M. Diva: Domain invariantvarial autoencoder。 0.83
In Medical Imaging with Deep Learning, pp. 深層学習を用いた医用イメージング, pp。 0.75
322–348. PMLR, 2020. 322–348. PMLR、2020年。 0.79
Khosla, A., Zhou, T., Malisiewicz, T., Efros, A. Khosla, A., Zhou, T., Malisiewicz, T., Efros, A。 0.82
A., and Torralba, A. A.、およびTorralba、A。 0.85
Undoing the damage of dataset bias. データセットバイアスの損傷を解消する。 0.74
In European Conference on Computer Vision, pp. 英語) European Conference on Computer Vision, pp。 0.79
158–171. Springer, 2012. 158–171. 2012年春。 0.60
Kingma, D. P. and Ba, J. Adam: A method for stochastic Kingma, D. P. and Ba, J. Adam:確率的方法 0.81
optimization. arXiv preprint arXiv:1412.6980, 2014. 最適化。 arXiv preprint arXiv:1412.6980, 2014 0.75
英語(論文から抽出)日本語訳スコア
Domain Invariant Representation Learning with Domain Density Transformations ドメイン密度変換によるドメイン不変表現学習 0.79
LeCun, Y. and Cortes, C. MNIST handwritten digit database. LeCun, Y. and Cortes, C.MNIST 手書き桁データベース。 0.91
2010. URL http://yann.lecun.co m/ exdb/mnist/. 2010. URL http://yann.lecun.co m/ exdb/mnist/ 0.68
domain adaptation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. ドメイン適応。 コンピュータビジョンとパターン認識に関するIEEE会議の進行において、pp。 0.66
5018–5027, 2017. 5018–5027, 2017. 0.84
Li, D., Yang, Y., Song, Y.-Z., and Hospedales, T. Deeper, broader and artier domain generalization. Li, D., Yang, Y., Song, Y.-Z., and Hospedales, T. Deeper, widely and artier domain generalization。 0.91
In International Conference on Computer Vision, 2017. 2017年、国際コンピュータビジョン会議に参加。 0.79
Wang, H., He, Z., Lipton, Z. C., and Xing, E. P. Learning robust representations by projecting superficial statistics out. Wang, H., He, Z., Lipton, Z. C., and Xing, E. P. Learning robust representations by projectioning superficial statistics out。 0.90
arXiv preprint arXiv:1903.06256, 2019. arXiv preprint arXiv:1903.06256, 2019 0.81
Wang, Z., Loog, M., and van Gemert, J. Respecting domain relations: Hypothesis invariance for domain generalization. Wang, Z., Loog, M. and van Gemert, J. Respecting domain relations: hypothesis invariance for domain generalization 0.81
arXiv preprint arXiv:2010.07591, 2020. arXiv preprint arXiv:2010.07591, 2020 0.80
Zhang, Y., Liu, T., Long, M., and Jordan, M. Bridging theory and algorithm for domain adaptation. Zhang, Y., Liu, T., Long, M. and Jordan, M. Bridging theory and algorithm for domain adaptation。 0.84
In International Conference on Machine Learning, pp. 英語) international conference on machine learning, pp. 0.80
7404–7413. 7404–7413. 0.71
PMLR, 2019. 2019年、PMLR。 0.72
Zhao, H., Des Combes, R. T., Zhang, K., and Gordon, G. On learning invariant representations for domain adaptation. Zhao, H., Des Combes, R. T., Zhang, K., Gordon, G. ドメイン適応のための不変表現の学習について 0.87
In International Conference on Machine Learning, pp. 英語) international conference on machine learning, pp. 0.80
7523–7532. 7523–7532. 0.71
PMLR, 2019. 2019年、PMLR。 0.72
Zhao, S., Gong, M., Liu, T., Fu, H., and Tao, D. Domain generalization via entropy regularization. Zhao, S., Gong, M., Liu, T., Fu, H., Tao, D.エントロピー正規化によるドメイン一般化。 0.80
Advances in Neural Information Processing Systems, 33, 2020. ニューラル情報処理システムの進歩 -2020年3月33日- 0.73
Zhu, J.-Y., Park, T., Isola, P., and Efros, A. Zhu, J.-Y., Park, T., Isola, P., and Efros, A. 0.94
A. Unpaired image-to-image translation using cycle-consistent adversarial networks. a. 周期整合な逆ネットワークを用いた画像対画像変換 0.59
In Proceedings of the IEEE international conference on computer vision, pp. IEEE国際会議Proceedings of the IEEE International Conference on Computer Vision, pp。 0.84
2223–2232, 2017. 2223–2232, 2017. 0.84
Li, D., Yang, Y., Song, Y.-Z., and Hospedales, T. Learning to generalize: Meta-learning for domain generalization. Li, D., Yang, Y., Song, Y.-Z., and Hospedales, T. Learning to generalize: Meta- Learning for domain generalization. 0.98
In Proceedings of the AAAI Conference on Artificial Intelligence, volume 32, 2018a. The Proceedings of the AAAI Conference on Artificial Intelligence, Volume 32, 2018a 0.79
Li, Y., Gong, M., Tian, X., Liu, T., and Tao, D. Domain generalization via conditional invariant representations. Li, Y., Gong, M., Tian, X., Liu, T., Tao, D. Domain generalization by Conditional invariant representations。 0.80
In Proceedings of the AAAI Conference on Artificial Intelligence, volume 32, 2018b. The Proceedings of the AAAI Conference on Artificial Intelligence, Volume 32, 2018b 0.80
Li, Y., Tian, X., Gong, M., Liu, Y., Liu, T., Zhang, K., and Tao, D. Deep domain generalization via conditional In Proceedings of the invariant adversarial networks. Li, Y., Tian, X., Gong, M., Liu, Y., Liu, T., Zhang, K., and Tao, D. Deep domain generalization via Conditional In Proceedings of the invariant adversarial network。 0.84
European Conference on Computer Vision (ECCV), pp. European Conference on Computer Vision (ECCV) pp。 0.72
624–639, 2018c. 624-639, 2018年。 0.56
Misra, I. and Maaten, L. v. d. Self-supervised learning of pretext-invariant representations. Misra, I. and Maaten, L. v. d. 前文不変表現の自己教師型学習 0.67
In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. コンピュータビジョンとパターン認識に関するIEEE/CVF会議の進行において、pp。 0.76
6707–6717, 2020. 6707–6717, 2020. 0.84
Muandet, K., Balduzzi, D., and Schölkopf, B. Domain generalization via invariant feature representation. Muandet, K., Balduzzi, D., and Schölkopf, B. 不変特徴表現によるドメイン一般化。 0.82
In International Conference on Machine Learning, pp. 英語) international conference on machine learning, pp. 0.80
10– 18. PMLR, 2013. 10– 18. 2013年、PMLR。 0.80
Piratla, V., Netrapalli, P., and Sarawagi, S. Efficient domain generalization via common-specific low-rank decomposition. Piratla, V., Netrapalli, P., and Sarawagi, S. Efficient domain generalization through common-specific Low-rank decomposition。 0.90
In International Conference on Machine Learning, pp. 英語) international conference on machine learning, pp. 0.80
7728–7738. 7728–7738. 0.71
PMLR, 2020. PMLR、2020年。 0.88
Rudin, W. Real and complex analysis. Rudin、W.リアルで複雑な分析。 0.80
Tata McGraw-hill education, 2006. 田田マクグローヒル 2006年、教育。 0.68
Seo, S., Suh, Y., Kim, D., Han, J., and Han, B. Seo、S.、Suh、Y.、Kim、D.、Han、J.、およびHan、B。 0.86
Learning to optimize domain specific normalization for domain generalization. ドメイン一般化のためのドメイン固有正規化を最適化する学習。 0.60
arXiv preprint arXiv:1907.04275, 3(6):7, 2019. arXiv preprint arXiv:1907.04275, 3(6):7, 2019 0.89
Shankar, S., Piratla, V., Chakrabarti, S., Chaudhuri, S., Jyothi, P., and Sarawagi, S. Generalizing across arXiv preprint domains via cross-gradient training. Shankar, S., Piratla, V., Chakrabarti, S., Chaudhuri, S., Jyothi, P., Sarawagi, S. Generalizing across arXiv preprint domain via cross-gradient training。 0.86
arXiv:1804.10745, 2018. arXiv:1804.10745, 2018 0.69
Tanwani, A. K. Domain-invariant representation learning for sim-to-real transfer. Tanwani, A. K. Domain-invariant representation learning for sim-to-real transfer 0.70
arXiv preprint arXiv:2011.07589, 2020. arXiv preprint arXiv:2011.07589, 2020 0.81
Venkateswara, H., Eusebio, J., Chakraborty, S., and Panchanathan, S. Deep hashing network for unsupervised Venkateswara, H., Eusebio, J., Chakraborty, S., and Panchanathan, S. Deep hashing network for unsupervised 0.89
                     ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。