論文の概要: On Causality in Domain Adaptation and Semi-Supervised Learning: an
Information-Theoretic Analysis
- arxiv url: http://arxiv.org/abs/2205.04641v1
- Date: Tue, 10 May 2022 03:18:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-12 21:36:42.151023
- Title: On Causality in Domain Adaptation and Semi-Supervised Learning: an
Information-Theoretic Analysis
- Title(参考訳): ドメイン適応と半監督学習における因果性について:情報理論解析
- Authors: Xuetong Wu and Mingming Gong and Jonathan H. Manton and Uwe Aickelin
and Jingge Zhu
- Abstract要約: 我々は、mラベル付きソースデータとnラベルなしターゲットデータをトレーニングインスタンスとしてアクセスするUDA/SSL設定について検討する。
因果学習では、ソースとターゲットドメイン間のラベル付け分布が変化しない場合のみ、O(1/m)のレートでソースサンプルのサイズに余剰リスクが依存していることが示される。
反因果学習では、ラベルのないデータが典型的にはO(1/n)の速度でパフォーマンスを支配していることを示す。
- 参考スコア(独自算出の注目度): 34.308646155192115
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The establishment of the link between causality and unsupervised domain
adaptation (UDA)/semi-supervised learning (SSL) has led to methodological
advances in these learning problems in recent years. However, a formal theory
that explains the role of causality in the generalization performance of
UDA/SSL is still lacking. In this paper, we consider the UDA/SSL setting where
we access m labeled source data and n unlabeled target data as training
instances under a parametric probabilistic model. We study the learning
performance (e.g., excess risk) of prediction in the target domain.
Specifically, we distinguish two scenarios: the learning problem is called
causal learning if the feature is the cause and the label is the effect, and is
called anti-causal learning otherwise. We show that in causal learning, the
excess risk depends on the size of the source sample at a rate of O(1/m) only
if the labelling distribution between the source and target domains remains
unchanged. In anti-causal learning, we show that the unlabeled data dominate
the performance at a rate of typically O(1/n). Our analysis is based on the
notion of potential outcome random variables and information theory. These
results bring out the relationship between the data sample size and the
hardness of the learning problem with different causal mechanisms.
- Abstract(参考訳): 因果関係と非教師なしドメイン適応(uda/semi-supervised learning, ssl)の関連が確立され,近年,これらの学習問題の方法論的発展につながった。
しかし、UDA/SSLの一般化性能における因果性の役割を説明する公式な理論はいまだ不十分である。
本稿では,mラベル付きソースデータとnラベルなしターゲットデータにアクセスするUDA/SSL設定を,パラメトリック確率モデルに基づくトレーニングインスタンスとして検討する。
対象領域における予測の学習性能(過剰リスクなど)について検討する。
具体的には、2つのシナリオを区別する: 学習問題は、その特徴が原因であり、ラベルが効果である場合、因果学習と呼ばれ、それ以外の場合、反因果学習と呼ばれる。
因果学習では、ソースとターゲットドメイン間のラベル付け分布が変化しない場合のみ、O(1/m)のレートでソースサンプルのサイズに余剰リスクが依存していることが示される。
反コーサル学習では、ラベルのないデータが通常o(1/n)の割合でパフォーマンスを支配していることを示す。
我々の分析は、潜在的結果確率変数と情報理論の概念に基づいている。
これらの結果から,データサンプルサイズと,因果メカニズムの異なる学習課題の硬さの関係が明らかになった。
関連論文リスト
- A Causal Ordering Prior for Unsupervised Representation Learning [27.18951912984905]
因果表現学習(Causal representation learning)は、データセットの変動の要因は、実際には因果関係にあると主張している。
本稿では,遅延付加雑音モデルを用いたデータ生成過程を考慮した,教師なし表現学習手法を提案する。
論文 参考訳(メタデータ) (2023-07-11T18:12:05Z) - Nonparametric Identifiability of Causal Representations from Unknown
Interventions [63.1354734978244]
本研究では, 因果表現学習, 潜伏因果変数を推定するタスク, およびそれらの変数の混合から因果関係を考察する。
我々のゴールは、根底にある真理潜入者とその因果グラフの両方を、介入データから解決不可能なあいまいさの集合まで識別することである。
論文 参考訳(メタデータ) (2023-06-01T10:51:58Z) - Towards Causal Representation Learning and Deconfounding from Indefinite
Data [17.793702165499298]
非統計データ(画像、テキストなど)は、従来の因果データとプロパティやメソッドの点で重大な対立に遭遇する。
2つの新しい視点から因果データを再定義し、3つのデータパラダイムを提案する。
非定値データから因果表現を学習するための動的変分推論モデルとして,上記の設計を実装した。
論文 参考訳(メタデータ) (2023-05-04T08:20:37Z) - The Power and Limitation of Pretraining-Finetuning for Linear Regression
under Covariate Shift [127.21287240963859]
本研究では,対象データに基づく事前学習と微調整を併用した伝達学習手法について検討する。
大規模な線形回帰インスタンスの場合、$O(N2)$ソースデータによる転送学習は、$N$ターゲットデータによる教師あり学習と同じくらい効果的である。
論文 参考訳(メタデータ) (2022-08-03T05:59:49Z) - Equivariance Allows Handling Multiple Nuisance Variables When Analyzing
Pooled Neuroimaging Datasets [53.34152466646884]
本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。
いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
論文 参考訳(メタデータ) (2022-03-29T04:54:06Z) - The Causal Neural Connection: Expressiveness, Learnability, and
Inference [125.57815987218756]
構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。
本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。
我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
論文 参考訳(メタデータ) (2021-07-02T01:55:18Z) - Adversarial Robustness through the Lens of Causality [105.51753064807014]
ディープニューラルネットワークの敵対的脆弱性は、機械学習において大きな注目を集めている。
我々は、因果関係を敵対的脆弱性の軽減に組み込むことを提案する。
我々の手法は、敵の脆弱性を緩和するために因果性を利用する最初の試みと見なすことができる。
論文 参考訳(メタデータ) (2021-06-11T06:55:02Z) - Bounding Information Leakage in Machine Learning [26.64770573405079]
本稿では,情報漏洩の基本的な境界について検討する。
最悪の会員推論攻撃の成功率を特定し、拘束します。
感度の高い属性とモデルパラメータの間の相互情報の境界を導出する。
論文 参考訳(メタデータ) (2021-05-09T08:49:14Z) - Targeted VAE: Variational and Targeted Learning for Causal Inference [39.351088248776435]
観測データによる因果推論は、幅広いタスクで非常に有用である。
観察データを用いた因果推論の実施には,2つの重要な課題がある。
構造化推論とターゲット学習を組み合わせることで、これらの2つの課題に対処する。
論文 参考訳(メタデータ) (2020-09-28T16:55:24Z) - On Disentangled Representations Learned From Correlated Data [59.41587388303554]
相関データに対する最も顕著な絡み合うアプローチの挙動を解析することにより、現実のシナリオにギャップを埋める。
本研究では,データセットの体系的相関が学習され,潜在表現に反映されていることを示す。
また、トレーニング中の弱い監督や、少数のラベルで事前訓練されたモデルを修正することで、これらの潜伏相関を解消する方法を実証する。
論文 参考訳(メタデータ) (2020-06-14T12:47:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。