論文の概要: On Causality in Domain Adaptation and Semi-Supervised Learning: an Information-Theoretic Analysis

• arxiv url: http://arxiv.org/abs/2205.04641v1
• Date: Tue, 10 May 2022 03:18:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-12 21:36:42.151023
• Title: On Causality in Domain Adaptation and Semi-Supervised Learning: an Information-Theoretic Analysis
• Title（参考訳）: ドメイン適応と半監督学習における因果性について:情報理論解析
• Authors: Xuetong Wu and Mingming Gong and Jonathan H. Manton and Uwe Aickelin and Jingge Zhu
• Abstract要約: 我々は、mラベル付きソースデータとnラベルなしターゲットデータをトレーニングインスタンスとしてアクセスするUDA/SSL設定について検討する。 因果学習では、ソースとターゲットドメイン間のラベル付け分布が変化しない場合のみ、O(1/m)のレートでソースサンプルのサイズに余剰リスクが依存していることが示される。 反因果学習では、ラベルのないデータが典型的にはO(1/n)の速度でパフォーマンスを支配していることを示す。
• 参考スコア（独自算出の注目度）: 34.308646155192115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The establishment of the link between causality and unsupervised domain adaptation (UDA)/semi-supervised learning (SSL) has led to methodological advances in these learning problems in recent years. However, a formal theory that explains the role of causality in the generalization performance of UDA/SSL is still lacking. In this paper, we consider the UDA/SSL setting where we access m labeled source data and n unlabeled target data as training instances under a parametric probabilistic model. We study the learning performance (e.g., excess risk) of prediction in the target domain. Specifically, we distinguish two scenarios: the learning problem is called causal learning if the feature is the cause and the label is the effect, and is called anti-causal learning otherwise. We show that in causal learning, the excess risk depends on the size of the source sample at a rate of O(1/m) only if the labelling distribution between the source and target domains remains unchanged. In anti-causal learning, we show that the unlabeled data dominate the performance at a rate of typically O(1/n). Our analysis is based on the notion of potential outcome random variables and information theory. These results bring out the relationship between the data sample size and the hardness of the learning problem with different causal mechanisms.
• Abstract（参考訳）: 因果関係と非教師なしドメイン適応(uda/semi-supervised learning, ssl)の関連が確立され,近年,これらの学習問題の方法論的発展につながった。 しかし、UDA/SSLの一般化性能における因果性の役割を説明する公式な理論はいまだ不十分である。 本稿では,mラベル付きソースデータとnラベルなしターゲットデータにアクセスするUDA/SSL設定を,パラメトリック確率モデルに基づくトレーニングインスタンスとして検討する。 対象領域における予測の学習性能(過剰リスクなど)について検討する。 具体的には、2つのシナリオを区別する: 学習問題は、その特徴が原因であり、ラベルが効果である場合、因果学習と呼ばれ、それ以外の場合、反因果学習と呼ばれる。 因果学習では、ソースとターゲットドメイン間のラベル付け分布が変化しない場合のみ、O(1/m)のレートでソースサンプルのサイズに余剰リスクが依存していることが示される。 反コーサル学習では、ラベルのないデータが通常o(1/n)の割合でパフォーマンスを支配していることを示す。 我々の分析は、潜在的結果確率変数と情報理論の概念に基づいている。 これらの結果から,データサンプルサイズと,因果メカニズムの異なる学習課題の硬さの関係が明らかになった。

関連論文リスト

• Mechanism learning: Reverse causal inference in the presence of multiple unknown confounding through front-door causal bootstrapping [0.8901073744693314]
  機械学習(ML)予測モデルの最大の制限は、変数間の因果関係ではなく、関連性を取り戻すことである。 本稿では,前向きの因果ブートストラップを用いて観測データを分解する機構学習を提案する。 提案手法は,完全合成,半合成,実世界のデータセットを用いて,信頼性,不偏性,因果的ML予測器を検出できることを実証する。
  論文  参考訳（メタデータ） (2024-10-26T03:34:55Z)
• On Characterizing and Mitigating Imbalances in Multi-Instance Partial Label Learning [57.18649648182171]
  我々は、MI-PLLの文脈において、これまで研究されていない問題に対処するためのコントリビューションを行っている。 最小限の仮定をしながら、クラス固有のMI-PLLのリスク境界を導出する。 我々の理論は、$sigma$が学習の不均衡に大きな影響を及ぼすというユニークな現象を明らかにしている。
  論文  参考訳（メタデータ） (2024-07-13T20:56:34Z)
• Nonparametric Identifiability of Causal Representations from Unknown Interventions [63.1354734978244]
  本研究では, 因果表現学習, 潜伏因果変数を推定するタスク, およびそれらの変数の混合から因果関係を考察する。 我々のゴールは、根底にある真理潜入者とその因果グラフの両方を、介入データから解決不可能なあいまいさの集合まで識別することである。
  論文  参考訳（メタデータ） (2023-06-01T10:51:58Z)
• The Power and Limitation of Pretraining-Finetuning for Linear Regression under Covariate Shift [127.21287240963859]
  本研究では,対象データに基づく事前学習と微調整を併用した伝達学習手法について検討する。 大規模な線形回帰インスタンスの場合、$O(N2)$ソースデータによる転送学習は、$N$ターゲットデータによる教師あり学習と同じくらい効果的である。
  論文  参考訳（メタデータ） (2022-08-03T05:59:49Z)
• On the Generalization for Transfer Learning: An Information-Theoretic Analysis [8.102199960821165]
  一般化誤差と転帰学習アルゴリズムの過大なリスクを情報理論で解析する。 我々の結果は、おそらく予想通り、Kulback-Leibler divergenceD(mu|mu')$がキャラクタリゼーションにおいて重要な役割を果たすことを示唆している。 次に、$phi$-divergence や Wasserstein 距離といった他の発散点と結びついた相互情報を一般化する。
  論文  参考訳（メタデータ） (2022-07-12T08:20:41Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Bounding Information Leakage in Machine Learning [26.64770573405079]
  本稿では,情報漏洩の基本的な境界について検討する。 最悪の会員推論攻撃の成功率を特定し、拘束します。 感度の高い属性とモデルパラメータの間の相互情報の境界を導出する。
  論文  参考訳（メタデータ） (2021-05-09T08:49:14Z)
• Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation [102.67010690592011]
  Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。 従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。 この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
  論文  参考訳（メタデータ） (2020-02-20T03:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。