論文の概要: Identifying Representations for Intervention Extrapolation

• arxiv url: http://arxiv.org/abs/2310.04295v1
• Date: Fri, 6 Oct 2023 14:58:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-09 15:57:50.747288
• Title: Identifying Representations for Intervention Extrapolation
• Title（参考訳）: 介入外挿のための表現の同定
• Authors: Sorawit Saengkyongam, Elan Rosenfeld, Pradeep Ravikumar, Niklas Pfister, Jonas Peters
• Abstract要約: これらの介入がトレーニング時に観察されない場合でも、介入が結果にどのように影響するかを予測する。 我々は,介入が結果に非線形に影響を与えても,識別可能な表現は,この課題に対する効果的な解決策を提供することができることを示した。 本研究は, 合成実験により理論的知見を検証し, 未確認介入の効果を予測することに成功していることを示す。
• 参考スコア（独自算出の注目度）: 40.71983135640848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The premise of identifiable and causal representation learning is to improve the current representation learning paradigm in terms of generalizability or robustness. Despite recent progress in questions of identifiability, more theoretical results demonstrating concrete advantages of these methods for downstream tasks are needed. In this paper, we consider the task of intervention extrapolation: predicting how interventions affect an outcome, even when those interventions are not observed at training time, and show that identifiable representations can provide an effective solution to this task even if the interventions affect the outcome non-linearly. Our setup includes an outcome Y, observed features X, which are generated as a non-linear transformation of latent features Z, and exogenous action variables A, which influence Z. The objective of intervention extrapolation is to predict how interventions on A that lie outside the training support of A affect Y. Here, extrapolation becomes possible if the effect of A on Z is linear and the residual when regressing Z on A has full support. As Z is latent, we combine the task of intervention extrapolation with identifiable representation learning, which we call Rep4Ex: we aim to map the observed features X into a subspace that allows for non-linear extrapolation in A. We show using Wiener's Tauberian theorem that the hidden representation is identifiable up to an affine transformation in Z-space, which is sufficient for intervention extrapolation. The identifiability is characterized by a novel constraint describing the linearity assumption of A on Z. Based on this insight, we propose a method that enforces the linear invariance constraint and can be combined with any type of autoencoder. We validate our theoretical findings through synthetic experiments and show that our approach succeeds in predicting the effects of unseen interventions.
• Abstract（参考訳）: 識別可能かつ因果表現学習の前提は、一般化可能性や堅牢性の観点から現在の表現学習パラダイムを改善することである。 識別可能性に関する最近の議論の進展にもかかわらず、下流タスクに対するこれらの方法の具体的な利点を示すより理論的な結果が必要である。 本稿では, 介入が学習時に観察されない場合でも, 介入が結果にどのように影響するかを予測することによる介入外挿の課題を考察し, 介入が非直線的に影響しても, 識別可能な表現がこの課題に有効な解決策をもたらすことを示す。 我々の構成は、結果Y、潜伏特徴Zの非線形変換として生成される観察特徴X、およびZに影響を与える外因性行動変数Aを含む。介入外挿の目的は、Aのトレーニング支援外にあるAへの介入がAに影響を及ぼすかを予測することである。ここで、A on Zの効果が線形で、Z on Aが完全に支持されると、外挿が可能となる。 我々は、観測された特徴 x を a における非線形外挿を可能にする部分空間にマッピングすることを目的としている。ワイナーのタウバーの定理を用いて、隠れた表現が z-空間におけるアフィン変換によって識別可能であることを示し、介入外挿には十分である。 この知見に基づき,線形不変性制約を強制し,任意の種類のオートエンコーダと組み合わせることが可能な手法を提案する。 本研究は, 合成実験により理論的知見を検証し, 未確認介入の効果を予測することに成功していることを示す。

関連論文リスト

• Identifiability Guarantees for Causal Disentanglement from Purely Observational Data [10.482728002416348]
  因果解離は、データの背後にある潜在因果関係について学ぶことを目的としている。 近年の進歩は、(単一の)潜伏因子への介入が可能であると仮定して、識別可能性(identifiability)が確立されている。 非線形因果モデルで同定できる潜伏因子の高精度な評価法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T04:18:29Z)
• Nonparametric Identifiability of Causal Representations from Unknown Interventions [63.1354734978244]
  本研究では, 因果表現学習, 潜伏因果変数を推定するタスク, およびそれらの変数の混合から因果関係を考察する。 我々のゴールは、根底にある真理潜入者とその因果グラフの両方を、介入データから解決不可能なあいまいさの集合まで識別することである。
  論文  参考訳（メタデータ） (2023-06-01T10:51:58Z)
• Score-based Causal Representation Learning with Interventions [54.735484409244386]
  本稿では,潜在因果変数を間接的に観察する際の因果表現学習問題について検討する。 目的は、 (i) 未知の線形変換(スケーリングまで)を回復し、 (ii) 潜在変数の下の有向非巡回グラフ(DAG)を決定することである。
  論文  参考訳（メタデータ） (2023-01-19T18:39:48Z)
• Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
  ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。 潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-21T14:22:14Z)
• Loss Bounds for Approximate Influence-Based Abstraction [81.13024471616417]
  影響に基づく抽象化は、システムの残りの部分が与える「影響」とともに、局所的なサブプロブレムをモデル化することでレバレッジを得ることを目的としている。 本稿では,理論的観点から,そのような手法の性能について考察する。 交叉エントロピーで訓練されたニューラルネットワークは、近似的な影響表現を学習するのに適していることを示す。
  論文  参考訳（メタデータ） (2020-11-03T15:33:10Z)
• Disentangling Action Sequences: Discovering Correlated Samples [6.179793031975444]
  我々は、データ自体が要因ではなく非絡み合いにおいて重要な役割を担い、非絡み合い表現は潜在変数とアクションシーケンスとを一致させることを示した。 本稿では,アクションシーケンスをステップバイステップで切り離すための新しいフレームワークFVAEを提案する。 dSprites と 3D Chairs の実験結果から, FVAE は絡み合いの安定性を向上させることが示された。
  論文  参考訳（メタデータ） (2020-10-17T07:37:50Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。