論文の概要: Demystifying amortized causal discovery with transformers

• arxiv url: http://arxiv.org/abs/2405.16924v1
• Date: Mon, 27 May 2024 08:17:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 16:31:14.595625
• Title: Demystifying amortized causal discovery with transformers
• Title（参考訳）: 変圧器による脱ミステイスト型因果発見
• Authors: Francesco Montagna, Max Cairney-Leeming, Dhanya Sridhar, Francesco Locatello,
• Abstract要約: 観測データからの因果発見のための教師付き学習アプローチは、しばしば競争性能を達成する。 本研究では,CSIvAについて検討する。CSIvAは,合成データのトレーニングと実データへの転送を約束するトランスフォーマーモデルである。 既存の識別可能性理論とギャップを埋め、トレーニングデータ分布の制約がテスト観測の事前を暗黙的に定義していることを示します。
• 参考スコア（独自算出の注目度）: 21.058343547918053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised learning approaches for causal discovery from observational data often achieve competitive performance despite seemingly avoiding explicit assumptions that traditional methods make for identifiability. In this work, we investigate CSIvA (Ke et al., 2023), a transformer-based model promising to train on synthetic data and transfer to real data. First, we bridge the gap with existing identifiability theory and show that constraints on the training data distribution implicitly define a prior on the test observations. Consistent with classical approaches, good performance is achieved when we have a good prior on the test data, and the underlying model is identifiable. At the same time, we find new trade-offs. Training on datasets generated from different classes of causal models, unambiguously identifiable in isolation, improves the test generalization. Performance is still guaranteed, as the ambiguous cases resulting from the mixture of identifiable causal models are unlikely to occur (which we formally prove). Overall, our study finds that amortized causal discovery still needs to obey identifiability theory, but it also differs from classical methods in how the assumptions are formulated, trading more reliance on assumptions on the noise type for fewer hypotheses on the mechanisms.
• Abstract（参考訳）: 観察データからの因果発見のための教師付き学習アプローチは、従来の手法が識別可能性に向けている明確な仮定を避けつつも、しばしば競争性能を達成する。 本研究では,CSIvA (Ke et al , 2023) モデルについて検討する。 まず、既存の識別可能性理論とギャップを埋め、トレーニングデータ分布の制約がテスト観測の事前を暗黙的に定義していることを示す。 古典的なアプローチとは対照的に、テストデータに十分な事前がある場合には、優れたパフォーマンスが得られ、基礎となるモデルは識別可能である。 同時に、私たちは新たなトレードオフを見つけました。 因果モデルの異なるクラスから生成されたデータセットのトレーニングは、明らかに独立して識別可能であり、テストの一般化を改善する。 同定可能な因果関係モデルの混在による曖昧なケースは(正式にはそれを証明している)起こりそうにないため、パフォーマンスは依然として保証されている。 全体としては, 因果発見は同定可能性理論に従わなければならないが, 仮定の定式化の方法と異なり, ノイズのタイプによる仮定に依存している。

関連論文リスト

• Identifiable Latent Neural Causal Models [82.14087963690561]
  因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。 因果表現の識別可能性に寄与する分布シフトのタイプを決定する。 本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
  論文  参考訳（メタデータ） (2024-03-23T04:13:55Z)
• Sample, estimate, aggregate: A recipe for causal discovery foundation models [28.116832159265964]
  我々は、古典因果探索アルゴリズムの出力からより大きな因果グラフを予測することを学ぶ教師付きモデルを訓練する。 我々のアプローチは、古典的手法の出力における典型的なエラーがデータセット間で比較できるという観察によって実現されている。 実データおよび合成データに関する実験では、このモデルが不特定性や分布シフトに直面して高い精度を維持することを示した。
  論文  参考訳（メタデータ） (2024-02-02T21:57:58Z)
• Identifiable Latent Polynomial Causal Models Through the Lens of Change [82.14087963690561]
  因果表現学習は、観測された低レベルデータから潜在的な高レベル因果表現を明らかにすることを目的としている。 主な課題の1つは、識別可能性(identifiability)として知られるこれらの潜伏因果モデルを特定する信頼性の高い保証を提供することである。
  論文  参考訳（メタデータ） (2023-10-24T07:46:10Z)
• Discovering Mixtures of Structural Causal Models from Time Series Data [23.18511951330646]
  基礎となる因果モデルを推測するために, MCD と呼ばれる一般的な変分推論に基づくフレームワークを提案する。 このアプローチでは、データ可能性のエビデンス-ローバウンドを最大化するエンドツーエンドのトレーニングプロセスを採用しています。 本研究では,本手法が因果発見タスクにおける最先端のベンチマークを上回ることを実証する。
  論文  参考訳（メタデータ） (2023-10-10T05:13:10Z)
• Nonparametric Identifiability of Causal Representations from Unknown Interventions [63.1354734978244]
  本研究では, 因果表現学習, 潜伏因果変数を推定するタスク, およびそれらの変数の混合から因果関係を考察する。 我々のゴールは、根底にある真理潜入者とその因果グラフの両方を、介入データから解決不可能なあいまいさの集合まで識別することである。
  論文  参考訳（メタデータ） (2023-06-01T10:51:58Z)
• Testing for Overfitting [0.0]
  オーバーフィッティング問題について議論し、トレーニングデータによる評価に標準値と集中値が成立しない理由を説明する。 本稿では,モデルの性能をトレーニングデータを用いて評価できる仮説テストを紹介し,議論する。
  論文  参考訳（メタデータ） (2023-05-09T22:49:55Z)
• Hypothesis Testing using Causal and Causal Variational Generative Models [0.0]
  Causal GenとCausal Variational Genは、非パラメトリックな構造因果知識とディープラーニング機能近似を併用することができる。 我々は、意図的な(非ランダムな)トレーニングとテストデータの分割を用いて、これらのモデルが、類似の、しかし分布外のデータポイントよりも一般化できることを示します。 本手法は, 人工振り子データセット, 外傷手術用地上レベル落下データセットを用いて検証した。
  論文  参考訳（メタデータ） (2022-10-20T13:46:15Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Typing assumptions improve identification in causal discovery [123.06886784834471]
  観測データからの因果発見は、正確な解を常に特定できない難しい課題である。 そこで本研究では,変数の性質に基づいた因果関係を制約する仮説を新たに提案する。
  論文  参考訳（メタデータ） (2021-07-22T14:23:08Z)
• Testing for Typicality with Respect to an Ensemble of Learned Distributions [5.850572971372637]
  適合性のよい問題に対する一サンプルのアプローチは、オンラインテストに多大な計算上の利点をもたらす。 この設定において異常データを正しく否定する能力は、ベース分布のモデルの精度に依存する。 既成の正当性問題に対する既存の手法は、基底分布のモデルが学習されたという事実を考慮に入れない。 本稿では,アンサンブルの任意の構成員に対して,データが異常であれば異常データとなることを考慮し,密度モデルのアンサンブルを訓練することを提案する。
  論文  参考訳（メタデータ） (2020-11-11T19:47:46Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。