論文の概要: Modular Learning of Deep Causal Generative Models for High-dimensional
Causal Inference
- arxiv url: http://arxiv.org/abs/2401.01426v1
- Date: Tue, 2 Jan 2024 20:31:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-04 15:45:20.952397
- Title: Modular Learning of Deep Causal Generative Models for High-dimensional
Causal Inference
- Title（参考訳）: 高次元因果推論のための深部因果生成モデルのモジュール学習
- Authors: Md Musfiqur Rahman and Murat Kocaoglu
- Abstract要約: 本研究では、深い因果生成モデルを訓練し、特定可能な介入および反事実分布から確実にサンプルをサンプリングできる逐次訓練アルゴリズムを提案する。
我々のアルゴリズムは、Modular-DCMと呼ばれ、ネットワーク重みの学習に敵対的トレーニングを使用し、私たちの知る限り、事前学習されたモデルと、特定可能な因果クエリから確実にサンプリングできる最初のアルゴリズムである。
- 参考スコア（独自算出の注目度）: 6.52423450125622
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pearl's causal hierarchy establishes a clear separation between
observational, interventional, and counterfactual questions. Researchers
proposed sound and complete algorithms to compute identifiable causal queries
at a given level of the hierarchy using the causal structure and data from the
lower levels of the hierarchy. However, most of these algorithms assume that we
can accurately estimate the probability distribution of the data, which is an
impractical assumption for high-dimensional variables such as images. On the
other hand, modern generative deep learning architectures can be trained to
learn how to accurately sample from such high-dimensional distributions.
Especially with the recent rise of foundation models for images, it is
desirable to leverage pre-trained models to answer causal queries with such
high-dimensional data. To address this, we propose a sequential training
algorithm that, given the causal structure and a pre-trained conditional
generative model, can train a deep causal generative model, which utilizes the
pre-trained model and can provably sample from identifiable interventional and
counterfactual distributions. Our algorithm, called Modular-DCM, uses
adversarial training to learn the network weights, and to the best of our
knowledge, is the first algorithm that can make use of pre-trained models and
provably sample from any identifiable causal query in the presence of latent
confounders with high-dimensional data. We demonstrate the utility of our
algorithm using semi-synthetic and real-world datasets containing images as
variables in the causal structure.
- Abstract（参考訳）: パールの因果階層は観察的、介入的、そして反事実的問題を明確に区別する。
研究者らは、階層の特定のレベルにおける同定可能な因果クエリを、階層の下位レベルからの因果構造とデータを用いて計算するための、健全で完全なアルゴリズムを提案した。
しかし、これらのアルゴリズムの多くは、画像のような高次元変数の非現実的仮定であるデータの確率分布を正確に推定できると仮定している。
一方で、現代の生成的ディープラーニングアーキテクチャは、そのような高次元分布から正確にサンプルする方法を学ぶために訓練することができる。
特に,画像の基礎モデルの増加に伴い,そのような高次元データを用いて因果クエリに応答するために,事前学習モデルを活用することが望ましい。
そこで本研究では, 因果構造と事前学習条件生成モデルを用いて, 事前学習モデルを用いた深部因果生成モデルを訓練し, 特定可能な介入および反事実分布から確実にサンプル化できる逐次訓練アルゴリズムを提案する。
Modular-DCMと呼ばれる我々のアルゴリズムは,ネットワーク重みの学習に敵対的トレーニングを使用し,我々の知る限り,事前学習されたモデルと,高次元データを持つ潜伏した共同設立者の存在下で,識別可能な因果関係の探索を確実に行うことのできる,最初のアルゴリズムである。
因果構造における変数として画像を含む半合成および実世界のデータセットを用いたアルゴリズムの有用性を示す。
関連論文リスト
- Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。
圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
論文 参考訳（メタデータ） (2024-09-19T17:56:16Z) - Data Shapley in One Training Run [88.59484417202454]
Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。
既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。
本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
論文 参考訳（メタデータ） (2024-06-16T17:09:24Z) - Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。
また、局所的な一貫性の結果に基づいた理論的保証も提供する。
この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
論文 参考訳（メタデータ） (2022-11-17T15:48:06Z) - Learning Single-Index Models with Shallow Neural Networks [43.6480804626033]
我々は、浅層ニューラルネットワークの自然なクラスを導入し、勾配流を通して単一インデックスモデルを学習する能力について研究する。
対応する最適化ランドスケープが良性であることを示し、それによって専用半パラメトリック手法の準最適サンプル複雑性に一致するような一般化保証が得られることを示す。
論文 参考訳（メタデータ） (2022-10-27T17:52:58Z) - Amortized Inference for Causal Structure Learning [72.84105256353801]
因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。
本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。
我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
論文 参考訳（メタデータ） (2022-05-25T17:37:08Z) - Modeling Item Response Theory with Stochastic Variational Inference [8.369065078321215]
項目応答理論(IRT)のための変分ベイズ推論アルゴリズムを提案する。
この手法を5つの大規模項目応答データセットに適用すると、欠落したデータを出力する際の高いログ可能性と高い精度が得られる。
アルゴリズムの実装はオープンソースであり、簡単に利用できる。
論文 参考訳（メタデータ） (2021-08-26T05:00:27Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳（メタデータ） (2020-12-15T16:29:49Z) - Testing for Typicality with Respect to an Ensemble of Learned
Distributions [5.850572971372637]
適合性のよい問題に対する一サンプルのアプローチは、オンラインテストに多大な計算上の利点をもたらす。
この設定において異常データを正しく否定する能力は、ベース分布のモデルの精度に依存する。
既成の正当性問題に対する既存の手法は、基底分布のモデルが学習されたという事実を考慮に入れない。
本稿では,アンサンブルの任意の構成員に対して,データが異常であれば異常データとなることを考慮し,密度モデルのアンサンブルを訓練することを提案する。
論文 参考訳（メタデータ） (2020-11-11T19:47:46Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z) - Learning Generative Models using Denoising Density Estimators [29.068491722778827]
縮退密度推定器(DDE)に基づく新しい生成モデルを提案する。
我々の主な貢献は、KL分割を直接最小化することで生成モデルを得る新しい技術である。
実験結果から, 生成モデル学習における密度推定と競争性能が大幅に向上した。
論文 参考訳（メタデータ） (2020-01-08T20:30:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。