論文の概要: Deep Autoregressive Models as Causal Inference Engines
- arxiv url: http://arxiv.org/abs/2409.18581v3
- Date: Fri, 04 Jul 2025 06:09:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-08 15:46:34.110861
- Title: Deep Autoregressive Models as Causal Inference Engines
- Title(参考訳): 因果推論エンジンとしての深部自己回帰モデル
- Authors: Daniel Jiwoong Im, Kevin Zhang, Nakul Verma, Kyunghyun Cho,
- Abstract要約: 本稿では、複雑な共同ファウンダーやシーケンシャルアクションを扱える自己回帰的因果推論フレームワークを提案する。
提案手法は,基礎となる因果図からトークンの列へとデータを変換するemシーケンシフィケーションを用いてこれを実現している。
我々は,CIに適応したARモデルは,迷路をナビゲートしたり,チェスのエンドゲームを行ったり,あるキーワードが紙の受容率に与える影響を評価するなど,様々な複雑な応用において効率的かつ効果的であることが実証された。
- 参考スコア(独自算出の注目度): 38.26602521505842
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing causal inference (CI) models are often restricted to data with low-dimensional confounders and singleton actions. We propose an autoregressive (AR) CI framework capable of handling complex confounders and sequential actions commonly found in modern applications. Our approach accomplishes this using {\em sequencification}, which transforms data from an underlying causal diagram into a sequence of tokens. Sequencification not only accommodates training with data generated from a large class of DAGs, but also extends existing CI capabilities to estimate multiple causal quantities using a {\em single} model. We can directly compute probabilities from interventional distributions, simplifying inference and improving outcome prediction accuracy. We demonstrate that an AR model adapted for CI is efficient and effective in various complex applications such as navigating mazes, playing chess endgames, and evaluating the impact of certain keywords on paper acceptance rates, where we consider causal queries beyond standard reinforcement learning-type questions.
- Abstract(参考訳): 既存の因果推論(CI)モデルは、しばしば低次元の共同設立者とシングルトンアクションを持つデータに制限される。
本稿では,現代アプリケーションで一般的に見られる複雑な共同創設者とシーケンシャルアクションを処理可能な自己回帰型(AR)CIフレームワークを提案する。
提案手法は,基礎となる因果線図からトークンの列へとデータを変換する {\em sequencification} を用いてこれを達成している。
シーケンシフィケーションは、DAGの大規模なクラスから生成されたデータによるトレーニングだけでなく、既存のCI能力を拡張して、.em single}モデルを使用して複数の因果量を推定する。
介入分布からの確率を直接計算し、推論を単純化し、結果予測精度を向上させる。
我々は,CIに適応したARモデルは,迷路をナビゲートしたり,チェスのエンドゲームを行ったり,特定のキーワードが紙の受入率に与える影響を評価するなど,様々な複雑な応用において効率的かつ効果的であることが実証された。
関連論文リスト
- Generalization is not a universal guarantee: Estimating similarity to training data with an ensemble out-of-distribution metric [0.09363323206192666]
機械学習モデルの新しいデータへの一般化の失敗は、AIシステムの信頼性を制限する中核的な問題である。
本稿では、一般化可能性推定(SAGE)のための教師付きオートエンコーダを構築することにより、データの類似性を評価するための標準化されたアプローチを提案する。
モデル自体のトレーニングやテストデータセットのデータに適用しても,SAGEスコアのフィルタリング後にアウト・オブ・ボックスモデルの性能が向上することを示す。
論文 参考訳(メタデータ) (2025-02-22T19:21:50Z) - Deriving Causal Order from Single-Variable Interventions: Guarantees & Algorithm [14.980926991441345]
介入データを含むデータセットは,データ分布に関する現実的な仮定の下で効果的に抽出可能であることを示す。
観察的および介入的設定における各変数の限界分布の比較に依拠する介入忠実性を導入する。
また、多数の単一変数の介入を含むデータセットから因果順序を推測するアルゴリズムであるIntersortを導入する。
論文 参考訳(メタデータ) (2024-05-28T16:07:17Z) - Enhancing Few-shot NER with Prompt Ordering based Data Augmentation [59.69108119752584]
本稿では,PODA(Prompt Ordering Based Data Augmentation)手法を提案する。
3つのパブリックNERデータセットの実験結果とさらなる分析により,本手法の有効性が示された。
論文 参考訳(メタデータ) (2023-05-19T16:25:43Z) - Variable Importance Matching for Causal Inference [73.25504313552516]
これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。
Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。
LASSO を用いて Model-to-Match フレームワークを運用する。
論文 参考訳(メタデータ) (2023-02-23T00:43:03Z) - Conditioned Human Trajectory Prediction using Iterative Attention Blocks [70.36888514074022]
本研究では,都市環境における歩行者位置予測を目的とした,簡易かつ効果的な歩行者軌道予測モデルを提案する。
我々のモデルは、複数のアテンションブロックとトランスフォーマーを反復的に実行できるニューラルネットワークアーキテクチャである。
ソーシャルマスク, 動的モデル, ソーシャルプーリング層, 複雑なグラフのような構造を明示的に導入することなく, SoTAモデルと同等の結果が得られることを示す。
論文 参考訳(メタデータ) (2022-06-29T07:49:48Z) - Factorized Structured Regression for Large-Scale Varying Coefficient
Models [1.3282354370017082]
スケーラブルな可変係数モデルのためのファStR(Factized Structured Regression)を提案する。
FaStRは、ニューラルネットワークベースのモデル実装において、構造化された追加回帰と分解のアプローチを組み合わせることで、大規模データの一般的な回帰モデルの制限を克服する。
実験結果から, 提案手法の各種係数の推定は, 最先端の回帰手法と同等であることが確認された。
論文 参考訳(メタデータ) (2022-05-25T23:12:13Z) - Identifying and Mitigating Spurious Correlations for Improving
Robustness in NLP Models [19.21465581259624]
多くの問題は、刺激的な相関を利用したモデルや、トレーニングデータとタスクラベルの間のショートカットに起因する可能性がある。
本論文では,NLPモデルにおけるこのような素因的相関を大規模に同定することを目的とする。
提案手法は,スケーラブルな「ショートカット」の集合を効果的かつ効率的に同定し,複数のアプリケーションにおいてより堅牢なモデルに導かれることを示す。
論文 参考訳(メタデータ) (2021-10-14T21:40:03Z) - Click-through Rate Prediction with Auto-Quantized Contrastive Learning [46.585376453464114]
ユーザ行動が予測の利益を捉えるのに十分リッチかどうかを考察し、モデルを正規化するためのAQCL(Auto-Quantized Contrastive Learning)損失を提案する。
提案されたフレームワークは、異なるモデルアーキテクチャに非依存であり、エンドツーエンドでトレーニングすることができる。
論文 参考訳(メタデータ) (2021-09-27T04:39:43Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳(メタデータ) (2020-10-24T07:01:24Z) - Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。
提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
論文 参考訳(メタデータ) (2020-03-14T22:29:50Z) - Learning Multivariate Hawkes Processes at Scale [17.17906360554892]
提案手法は, 基礎となるネットワークの周囲次元とは無関係に, MHP の精度と勾配を計算可能であることを示す。
合成および実世界のデータセットについて、我々のモデルは最先端の予測結果を達成するだけでなく、実行時の性能を桁違いに改善することを示した。
論文 参考訳(メタデータ) (2020-02-28T01:18:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。