論文の概要: MOCA: A Transformer-based Modular Causal Inference Framework with One-way Cross-attention and Cutting Feedback
- arxiv url: http://arxiv.org/abs/2604.23107v1
- Date: Sat, 25 Apr 2026 02:05:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:07.159798
- Title: MOCA: A Transformer-based Modular Causal Inference Framework with One-way Cross-attention and Cutting Feedback
- Title（参考訳）: MOCA: 片方向のクロスアテンションとカットフィードバックを備えたトランスフォーマーベースのモジュラー因果推論フレームワーク
- Authors: Lei Wang, Debashis Ghosh,
- Abstract要約: モジュール設計による処理と結果のモデリングを分離するトランスフォーマーベースのフレームワークであるMOCAを提案する。
勾配分離によって実現された切削フィードバック戦略は、処理モジュールの更新による結果損失を防止する。
複数のシミュレートされたシナリオの中で、MOCAはIPW、AIPW、X-learner、TARNet、DragonNetに対する競合的あるいは改善されたパフォーマンスを示している。
- 参考スコア（独自算出の注目度）: 7.234620259018605
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Causal effect estimation from observational data requires careful adjustment for confounding. Classical estimators such as inverse probability weighting and augmented inverse probability weighting are effective under favorable model specification, but may become unstable when treatment assignment and outcome mechanisms are complex, non-linear, and high-dimensional. Machine learning and representation learning approaches improve flexibility, yet joint training can allow outcome-related information to influence treatment-side representations, which is undesirable from a causal perspective. We propose MOCA (Modular One-way Causal Attention), a transformer-based framework that separates treatment and outcome modeling through a modular design, and performs confounder adjustment using a one-way attention mechanism. A cutting-feedback strategy, implemented via gradient detachment, prevents the outcome loss from updating the treatment module. This design preserves directional information flow while retaining the representational power of transformer architectures for causal inference. Across multiple simulated scenarios, including linear, nonlinear, heavy-tailed, hidden confounding, and high-dimensional settings, MOCA shows competitive or improved performance relative to IPW, AIPW, X-learner, TARNet, and DragonNet. We further illustrate the method on the Infant Health and Development Program dataset and the Dehejia-Wahba dataset as real-world benchmarks. These results suggest that modular attention with one-way information flow provides a promising and interpretable direction for causal inference with modern deep learning models.
- Abstract（参考訳）: 観測データから因果効果を推定するには, コンバウンディングに対する注意深い調整が必要である。
逆確率重み付けや拡張逆確率重み付けのような古典的推定器は、好ましいモデル仕様の下で有効であるが、処理の割り当てと結果のメカニズムが複雑で非線形で高次元である場合、不安定になる可能性がある。
機械学習と表現学習のアプローチは柔軟性を向上させるが、共同トレーニングは結果に関連する情報を治療側の表現に影響を与えることができる。
そこで我々はMOCA (Modular One-way Causal Attention, MOCA) を提案する。
勾配分離によって実現された切削フィードバック戦略は、処理モジュールの更新による結果損失を防止する。
この設計は、因果推論のためにトランスフォーマーアーキテクチャの表現力を保ちながら、方向情報の流れを保っている。
線形、非線形、重み付き、隠れたコンファウンディング、高次元設定を含む複数のシミュレーションシナリオにおいて、MOCAはIPW、AIPW、X-learner、TARNet、DragonNetと比較して、競争力または改善されたパフォーマンスを示している。
Infant Health and Development Program データセットと Dehejia-Wahba データセットを実世界のベンチマークとして記述する。
これらの結果から,一方向情報フローによるモジュラーアテンションは,現代の深層学習モデルによる因果推論に有望かつ解釈可能な方向を与えることが示唆された。
関連論文リスト
- Guided Verifier: Collaborative Multimodal Reasoning via Dynamic Process Supervision [11.159231524113764]
マルチモーダル大規模言語モデル(MLLM)の複雑な推論能力を高めるための重要なメカニズムとして強化学習(RL)が登場した。
本稿では,これらの構造的制約に対処する textbfGuided Verifier フレームワークを提案する。
我々は,マルチモーダル幻覚をターゲットとした特殊なデータ合成パイプラインを開発し,プロセスレベルの負の textbfCoRe データセットとtextbfCorrect-guide textbfReasoning トラジェクトリを構築し,ガイド付き検証器を訓練する。
論文 参考訳（メタデータ） (2026-02-04T07:38:42Z) - Learning Causality for Longitudinal Data [1.2691047660244335]
この論文は、高次元の時間変化データにおける因果推論と因果表現学習の手法を開発する。
最初のコントリビューションは、個別処理効果(ITE)を推定するモデルであるCDVAE(Causal Dynamic Variational Autoencoder)の導入である。
第2のコントリビューションでは,Contrastive Predictive Coding (CPC) とInfoMaxによって強化された RNN に基づく長期的反事実回帰のための効率的なフレームワークを提案する。
第3のコントリビューションは、潜伏が観察された変数にどのように現れるかに対処することでCRLを前進させる。
論文 参考訳（メタデータ） (2025-12-04T16:51:49Z) - Causal Model-Based Reinforcement Learning for Sample-Efficient IoT Channel Access [39.76683291751265]
メディアアクセス制御(MAC)などの無線利用事例に対するマルチエージェント強化学習(MARL)は、そのサンプル非効率によって妨げられる。
本稿では、因果学習からツールを活用することで、因果モデルに基づく新しいMARLフレームワークを開発する。
提案手法は, モデルフリーベースラインに比べて環境相互作用を58%削減し, 収束を高速化する。
論文 参考訳（メタデータ） (2025-11-13T13:26:33Z) - Abstain Mask Retain Core: Time Series Prediction by Adaptive Masking Loss with Representation Consistency [4.047219770183742]
時系列予測はエネルギー管理や金融市場といった重要な領域において重要な役割を担っている。
本研究は, 履歴データを適切に切り詰めることによって予測精度を向上させるという, 直感に反する現象を明らかにする。
本稿では,適応的マスキング・ロス(Adaptive Masking Loss)と表現整合性(Representation Consistency)を提案する。
論文 参考訳（メタデータ） (2025-10-22T19:23:53Z) - From Physics to Machine Learning and Back: Part II - Learning and Observational Bias in PHM [52.64097278841485]
物理インフォームドモデリングとデータストラテジーによる学習と観察バイアスの導入は、モデルを物理的に一貫した信頼性のある予測へと導くことができるかを検討する。
メタラーニングや少数ショットラーニングなどの高速適応手法をドメイン一般化手法とともに検討する。
論文 参考訳（メタデータ） (2025-09-25T14:15:43Z) - Feature Alignment-Based Knowledge Distillation for Efficient Compression of Large Language Models [4.737806982257592]
本研究では,大規模言語モデルと特徴アライメントに基づく知識蒸留アルゴリズムを提案する。
提案モデルは, パープレキシティ, BLEU, ROUGE, CER などの評価指標を用いて, 最先端の GPT-4 モデルに非常に近い性能を示す。
論文 参考訳（メタデータ） (2024-12-27T04:37:06Z) - Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。
本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
論文 参考訳（メタデータ） (2024-08-24T18:28:19Z) - InfoRM: Mitigating Reward Hacking in RLHF via Information-Theoretic Reward Modeling [66.3072381478251]
Reward Hacking(報酬の過度な最適化)は依然として重要な課題だ。
本稿では,報奨モデル,すなわちInfoRMのためのフレームワークを提案する。
InfoRMの過度な最適化検出機構は、有効であるだけでなく、幅広いデータセットにわたって堅牢であることを示す。
論文 参考訳（メタデータ） (2024-02-14T17:49:07Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳（メタデータ） (2023-10-16T05:49:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。