論文の概要: When and Why LLM Causal Priors Help: Closed-Loop Prior Selection for Amortized Causal Inference

• arxiv url: http://arxiv.org/abs/2609.06941v1
• Date: Mon, 07 Sep 2026 02:24:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.338623
• Title: When and Why LLM Causal Priors Help: Closed-Loop Prior Selection for Amortized Causal Inference
• Title（参考訳）: LLMの因果推論がいつ、なぜ助けになるのか: 償却因果推論のためのクローズド・ループ・プリセレクション
• Abstract要約: 因果効果の推定は、介入、医学、経済学、公共政策の下で結果がどのように変化するかを問う。 大規模言語モデル (LLMs) は、与えられたドメインに対して「妥当な因果グラフ」を描画できるようになった。 本稿では,プレインジェクションを候補事前プールに対する予算制約付き最適化として活用する,閉ループ事前選択フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Causal effect estimation asks how an outcome would change under an intervention, and medicine, economics, and public policy all treat it as a foundational task. Prior-data fitted networks (PFNs) amortize the task: a model trained on large numbers of programmatically generated synthetic causal tasks reads a new problem's observational data into context and returns an interventional-effect estimate in a single forward pass. The capability of such models is largely determined by the synthetic training prior, which is currently designed by hand, a bottleneck acknowledged by both Do-PFN and CausalPFN. Large language models (LLMs) can now ``draw'' plausible causal graphs for a given domain, suggesting that LLM-distilled graphs could serve as prior material. Whether injecting such graphs helps at all, where any gain comes from, and when injection helps. Practice has so far relied on manual trial and error. We propose a \emph{closed-loop prior selection framework} that casts prior injection as a budget-constrained optimization over a candidate prior pool. Candidates undergo cheap post-training and are scored by a composite metric dominated by real-domain generalization; the winner then receives full training and paired statistical validation. On a 7.34M-parameter Do-PFN, the framework's winner attains a formally significant $2.75\times$ gain on the primary evaluation domain, and its error falls below that of the uninjected official base. Generalization on an adjacent monitoring domain improves significantly, and no monitored capability degrades. Mechanism experiments show that the gain depends on the semantic content of the distilled graph rather than its structural diversity alone does not produce it (directional evidence). With this framework and this regularity in hand, the use of LLM causal priors stops being manual trial and error and becomes an empirically verifiable selection problem.
• Abstract（参考訳）: 因果効果の推定は、介入の下で結果がどのように変化するかを問うものであり、医学、経済学、公共政策は全てそれを基礎的なタスクとして扱う。 プログラムで生成された多数の合成因果的タスクに基づいて訓練されたモデルは、新しい問題の観測データをコンテキストに読み出し、1つの前方通過で介入効果推定を返す。 このようなモデルの能力は、現在手動で設計されている合成訓練によって決定されるが、これはDo-PFNとCausalPFNの両方で認識されているボトルネックである。 大規模言語モデル (LLMs) は、与えられたドメインに対して ``draw'' 可算因数グラフを適用できるようになった。 このようなグラフを注入するかどうかは、まったく役に立ちません。 これまでのところ、実践は手動の試行錯誤に依存してきた。 本稿では,プレインジェクションを候補事前プールに対する予算制約付き最適化として活用する,‘emph{closed-loop pre selection framework’を提案する。 候補者は安価なポストトレーニングを受け、実領域の一般化に支配される複合メトリックによってスコアされ、勝者は完全なトレーニングとペアの統計的検証を受ける。 7.34MパラメータのDo-PFNでは、フレームワークの勝者はプライマリ評価ドメインで2.75\times$ゲインを獲得し、そのエラーは未注入のオフィシャルベースよりも低い。 隣接する監視領域の一般化は大幅に改善され、監視能力は低下しない。 メカニズム実験により、この利得は蒸留されたグラフのセマンティックな内容に依存することが示され、その構造的多様性だけでは生成されない(方向的証拠)。 このフレームワークとこの規則性により、LLM因果前処理の使用は手動による試行錯誤をやめ、経験的に検証可能な選択問題となる。

関連論文リスト

• How Useful is Causal Invariance for Domain Adaptation in Finite-Sample Settings? [58.740078141879984]
  機械学習モデルは、トレーニングされたソースディストリビューションとは異なるターゲットディストリビューションにデプロイされると、しばしば劣化する。 因果関係に基づく領域一般化における最近の研究は、共用因果構造が不変な予測因子を誘導する方法を示している。 本稿では,完全あるいは部分的な因果知識が,教師付きドメイン適応を確実に改善できるかどうかについて検討する。
  論文  参考訳（メタデータ） (2026-06-10T21:07:49Z)
• Perception Without Engagement: Dissecting the Causal Discovery Deficit in LMMs [68.58207076756237]
  本稿では,結果評価からメカニズム診断へ移行する摂動に基づく評価プロトコルProCauEvalを紹介する。 因果推論において,ビデオコンテンツは体系的に過小評価されている。 教師のネガティブなアライメントに基づく強化学習フレームワークであるADPOを提案する。
  論文  参考訳（メタデータ） (2026-05-10T08:48:58Z)
• RepFlow: Representation Enhanced Flow Matching for Causal Effect Estimation [3.541381969947235]
  医療、経済、社会政策など様々な分野において、観測データから因果効果を推定することがますます重要になっている。 既存の手法は主に点推定に限られており、分散モデリングの能力に欠ける。 本稿では、表現学習とフローマッチングを組み合わせた共同最適化問題として因果効果推定を定式化する新しいフレームワークRepFlowを提案する。
  論文  参考訳（メタデータ） (2026-05-07T09:02:44Z)
• ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
  ResADは正規化された残留軌道モデリングフレームワークである。 学習タスクを再編成し、慣性参照からの残留偏差を予測する。 NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
  論文  参考訳（メタデータ） (2025-10-09T17:59:36Z)
• Accelerating LLM Reasoning via Early Rejection with Partial Reward Modeling [12.835376812101323]
  PRMも部分的リワードモデルであるという仮説を導入する。 これにより、中間トークンレベル信号に基づく原理的な早期拒絶が可能となる。 算数推論のベンチマークでは、最終的な性能を劣化させることなく、最大1.4$times$-9$times$の推論FLOPを削減できる。
  論文  参考訳（メタデータ） (2025-08-04T00:58:56Z)
• CausalPFN: Amortized Causal Effect Estimation via In-Context Learning [19.54034651361769]
  CausalPFNは、ボックスから新しい観測データセットに因果効果を推測する。 提案手法は,不均一および平均処理効果評価ベンチマークにおいて,優れた平均性能を実現する。 CausalPFNはベイズ原理に基づく信頼性の高い意思決定を支援するために、校正された不確実性推定を提供する。
  論文  参考訳（メタデータ） (2025-06-09T16:31:06Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Generalized Logit Adjustment: Calibrating Fine-tuned Models by Removing Label Bias in Foundation Models [75.9543301303586]
  CLIPのようなファンデーションモデルは、追加のトレーニングデータなしで、さまざまなタスクでゼロショット転送を可能にする。 微調整やアンサンブルも一般的に下流のタスクに合うように採用されている。 しかし、先行研究は基礎モデルに固有のバイアスを見落としていると論じる。
  論文  参考訳（メタデータ） (2023-10-12T08:01:11Z)
• Exploiting Causal Graph Priors with Posterior Sampling for Reinforcement Learning [86.22660674919746]
  後部サンプリングは、環境の遷移力学に関する事前知識の活用を可能にする。 本稿では,環境変数に対する因果グラフとして先行値が与えられる新しい後方サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T14:16:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。