Fugu-MT 論文翻訳(概要): CausalVerify: An Execution-Grounded Benchmark for LLM Causal Inference Workflows

論文の概要: CausalVerify: An Execution-Grounded Benchmark for LLM Causal Inference Workflows

arxiv url: http://arxiv.org/abs/2609.07944v1
Date: Mon, 07 Sep 2026 19:56:29 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-10 19:44:08.508994
Title: CausalVerify: An Execution-Grounded Benchmark for LLM Causal Inference Workflows
Title（参考訳）: CausalVerify: LLMの因果推論ワークフローのベンチマーク
Abstract要約: LLMの既存の因果推論ベンチマークは、主にメソッド記述または生成されたコードが実行されるかどうかをスコアする。 ClausalVerifyは、構造的計量的因果推定に対するこの検証問題を研究している。この論文は259の経済学論文と、差分差分、事象研究、機器変数、回帰不連続設計のためのCSVを実現する100の固定シード合成シナリオを組み合わせている。
参考スコア（独自算出の注目度）: 2.5274989947146644
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Existing causal-inference benchmarks for LLMs mostly score method descriptions or whether generated code runs, not whether the executed workflow recovers the target causal estimate. CausalVerify studies this verification problem for structured econometric causal-estimation workflows by separating realistic interpretation from verifiable computation. It pairs 259 published economics papers (reconstructed research question, data description, institutional context) with 100 fixed-seed synthetic scenarios that realise CSV datasets for difference-in-differences, event study, instrumental variables, and regression discontinuity designs. Experiment A (real-paper text agreement) scores method-family and direction agreement against four-LLM consensus labels. Experiment B (synthetic execution) runs model-written R code and checks whether the extracted treatment-effect estimate matches a canonical estimator on the same realised dataset; this execution-grounded correctness layer is L2b+, distinct from L2b, which records only whether the code executes. A calibration arm asks whether self-reported confidence separates correct from incorrect workflows. On Experiment B, seven LLMs reach L2b+ pass rates of 10% to 88% at the default 50% tolerance, and 66 of the 426 workflows that execute (15.5%) return a wrong estimate. Execution ranking (L2b) agrees with L2b+ far better than text-direction scoring (L4): Kendall $τ=0.81$ and Spearman $ρ=0.93$, versus Kendall $τ$ between $-0.20$ and $0.10$ for L4. Llama-3.3-70B-Instruct shows the same qualitative gap, and reported confidence does not reliably separate correct from incorrect workflows. The claims are confined to standardized single-shot workflows in these four design families under the evaluated R backend and model panel; the benchmark does not measure general causal-inference ability. Code, data, cached outputs, and a datasheet are released.
Abstract（参考訳）: LLMの既存の因果推論ベンチマークは、実行されたワークフローがターゲット因果推定を回復するかどうかに関わらず、主にメソッド記述または生成されたコードが実行されるかどうかをスコアする。 CausalVerifyは、現実的な解釈と検証可能な計算を分離することで、構造的計量因果推定ワークフローに対するこの検証問題を研究している。この論文は259の経済論文(再構成された研究問題、データ記述、制度的な文脈)と、差分差分、イベントスタディ、機器変数、回帰不連続性設計のためのCSVデータセットを実現する100の定型合成シナリオを組み合わせている。実験 A(リアルペーパーテキスト契約)は、4つのLLMコンセンサスラベルに対してメソッドファミリーと方向コンセンサスをスコアする。実験B(合成実行)は、モデル記述されたRコードを実行し、抽出した処理効果推定値が同じ実効データセット上の標準推定値と一致するかどうかをチェックする。キャリブレーションアームは、自己報告された信頼度が正しいワークフローと間違ったワークフローを分離するかどうかを問う。実験 B では、7つの LLM が 10% から 88% の L2b+ パスレートを 50% の許容率で達成し、426 のワークフローのうち 66 が (15.5%) で間違った見積もりを返す。実行ランク (L2b) はテキスト指向スコア (L4): Kendall $τ=0.81$ と Spearman $ρ=0.93$ に対して Kendall $τ$ は-0.20$ と $0.10$ の間で一致している。 Llama-3.3-70B-Instructは、同じ質的なギャップを示し、報告された信頼性は、正しくないワークフローから確実に分離しない。クレームは、評価されたRバックエンドとモデルパネルの下で、これら4つのデザインファミリで標準化されたシングルショットワークフローに限定されている。コード、データ、キャッシュされた出力、およびデータシートがリリースされる。

関連論文リスト

P$^{3}$: Joint Program-and-Proof Planning for Verified Code Generation [19.3449645807529]
検証されたコード生成は、プログラムの実行可能プログラムとマシンチェック可能な証明の両方を生成するために、大きな言語モデル(LLM)を要求する。このシーケンシャルパイプラインは、実際には非効率かつ非効率である可能性があることを観察する。プログラムとその正当性引数を手作業で開発するべきだというディクストラの見解に触発されて、我々は$P3$を提案する。
論文参考訳（メタデータ） (2026-08-10T08:33:18Z)
Data and Evaluation Closed-Loop for Model Capability Enhancement [8.245706308161504]
評価は直感的ではなく,日常的,監査可能,実験的に検証可能であることを示す。評価データ間推論は直感的ではなく,日常的,監査可能,実験的に検証可能であることを示す。
論文参考訳（メタデータ） (2026-06-26T14:45:57Z)
Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。 EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
論文参考訳（メタデータ） (2026-05-28T09:45:47Z)
Using Semantic Distance to Estimate Uncertainty in LLM-Based Code Generation [1.1470070927586018]
LLMはコード生成において高い性能を示すが、その出力は正確性を保証するものではない。我々はこれらの選択を混乱させる分類法を導入し、セマンティックな距離認識の不確実性推定という、欠落した設計点を明らかにした。我々のメトリクスは、正確性に関する強力なプロキシを提供し、一貫して最先端のサンプルベースラインより優れています。
論文参考訳（メタデータ） (2026-05-09T16:02:54Z)
Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
論文参考訳（メタデータ） (2026-04-20T13:25:40Z)
OpenSanctions Pairs: Large-Scale Entity Matching with LLMs [0.9131359219276399]
我々は,実世界の国際制裁アグリゲーションとアナリストの重複から派生した,大規模エンティティマッチングベンチマークOpenSanctions Pairsをリリースした。データセットには、31か国で293の異種源にまたがる755,540のラベル付きペアが含まれている。オフザシェルフ LLM は生産ルールベースのベースラインを大幅に上回っている。
論文参考訳（メタデータ） (2026-02-24T06:25:49Z)
LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
論文参考訳（メタデータ） (2024-12-29T06:32:36Z)
Can LLMs Separate Instructions From Data? And What Do We Even Mean By That? [60.50127555651554]
大規模言語モデル(LLM)は、多くの実用的なアプリケーションにおいて印象的な結果を示すが、基本的な安全性機能は欠如している。これにより、間接的なプロンプトインジェクションのような操作に脆弱になり、一般に安全クリティカルなタスクには適さない。モデル出力から計算可能な命令データ分離の形式的尺度と経験的変量を導入する。
論文参考訳（メタデータ） (2024-03-11T15:48:56Z)
Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
大規模言語モデル(LLM)の純粋因果推論スキルをテストする。相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
論文参考訳（メタデータ） (2023-06-09T12:09:15Z)
Estimating Large Language Model Capabilities without Labeled Test Data [51.428562302037534]
大規模言語モデル(LLM)は、ほんの数例からICL(In-context Learning)を実行するという印象的な能力を持っている。 ICLの精度推定タスクを提案し、新しいタスクで文脈内学習を行う場合のLLMの精度を予測する。
論文参考訳（メタデータ） (2023-05-24T06:55:09Z)
LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。