Fugu-MT 論文翻訳(概要): The Illusion of $\textit{What If}$: Evaluating the Breakdown of Counterfactual Reasoning in LLMs

論文の概要: The Illusion of $\textit{What If}$: Evaluating the Breakdown of Counterfactual Reasoning in LLMs

arxiv url: http://arxiv.org/abs/2608.27953v1
Date: Fri, 28 Aug 2026 05:49:19 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-31 17:16:04.214441
Title: The Illusion of $\textit{What If}$: Evaluating the Breakdown of Counterfactual Reasoning in LLMs
Title（参考訳）: Illusion of $\textit{What If}$: Evaluating the Breakdown of Counterfactual Reasoning in LLMs
Abstract要約: $textbfWhatIfBench$は、オープンドメイン、オープンフォーム、ロングホライゾンの因果推論のための診断ベンチマークである。 $textbfPRISM$は、イベント、状態、メカニズムのRe Response-Derived Semantic Causal Graphである。
参考スコア（独自算出の注目度）: 17.84394262896856
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Counterfactual reasoning requires models to reason beyond the observed world and explain how altered conditions propagate through downstream consequences. Existing benchmarks largely target bounded settings with fixed variables or single gold outcomes, overlooking open-domain scenarios requiring causal-process evaluation. To this end, we present $\textbf{WhatIfBench}$, a diagnostic benchmark for open-domain, open-form, long-horizon counterfactual causal reasoning, containing 220 what-if questions across STEM, HSS, and Hybrid scenarios. To evaluate free-form responses, we further propose $\textbf{PRISM}$, which first converts each natural-language explanation into a Response-Derived Semantic Causal Graph of events, states, and mechanisms. On top of this graph, PRISM then jointly applies a Process Metric assessing graph-level causal validity and a Rubric Metric assessing answer-level explanatory adequacy. Evaluating six frontier LLMs with this framework, we find that WhatIfBench remains far from saturated: even the strongest model reaches only a 64.62% final score. Further analysis reveals persistent causal gaps, premise drift, and topology fragmentation, suggesting that fluent counterfactual narratives often mask fragile causal processes. The benchmark, code, and evaluation scripts are available at $\href{https://github.com/zju-gt/WhatIfBench}{WhatIfBench}$.
Abstract（参考訳）: 反現実的推論は、観測された世界を超えて、どのように変化した条件が下流の結果を通してどのように伝播するかを説明するモデルを必要とする。既存のベンチマークは主に、原因プロセスの評価を必要とするオープンドメインシナリオを見越して、固定変数や単一ゴールド結果のバウンダリ設定をターゲットとしています。この目的のために、オープンドメイン、オープンフォーム、ロングホライゾンの因果推論のための診断ベンチマークである$\textbf{WhatIfBench}$を紹介します。自由形式の応答を評価するために、まず各自然言語の説明をイベント、状態、メカニズムの応答依存セマンティック因果グラフに変換する$\textbf{PRISM}$を提案する。このグラフの上にPRISMは、グラフレベルの因果妥当性を評価するProcess Metricと、回答レベルの説明精度を評価するRubric Metricを併用する。この枠組みで6つのフロンティア LLM を評価すると、WhatIfBench は飽和点に遠く及ばず、最強のモデルでさえ64.62%の最終的なスコアしか得られない。さらなる分析では、永続的な因果的ギャップ、前提のドリフト、トポロジーの断片化が明らかとなり、流動的な反事実的物語が脆弱な因果的過程を隠蔽することをしばしば示唆している。ベンチマーク、コード、評価スクリプトは$\href{https://github.com/zju-gt/WhatIfBench}{WhatIfBench}$で入手できる。

関連論文リスト

REIN: Bridging the Gap between Reasoning and Reliability via Reflection and Abstention Alignment [35.47736821237044]
大規模な推論モデル(LRM)は幻覚を起こしやすいため、信頼性が損なわれ、安全な配置の課題が生じる。構造的推論シーケンスを生成するためにLEMをトレーニングするアライメントフレームワークであるREINを提案する。 REINは、サンプル化された推論鎖のどれにも正しい答えが得られない場合、明示的な棄権を促す報酬機構を導入する。
論文参考訳（メタデータ） (2026-08-08T05:37:13Z)
ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。 Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文参考訳（メタデータ） (2026-05-11T16:20:51Z)
Empowering VLMs for Few-Shot Multimodal Time Series Classification via Tailored Agentic Reasoning [44.69766273765273]
VL$underlinetextbfM$$underlinetextbfa$gentic $underlinetextbfr$easoning framework for few-$underlinetextbfs$hot multimodal $underlinetextbfT$ime $underlinetextbfS$eries $underlinetextbfC$lassification$textbfMarsTSC$(source)を提案する。
論文参考訳（メタデータ） (2026-05-10T07:47:09Z)
DeltaRubric: Generative Multimodal Reward Modeling via Joint Planning and Verification [38.65432183778467]
一つのMLLM内でのプラン・アンド・エグゼキュートプロセスとしてマルチモーダルな選好評価を再構成するアプローチであるDeltaRubricを導入する。 DeltaRubricは2つのステップで動作する。まずは$textitDisagreement Planner$として動作し、中立でインスタンス固有のチェックリストを生成する。我々はDeltaRubricをマルチロール強化学習問題として定式化し、計画と検証機能を共同で最適化する。
論文参考訳（メタデータ） (2026-05-10T02:32:19Z)
LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文参考訳（メタデータ） (2026-05-02T11:31:33Z)
Progressive Online Video Understanding with Evidence-Aligned Timing and Transparent Decisions [75.23170605943457]
textbfmodelは、メモリ統合から推論制御を分離するフレームワークである。 emphActive Thinking Decision Maker (ATDM)は、決定プロセスの外部化を行う透明な推論コントローラである。 emphHierarchical Progressive Semantic Integration (HPSI)モジュールは効率的なメモリシステムとして機能する。
論文参考訳（メタデータ） (2026-04-20T16:15:33Z)
PAR$^2$-RAG: Planned Active Retrieval and Reasoning for Multi-Hop Question Answering [57.89576196160413]
大規模言語モデル (LLM) はマルチホップ質問応答 (MHQA) において脆弱のままである。 textbfPlanned Active Retrieval and Reasoning RAG (PAR$2-RAG)を提案する。
論文参考訳（メタデータ） (2026-03-30T23:52:54Z)
Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。 Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文参考訳（メタデータ） (2026-03-23T14:48:54Z)
Blind Inverse Game Theory: Jointly Decoding Rewards and Rationality in Entropy-Regularized Competitive Games [0.0]
観測行動から$theta$と$tau$を共同で回収する最初の統計フレームワークであるBlind-IGTを紹介する。結合パラメータの回復に最適な$mathcalO(N-1/2)$収束率を達成できることを示す。フレームワークをマルコフゲームに拡張し、強い経験的性能で最適な収束率を示す。
論文参考訳（メタデータ） (2025-11-07T16:27:59Z)
seqBench: A Tunable Benchmark to Quantify Sequential Reasoning Limits of LLMs [1.0519693622157462]
我々は,Large Language Models (LLMs) における逐次推論限界を探索するベンチマークであるseqBenchを紹介する。検索の複雑さが最小限であるにもかかわらず、セクベンチの構造的推論タスクでは、トップパフォーマンスモデルでさえ体系的に失敗することがわかった。
論文参考訳（メタデータ） (2025-09-21T01:32:13Z)
MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文参考訳（メタデータ） (2024-06-20T03:50:23Z)
A Robustness Analysis of Blind Source Separation [91.3755431537592]
ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
論文参考訳（メタデータ） (2023-03-17T16:30:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。