論文の概要: On the Eligibility of LLMs for Counterfactual Reasoning: A Decompositional Study

• arxiv url: http://arxiv.org/abs/2505.11839v1
• Date: Sat, 17 May 2025 04:59:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.886634
• Title: On the Eligibility of LLMs for Counterfactual Reasoning: A Decompositional Study
• Title（参考訳）: 逆推論のためのLCMの適性について:分解的研究
• Authors: Shuai Yang, Qi Yang, Luoxi Tang, Jeremy Blackburn, Zhaohan Xi,
• Abstract要約: 対物推論は、大規模言語モデルの推論能力を一般化するための重要な手法として現れてきた。 本稿では, 因果関係の構築から, 逆因果関係の介入に対する推論まで, 逆因果関係の生成を分解する分解戦略を提案する。
• 参考スコア（独自算出の注目度）: 15.617243755155686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Counterfactual reasoning has emerged as a crucial technique for generalizing the reasoning capabilities of large language models (LLMs). By generating and analyzing counterfactual scenarios, researchers can assess the adaptability and reliability of model decision-making. Although prior work has shown that LLMs often struggle with counterfactual reasoning, it remains unclear which factors most significantly impede their performance across different tasks and modalities. In this paper, we propose a decompositional strategy that breaks down the counterfactual generation from causality construction to the reasoning over counterfactual interventions. To support decompositional analysis, we investigate 11 datasets spanning diverse tasks, including natural language understanding, mathematics, programming, and vision-language tasks. Through extensive evaluations, we characterize LLM behavior across each decompositional stage and identify how modality type and intermediate reasoning influence performance. By establishing a structured framework for analyzing counterfactual reasoning, this work contributes to the development of more reliable LLM-based reasoning systems and informs future elicitation strategies.
• Abstract（参考訳）: 大規模言語モデル (LLM) の推論能力を一般化するための重要な手法として, 対実的推論が出現している。 逆のシナリオを生成し解析することにより、研究者はモデル決定の適応性と信頼性を評価することができる。 以前の研究では、LLMは反ファクトな推論に苦しむことが多かったが、どの要因が様々なタスクやモダリティにまたがってそのパフォーマンスを著しく妨げているかは定かではない。 本稿では, 因果関係構築から, 因果関係の介入に対する推論まで, 因果関係の生成を分解する分解戦略を提案する。 本稿では, 自然言語理解, 数学, プログラミング, 視覚言語タスクなど, 多様なタスクにまたがる11のデータセットについて検討する。 広汎な評価により,各分解段階におけるLCMの挙動を特徴付けるとともに,モダリティタイプと中間的推論が性能に与える影響を同定する。 反ファクト推論を解析するための構造的枠組みを確立することにより、より信頼性の高いLCMベースの推論システムの開発に寄与し、今後の導入戦略を通知する。

関連論文リスト

• Causality for Natural Language Processing [17.681875945732042]
  因果推論は人間の知性の基礎であり、人工システムにとって重要な能力である。 この論文は、大きな言語モデルにおける因果推論と理解の様々な次元に展開する。
  論文  参考訳（メタデータ） (2025-04-20T08:11:11Z)
• LogiDynamics: Unraveling the Dynamics of Logical Inference in Large Language Model Reasoning [49.58786377307728]
  本稿では、類似推論のための制御された評価環境を導入することにより、探索的アプローチを採用する。 帰納的,帰納的,帰納的,帰納的な推論パイプラインの比較力学を解析する。 仮説選択や検証,洗練といった高度なパラダイムを考察し,論理的推論のスケールアップの可能性を明らかにする。
  論文  参考訳（メタデータ） (2025-02-16T15:54:53Z)
• Advancing Reasoning in Large Language Models: Promising Methods and Approaches [0.0]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて著しく成功している。 複雑な推論スパンニング論理推論、数学的問題解決、コモンセンス推論、そして多段階推論を実行する能力は、人間の期待に届かない。 本調査は, LLMにおける推論向上技術に関する総合的なレビューを提供する。
  論文  参考訳（メタデータ） (2025-02-05T23:31:39Z)
• Make LLMs better zero-shot reasoners: Structure-orientated autonomous reasoning [52.83539473110143]
  本稿では,Large Language Models (LLM) の質問をよりよく理解するための構造指向分析手法を提案する。 複雑な質問応答タスクの信頼性をさらに向上するために,多エージェント推論システム,構造指向自律推論エージェント(SARA)を提案する。 大規模な実験により,提案システムの有効性が検証された。
  論文  参考訳（メタデータ） (2024-10-18T05:30:33Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は意思決定タスクを自動化するために使用される。 本稿では,LPMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを評価する。 さまざまな因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成します。 これらのベンチマークにより、LLMが事実を記憶したり、他のショートカットを見つけたりすることで、変化を正確に予測する能力を切り離すことができます。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• Comparing Inferential Strategies of Humans and Large Language Models in Deductive Reasoning [25.732397636695882]
  大規模言語モデル(LLM)では,人間の観察と類似した推論パターンが示される。 我々の研究は、モデルの構造と規模が、その好む推論方法に大きく影響していることを示します。
  論文  参考訳（メタデータ） (2024-02-20T12:58:14Z)
• A Principled Framework for Knowledge-enhanced Large Language Model [58.1536118111993]
  大規模言語モデル(LLM)は汎用性があるが、深い信頼性のある推論を必要とするタスクに悩まされることが多い。 本稿では、知識を効果的に固定し、閉ループ推論プロセスを用いるLLMを作成するための厳密な設計のフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-18T18:10:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。