論文の概要: Compositional Causal Reasoning Evaluation in Language Models

• arxiv url: http://arxiv.org/abs/2503.04556v1
• Date: Thu, 06 Mar 2025 15:47:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 16:01:54.229928
• Title: Compositional Causal Reasoning Evaluation in Language Models
• Title（参考訳）: 言語モデルにおける構成因果推論の評価
• Authors: Jacqueline R. M. A. Maasch, Alihan Hüyük, Xinnuo Xu, Aditya V. Nori, Javier Gonzalez,
• Abstract要約: 因果推論と構成推論は、生成的AIにおける2つの中核的な願望である。 コンポジション因果推論(CCR)と呼ばれる,両方の行動を同時に考える統一的な視点を探求する。 我々は,CCRのシステム的評価のためのフレームワークを,平均的治療効果と必要十分性および十分性の可能性のためにインスタンス化する。
• 参考スコア（独自算出の注目度）: 18.138276908217023
• License:
• Abstract: Causal reasoning and compositional reasoning are two core aspirations in generative AI. Measuring the extent of these behaviors requires principled evaluation methods. We explore a unified perspective that considers both behaviors simultaneously, termed compositional causal reasoning (CCR): the ability to infer how causal measures compose and, equivalently, how causal quantities propagate through graphs. We instantiate a framework for the systematic evaluation of CCR for the average treatment effect and the probability of necessity and sufficiency. As proof of concept, we demonstrate the design of CCR tasks for language models in the LLama, Phi, and GPT families. On a math word problem, our framework revealed a range of taxonomically distinct error patterns. Additionally, CCR errors increased with the complexity of causal paths for all models except o1.
• Abstract（参考訳）: 因果推論と構成推論は、生成的AIにおける2つの中核的な願望である。 これらの行動の程度を測定するには、原則化された評価方法が必要である。 両動作を同時に考える統一的な視点を探求し、因果的測度がどのように構成され、また、因果的量がどのようにグラフを通して伝播するかを推測する能力である、CCR(Composental causal reasoning)と呼ぶ。 我々は,CCRのシステム的評価のためのフレームワークを,平均的治療効果と必要十分性および十分性の可能性のためにインスタンス化する。 概念実証として,LLama,Phi,GPTファミリーにおける言語モデルのためのCCRタスクの設計を実証する。 数学用語の問題では,分類学的に異なる誤りパターンが明らかにされた。 さらに、CCRエラーは、o1を除く全てのモデルの因果経路の複雑さによって増大した。

関連論文リスト

• Effective Bayesian Causal Inference via Structural Marginalisation and Autoregressive Orders [16.682775063684907]
  構造学習問題を因果順序と各変数に対する因果順序を推定する親集合に分解する。 提案手法は, スケールフリーおよびエルドス・レーニグラフ構造を持つ非線形付加雑音ベンチマークのシミュレーションによる構造学習における最先端の手法である。
  論文  参考訳（メタデータ） (2024-02-22T18:39:24Z)
• Inducing Causal Structure for Abstractive Text Summarization [76.1000380429553]
  要約データの因果構造を誘導する構造因果モデル(SCM)を導入する。 本稿では因果的要因を模倣できる因果的表現を学習するための因果性インスピレーション付き系列列列モデル(CI-Seq2Seq)を提案する。 2つの広く使われているテキスト要約データセットの実験結果は、我々のアプローチの利点を示している。
  論文  参考訳（メタデータ） (2023-08-24T16:06:36Z)
• Causal models in string diagrams [0.0]
  因果モデル(英語版)の枠組みは、今日多くの科学的領域で適用されている因果推論に対する原則化されたアプローチを提供する。 本稿では,この枠組みを,圏論を用いて形式的に解釈した文字列図形言語に提示する。 因果モデルフレームワークによる因果推論は、最も自然かつ直感的に図式推論として行われることを議論し、実証する。
  論文  参考訳（メタデータ） (2023-04-15T21:54:48Z)
• Neural Causal Models for Counterfactual Identification and Estimation [62.30444687707919]
  本稿では,ニューラルモデルによる反事実文の評価について検討する。 まず、神経因果モデル(NCM)が十分に表現可能であることを示す。 第2に,反事実分布の同時同定と推定を行うアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-09-30T18:29:09Z)
• Markov categories, causal theories, and the do-calculus [7.061298918159947]
  我々は、有向非巡回グラフ(DAG)上の因果推論の構文を形式化する因果モデルのカテゴリー理論的扱いを与える。 この枠組みは、抽象的かつ「純粋に因果的」の観点から因果的推論において重要な概念を定義し、研究することを可能にする。
  論文  参考訳（メタデータ） (2022-04-11T01:27:41Z)
• Effect Identification in Cluster Causal Diagrams [51.42809552422494]
  クラスタ因果図(略してC-DAG)と呼ばれる新しいタイプのグラフィカルモデルを導入する。 C-DAGは、限定された事前知識に基づいて変数間の関係を部分的に定義することができる。 我々はC-DAGに対する因果推論のための基礎と機械を開発する。
  論文  参考訳（メタデータ） (2022-02-22T21:27:31Z)
• Causal Inference Principles for Reasoning about Commonsense Causality [93.19149325083968]
  コモンセンス因果推論(Commonsense causality reasoning)は、平均的な人によって妥当と見なされる自然言語記述における妥当な原因と影響を特定することを目的としている。 既存の作業は通常、深い言語モデルに全面的に依存しており、共起を混同する可能性がある。 古典的因果原理に触発され,我々はCCRの中心的問題を明確にし,観察研究と自然言語における人間の対象間の類似性を引き出す。 本稿では,時間信号をインシデント・インシデント・インシデント・インシデント・インシデントとして活用する新しいフレームワークであるROCKをReason O(A)bout Commonsense K(C)ausalityに提案する。
  論文  参考訳（メタデータ） (2022-01-31T06:12:39Z)
• Learning Causal Semantic Representation for Out-of-Distribution Prediction [125.38836464226092]
  因果推論に基づく因果意味生成モデル(CSG)を提案し,その2つの要因を別々にモデル化する。 CSGはトレーニングデータに適合させることで意味的因子を識別できることを示し、この意味的識別はOOD一般化誤差の有界性を保証する。
  論文  参考訳（メタデータ） (2020-11-03T13:16:05Z)
• A Critical View of the Structural Causal Model [89.43277111586258]
  相互作用を全く考慮せずに原因と効果を識別できることが示される。 本稿では,因果モデルの絡み合った構造を模倣する新たな逆行訓練法を提案する。 我々の多次元手法は, 合成および実世界の両方のデータセットにおいて, 文献的手法よりも優れている。
  論文  参考訳（メタデータ） (2020-02-23T22:52:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。