論文の概要: Evaluating Causal Reasoning in LLMs: A Case Study in the Challenges of Procedural Generation

• arxiv url: http://arxiv.org/abs/2610.38100v1
• Date: Wed, 28 Oct 2026 00:34:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.35008
• Title: Evaluating Causal Reasoning in LLMs: A Case Study in the Challenges of Procedural Generation
• Title（参考訳）: LLMにおける因果推論の評価 : 手続き生成の課題を事例として
• Abstract要約: CLadderは、ベンチマークデータセットを手続き的に生成するためのフレームワークである。 CLadderを用いた実験は、LSMが正式な因果推論を行うことができることを示している。 ランダムフォレストのような単純なモデルでさえ、CLadder生成データセットでうまく機能することがわかった。
• 参考スコア（独自算出の注目度）: 0.5364556209310566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) appear to represent and reason about a large range of phenomena. In particular, recent studies have examined whether LLMs can accurately reason about causation. One of the most commonly used benchmarks for evaluating formal causal reasoning in LLMs is CLadder, a framework for procedural generation of benchmark data sets that was released in 2023. Experiments with CLadder appear to indicate that LLMs can perform formal causal reasoning in a large percentage of generated examples. In this paper, we examine what can be reliably inferred when LLMs perform well on test sets produced by CLadder. We identify several examples of superficial and highly predictive patterns that the CLadder generator embeds in data sets it generates. We find that even simple models such as random forests perform well on CLadder-generated data sets after training on a sample of generated data. We also find that the performance of many commercial LLMs on CLadder test sets is extremely brittle and that removing large sections of the text that are critical for formal causal reasoning has almost no effect on performance. Given these results, the most likely hypothesis for the strong performance of state-of-the-art LLMs on CLadder is that they are exploiting superficial patterns learned from exposure to training data from the generator. Any inference that LLMs are exhibiting more complex causal reasoning must rule out this hypothesis.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、幅広い現象を表現し、推論しているように見える。 特に最近の研究では、LSMが因果関係を正確に説明できるかどうかが研究されている。 LLMにおける公式因果推論を評価するための最も一般的なベンチマークの1つは、2023年にリリースされたベンチマークデータセットの手続き的生成のためのフレームワークであるCLadderである。 CLadderを用いた実験は、LLMが生成したサンプルのかなりの割合で正式な因果推論を行うことができることを示している。 本稿では,CLadder が生成したテストセットにおいて LLM が良好に動作する場合に,確実に推測できるものについて検討する。 CLadderジェネレータが生成するデータセットに埋め込まれた表面的および高い予測パターンのいくつかの例を同定する。 ランダムフォレストのような単純なモデルでさえ、生成されたデータのサンプルをトレーニングした後、CLadder生成データセット上でうまく機能することがわかった。 また,CLadder テストセットにおける多くの商用 LLM の性能は極めて不安定であり,形式的因果推論に重要なテキストの大部分を削除しても,性能にはほとんど影響しないことがわかった。 これらの結果を踏まえると、CLadderにおける最先端のLCMの強い性能の仮説は、露光から学習した表面パターンを利用して、ジェネレータからのトレーニングデータを利用するというものである。 LLMがより複雑な因果推論をしているという推論は、この仮説を除外しなければならない。

関連論文リスト

• Verifying the Verifiers: Unveiling Pitfalls and Potentials in Fact Verifiers [59.168391398830515]
  我々は,14のファクトチェックベンチマークのサンプルを用いて,12の事前学習LDMと1つの特殊ファクト検証器を評価した。 データセットにおけるアノテーションエラーとあいまいさに対処することの重要性を強調します。 最上位のパフォーマンスを実現するために、前作でしばしば見落とされがちな、数ショットのインコンテキストの例を持つフロンティアLSM。
  論文  参考訳（メタデータ） (2025-06-16T10:32:10Z)
• CounterBench: A Benchmark for Counterfactuals Reasoning in Large Language Models [5.409370027524351]
  本研究では, 大規模言語モデル(LLM)の性能評価を行った。 我々は,新しいベンチマークデータセットであるCounterBenchを紹介した。
  論文  参考訳（メタデータ） (2025-02-16T06:19:37Z)
• Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
  審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。 本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
  論文  参考訳（メタデータ） (2025-02-03T17:13:03Z)
• Order Matters in Hallucination: Reasoning Order as Benchmark and Reflexive Prompting for Large-Language-Models [0.0]
  大規模言語モデル(LLM)は、その誕生以来、様々な学術分野や産業分野にまたがって大きな注目を集めてきた。 LLMはしばしば「ハロシン化問題」に悩まされるが、出力は文法的にも論理的にも一貫性があり、事実の正確性に欠ける。
  論文  参考訳（メタデータ） (2024-08-09T14:34:32Z)
• Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
  大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-09T12:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。