論文の概要: CLEAR-3K: Assessing Causal Explanatory Capabilities in Language Models

• arxiv url: http://arxiv.org/abs/2506.17180v1
• Date: Fri, 20 Jun 2025 17:35:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.565293
• Title: CLEAR-3K: Assessing Causal Explanatory Capabilities in Language Models
• Title（参考訳）: CLEAR-3K:言語モデルにおける因果説明能力の評価
• Authors: Naiming Liu, Richard Baraniuk, Shashank Sonkar,
• Abstract要約: CLEAR-3Kは、ある文が別の文を因果的に説明するかどうかを言語モデルが判断できるかどうかを評価するために設計された、3000のアサーション推論質問のデータセットである。 各質問は、意味的関連性と真の因果的説明的関係を区別するために、アサーションとアサーションのペアと挑戦言語モデルを示す。
• 参考スコア（独自算出の注目度）: 3.137688620241855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce CLEAR-3K, a dataset of 3,000 assertion-reasoning questions designed to evaluate whether language models can determine if one statement causally explains another. Each question present an assertion-reason pair and challenge language models to distinguish between semantic relatedness and genuine causal explanatory relationships. Through comprehensive evaluation of 21 state-of-the-art language models (ranging from 0.5B to 72B parameters), we identify two fundamental findings. First, language models frequently confuse semantic similarity with causality, relying on lexical and semantic overlap instead of inferring actual causal explanatory relationships. Second, as parameter size increases, models tend to shift from being overly skeptical about causal relationships to being excessively permissive in accepting them. Despite this shift, performance measured by the Matthews Correlation Coefficient plateaus at just 0.55, even for the best-performing models.Hence, CLEAR-3K provides a crucial benchmark for developing and evaluating genuine causal reasoning in language models, which is an essential capability for applications that require accurate assessment of causal relationships.
• Abstract（参考訳）: CLEAR-3Kは、ある文が別の文を因果的に説明するかどうかを言語モデルが判断できるかどうかを評価するために設計された、3000のアサーション推論質問のデータセットである。 各質問は、意味的関連性と真の因果的説明的関係を区別するために、アサーションとアサーションのペアと挑戦言語モデルを示す。 21の最先端言語モデル(0.5Bから72Bまでの範囲)を総合的に評価することにより,2つの基礎的知見が得られた。 第一に、言語モデルはしばしば意味的類似性を因果関係と混同し、実際の因果関係を推測するのではなく、語彙的および意味的重複に依存する。 第二に、パラメータのサイズが大きくなるにつれて、モデルは因果関係に過度に懐疑的になる傾向がある。 この変化にもかかわらず、マシューズ相関係数高原で測定された性能は、最高のパフォーマンスモデルであってもわずか0.55であり、CLEAR-3Kは、言語モデルにおける真の因果推論を開発し評価するための重要なベンチマークを提供する。

関連論文リスト

• A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [53.18562650350898]
  思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。 大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
  論文  参考訳（メタデータ） (2025-05-29T18:55:05Z)
• ExpliCa: Evaluating Explicit Causal Reasoning in Large Language Models [75.05436691700572]
  明示的な因果推論において,LLM(Large Language Models)を評価するための新しいデータセットであるExpliCaを紹介する。 ExpliCa上で7つの商用およびオープンソース LLM をテストしました。 驚くべきことに、モデルは因果関係と時間的関係を関連付ける傾向にあり、そのパフォーマンスはイベントの言語的順序にも強く影響される。
  論文  参考訳（メタデータ） (2025-02-21T14:23:14Z)
• Uncertainty Estimation of Large Language Models in Medical Question Answering [60.72223137560633]
  大規模言語モデル(LLM)は、医療における自然言語生成の約束を示すが、事実的に誤った情報を幻覚させるリスクがある。 医学的問合せデータセットのモデルサイズが異なる人気不確実性推定(UE)手法をベンチマークする。 以上の結果から,本領域における現在のアプローチは,医療応用におけるUEの課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-07-11T16:51:33Z)
• Prompting or Fine-tuning? Exploring Large Language Models for Causal Graph Validation [0.0]
  本研究では,因果グラフの因果性を評価するための大規模言語モデルの有用性について検討する。 本研究では,(1)ゼロショットと少数ショットの因果推論のためのプロンプトベース手法,(2)因果関係予測タスクのための微調整言語モデルの比較を行った。
  論文  参考訳（メタデータ） (2024-05-29T09:06:18Z)
• How often are errors in natural language reasoning due to paraphrastic variability? [29.079188032623605]
  本稿では,自然言語推論モデルのパラフラスティック一貫性を評価するための指標を提案する。 我々は、この計量をパラフレーズ化に起因するモデルの正しさの分散の比率に数学的に結合する。 そこで我々は,7,782人の人間による記述・検証された推論問題のデータセットであるParaNLUを収集した。
  論文  参考訳（メタデータ） (2024-04-17T20:11:32Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Commonsense Knowledge-Augmented Pretrained Language Models for Causal Reasoning Classification [9.313899406300644]
  ATOMIC2020では、自然言語の文章を言語化するために、広範にわたるコモンセンス推論知識グラフを3倍にします。 そこで我々は,コモンセンス推論質問に対する回答モデルの評価を行った。
  論文  参考訳（メタデータ） (2021-12-16T04:38:40Z)
• To what extent do human explanations of model behavior align with actual model behavior? [91.67905128825402]
  モデル推論決定の人間による説明が、モデルが実際にこれらの決定を下す方法と一致する程度を調べた。 自然言語の人間の説明が入力語に対するモデル感度とどのように一致するかを定量化する2つのアライメント指標を定義した。 モデルと人間の説明との整合は、NLI上のモデルの精度によって予測されないことが判明した。
  論文  参考訳（メタデータ） (2020-12-24T17:40:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。