論文の概要: Causal Tongue-Tie: LLMs Can Encode Causal Direction, But Their Yes/No Outputs Fail to Express
- arxiv url: http://arxiv.org/abs/2605.25891v1
- Date: Mon, 25 May 2026 14:19:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:20.325594
- Title: Causal Tongue-Tie: LLMs Can Encode Causal Direction, But Their Yes/No Outputs Fail to Express
- Title(参考訳): Causal Tongue-Tie:LLMはCausal Directionをエンコードできるが、Yes/NoのアウトプットはExpressに失敗
- Authors: Ziyi Ding, Xiao-Ping Zhang,
- Abstract要約: 大きな言語モデルが因果問題にエンコードしているものと、それらが答えているものとの間には、ミスマッチがある。
アンチ・コモンセンス CLadder アイテムでは、固定された線形プローブがモデルの隠れ状態からエビデンス支援された回答を復元する。
これをCausal Tongue-Tie という。
- 参考スコア(独自算出の注目度): 11.675718405602792
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We find a mismatch between what large language models encode about a causal question and what they answer. On anti-commonsense CLadder items, a fixed linear probe recovers the evidence-supported answer from the model's hidden state (accuracy approximately 0.97), while the spoken Yes/No reverts to the commonsense one (accuracy approximately 0.5). We call this approximately +0.5 gap Causal Tongue-Tie: a wrong Yes/No decomposes into two separable failure modes: no internal signal versus a signal the verbal interface cannot say. The implication cuts both ways for output-only causal benchmarks: a benchmark "correct" need not mean the model has understood, and a benchmark "wrong" need not mean it cannot. Sweeping claims about whether LLMs can do causal reasoning, drawn from a single accuracy number, deserve a second look.
- Abstract(参考訳): 大きな言語モデルが因果問題にエンコードしているものと、それらが答えているものとの間には、ミスマッチがある。
アンチ・コモンセンス・クラッダーアイテムでは、固定線形プローブがモデルの隠れ状態(精度約0.97)からエビデンス支援の回答を復元し、音声Yes/Noはコモンセンスに戻す(精度約0.5)。
私たちはこのおよそ0.5のギャップをCausal Tongue-Tie: a wrong Yes/Noを2つの分離可能な障害モードに分解します。
ベンチマークは、モデルが理解したという意味ではなく、ベンチマークは、それができないという意味ではない。
スウィーピングは、LLMが1つの精度番号から引き出された因果推論ができるかどうかについて、第2の見返りに値する。
関連論文リスト
- Hidden Error Awareness in Chain-of-Thought Reasoning: The Signal Is Diagnostic, Not Causal [6.908637308550535]
思考の連鎖は、生成された推論がモデルの内部計算を反映していると仮定する。
この仮定は、特定の測定可能な方法で間違っていることを示す。
モデルは自身の推論エラーを内部的に検出するが、その信頼性を外部に表現する。
論文 参考訳(メタデータ) (2026-05-10T12:26:46Z) - Uncovering Hidden Correctness in LLM Causal Reasoning via Symbolic Verification [56.51953062869371]
DoVerifier は、因果表現が与えられた因果グラフから導出可能であるかどうかをdo-calculus と probability theory の規則を用いてチェックする記号検証器である。
因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果
論文 参考訳(メタデータ) (2026-01-29T03:22:58Z) - CLadder: Assessing Causal Reasoning in Language Models [82.8719238178569]
我々は,大言語モデル (LLM) が因果関係をコヒーレントに説明できるかどうかを検討する。
ユデア・パールらによって仮定された「因果推論エンジン」にインスパイアされた、自然言語における因果推論という新たなNLPタスクを提案する。
論文 参考訳(メタデータ) (2023-12-07T15:12:12Z) - Cognitive Dissonance: Why Do Language Model Outputs Disagree with
Internal Representations of Truthfulness? [53.98071556805525]
ニューラルネットワークモデル(LM)は、事実文の真偽を評価するために用いられる。
それらは、文の確率を問い合わせたり、真理の表現を内部で探したりすることができる。
過去の研究によると、これらの2つの手順は時折不一致であり、プローブはLM出力よりも正確である。
この結果、一部の研究者は、LMが非協力的なコミュニケーション意図を「十分」あるいは他の方法でコード化していると結論付けている。
論文 参考訳(メタデータ) (2023-11-27T18:59:14Z) - Mitigating Hallucinations and Off-target Machine Translation with
Source-Contrastive and Language-Contrastive Decoding [53.84948040596055]
修正された復号化目標を用いて、障害ケースを緩和する2つの関連手法を提案する。
大規模多言語モデルM2M-100 (418M) とSMaLL-100の実験は、これらの手法が幻覚やターゲット外の翻訳を抑制することを示した。
論文 参考訳(メタデータ) (2023-09-13T17:15:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。