論文の概要: Correct Chains, Wrong Answers: Dissociating Reasoning from Output in LLM Logic

• arxiv url: http://arxiv.org/abs/2604.13065v1
• Date: Thu, 19 Mar 2026 19:05:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-19 19:09:11.651825
• Title: Correct Chains, Wrong Answers: Dissociating Reasoning from Output in LLM Logic
• Title（参考訳）: 正しい連鎖, 誤答: LLM論理における出力からの推論の解離
• Abstract要約: LLMは、チェーン・オブ・シークレットの推論のすべてのステップを正しく実行し、いまだに間違った最終回答を生成することができる。 我々は、演算子ロジックを演算子名から分離するベンチマークであるNovel Operator Testを紹介する。 既存のベンチマークでは検出できない推論出力を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: LLMs can execute every step of chain-of-thought reasoning correctly and still produce wrong final answers. We introduce the Novel Operator Test, a benchmark that separates operator logic from operator name, enabling rigorous distinction between genuine reasoning and pattern retrieval. By evaluating Boolean operators under unfamiliar names across depths 1-10 on five models (up to 8,100 problems each), we demonstrate a reasoning-output dissociation that existing benchmarks cannot detect. At Claude Sonnet 4's depth 7, all 31 errors have verifiably correct reasoning yet wrong declared answers; 17/19 errors in mixed-operator chains exhibit the same pattern. The benchmark reveals two failure types: strategy failures at depth 2, where models attempt terse retrieval (+62pp from scaffolding), and content failures at depth 7, where models reason fully but err systematically (+8-30pp, 0/300 errors post-intervention). A Trojan operator (XOR's truth table under a novel name) confirms name alone does not gate reasoning (p >= 0.49), while Llama's novelty gap widens to 28pp at depth 8-9 with the Trojan at 92-100%, isolating genuine difficulty with novel logic from name unfamiliarity.
• Abstract（参考訳）: LLMは、チェーン・オブ・シークレットの推論のすべてのステップを正しく実行し、いまだに間違った最終回答を生成することができる。 我々は,演算子ロジックを演算子名から分離するベンチマークであるNovel Operator Testを導入し,真の推論とパターン検索の厳密な区別を可能にする。 ブーリアン作用素を5つのモデル(最大8,100問題)で1-10の深さで不慣れな名前で評価することにより、既存のベンチマークでは検出できない推論と出力の解離を実証する。 Claude Sonnet 4 の深さ 7 では、31 個のエラーがすべて検証可能な正確さを持つが、宣言された答えは誤りであり、混合演算鎖の17/19 個のエラーは同じパターンを示す。 ベンチマークでは、Deep 2での戦略失敗、deep 7でのコンテンツ障害、deep 7での戦略失敗、そして、完全にはなくても体系的に(+8-30pp、0/300エラー)、という2つの障害タイプが明らかになった。 トロイア作用素 (XOR's truth table under a novel name) は名前だけでゲート推論をしない(p >= 0.49)が、ラマの斬新さのギャップは深さ 8-9 で 8-9 まで広がり、トロイアは92-100% で、名前になじみのない新しい論理の難しさを分離している。

関連論文リスト

• Metrics That Write Themselves: Evolving an Evaluator from Its Own Blind Spots [11.457174357202392]
  EvalCEGARは小さなPythonオペレータのプールで、それぞれが名前のついた欠陥の候補をフラグ付けし、投票する。 プールを抽象化として読み出し、衝突を検索し、2つの答えが演算子は同じスコアで、1つは正しく、1つは正しくない。 MBPP+とHumanEval+は、隠れたユニットテストが正確な真実を告げるサンドボックスで、ループは55行の演算子を書き、何もフラグ付けしないと完璧なフィルターの間のギャップの15.4%を閉じている。
  論文  参考訳（メタデータ） (2026-08-19T09:55:17Z)
• Judging Is Not Enumerating: Silent Omissions in LLM-Authored Acceptable Sets [13.85834524293015]
  私たちは、ロールが想定する能力を測定し、通常、ロールが配置されるプロトコルの下でそれを欠いていることを見つけます。 モデルは、その候補がセット自体の作者よりもはるかに優れているかどうかを判断する。
  論文  参考訳（メタデータ） (2026-08-02T05:00:44Z)
• Caliper: Probing Lexical Anchors versus Causal Structure in LLMs [23.627157851520845]
  因果グラフと各質問の確率的仕様を保存しながら,意味変数名をプレースホルダートークンに置き換える制御摂動を導入する。 9つの命令調整されたLDMで、レキシカル匿名化は、局所的な3.8B-14Bセットで、+7.6、+27.0、+11.1 ppの堅牢な精度低下をもたらす。 ゼロショットの評価を受けた現在の命令調整LDMは、語彙アンカーが取り除かれた後、構造的因果推論の証拠をほとんど示していない。
  論文  参考訳（メタデータ） (2026-06-03T14:11:16Z)
• ReasonOps: Operator Segmentation for LLM Reasoning Traces [29.17171274711201]
  大きな推論モデルからのチェーンオブシントトレースは、数万のトークンにまたがる可能性がある。 ReasonOpsは教師なし, 表現力のない, 思考の連鎖をアノテートする手法である。 我々は、8つの推論ベンチマークで6つのファミリーにまたがる12のLLMから44,662のトレースを分析した。
  論文  参考訳（メタデータ） (2026-05-28T00:08:35Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
  現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。 我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。 解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
  論文  参考訳（メタデータ） (2026-05-08T06:15:50Z)
• BrainBench: Exposing the Commonsense Reasoning Gap in Large Language Models [4.264192013842096]
  大きな言語モデル(LLM)は、標準ベンチマークで印象的なスコアを得るが、人間が数秒で正しく答えられるような質問を日常的に失敗する。 BrainBenchは、慎重に設計された20のカテゴリにまたがる100のブレインティーザー質問のベンチマークです。
  論文  参考訳（メタデータ） (2026-03-16T02:50:43Z)
• ChaosBench-Logic: A Benchmark for Logical and Symbolic Reasoning on Chaotic Dynamical Systems [0.0]
  大規模言語モデル(LLM)は自然言語処理に優れるが、正確な論理的および記号的推論を必要とする領域では脆弱である。 カオス力学系は、カオスは決定論的であるが、しばしばランダム性や複雑性と誤解されるため、特に要求の高いテストを提供する。 本稿では,30種類の力学系におけるLSM推論を評価するベンチマークであるChaosBench-Logicを紹介する。
  論文  参考訳（メタデータ） (2026-01-05T10:36:40Z)
• MuSLR: Multimodal Symbolic Logical Reasoning [133.85551954182105]
  マルチモーダルな論理的推論は、自律運転や診断などの高度な応用において重要である。 形式論理規則を基礎としたマルチモーダルな記号論理的推論のための最初のベンチマーク Mu SLR を導入する。 我々は,GPT-4.1のChain-of-Thought性能を14.13%向上させるモジュール型フレームワークであるLogiCAMを提案する。
  論文  参考訳（メタデータ） (2025-09-30T06:42:20Z)
• RuozhiBench: Evaluating LLMs with Logical Fallacies and Misleading Premises [41.39610589639382]
  本稿では,677質問を慎重に整理したデータセットであるRuozhiBenchについて紹介する。 我々は,LuozhiBench上の5シリーズから17の大規模言語モデル (LLM) を評価する。 LLMは論理的誤りを検出・推論する能力に限界を示し、最も優れたモデルであるClaude-3-haikuでさえも90%以上のヒトと比較して62%の精度しか達成できなかった。
  論文  参考訳（メタデータ） (2025-02-18T18:47:11Z)
• Unveiling the Magic of Code Reasoning through Hypothesis Decomposition and Amendment [54.62926010621013]
  我々は,大規模言語モデルの推論能力に対する新たな視点を提供するために,新しいタスクであるコード推論を導入する。 論理的推論の確立した形式に基づいて3つのメタベンチマークを要約し、8つの特定のベンチマークタスクにインスタンス化する。 本稿では,人間の複雑な問題解決手法に触発された新たな経路探索パイプラインを提案する。
  論文  参考訳（メタデータ） (2025-02-17T10:39:58Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)
• Faithful Chain-of-Thought Reasoning [51.21714389639417]
  CoT(Chain-of-Thought)は言語モデル(LM)のパフォーマンスを様々な推論タスクで向上させる。 翻訳と問題解決という2つの段階を含む推論フレームワークであるFithful CoTを提案する。 このことは、推論連鎖が最終回答の忠実な説明を提供することを保証している。
  論文  参考訳（メタデータ） (2023-01-31T03:04:26Z)
• Large Language Models are Better Reasoners with Self-Verification [48.534270563880845]
  大規模言語モデル(LLM)は、いくつかの自然言語処理タスクにおいて強力な推論能力を示している。 思考の連鎖(CoT)を促進させるLLMは、個別のミスに非常に敏感な、多段階のプロンプトと多段階の予測を必要とする。 また,LLMにも同様な自己検証能力があることを示す。
  論文  参考訳（メタデータ） (2022-12-19T15:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。