論文の概要: Caliper: Probing Lexical Anchors versus Causal Structure in LLMs

• arxiv url: http://arxiv.org/abs/2606.04915v1
• Date: Wed, 03 Jun 2026 14:11:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.810323
• Title: Caliper: Probing Lexical Anchors versus Causal Structure in LLMs
• Title（参考訳）: Caliper: LLMにおける語彙アンカーと因果構造
• Authors: Zhenyu Yu, Shuigeng Zhou,
• Abstract要約: 因果グラフと各質問の確率的仕様を保存しながら,意味変数名をプレースホルダートークンに置き換える制御摂動を導入する。 9つの命令調整されたLDMで、レキシカル匿名化は、局所的な3.8B-14Bセットで、+7.6、+27.0、+11.1 ppの堅牢な精度低下をもたらす。 ゼロショットの評価を受けた現在の命令調整LDMは、語彙アンカーが取り除かれた後、構造的因果推論の証拠をほとんど示していない。
• 参考スコア（独自算出の注目度）: 23.627157851520845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models reach 50 to 70% accuracy on causal reasoning benchmarks such as CLadder, but it is unclear whether this reflects structural reasoning or lexical pattern matching. We introduce Caliper, a controlled perturbation that replaces semantic variable names with placeholder tokens while preserving the causal graph and probabilistic specification of each question. Across nine instruction-tuned LLMs from 3.8B to 671B and three causal reasoning benchmarks, lexical anonymization yields robust accuracy drops of +7.6, +27.0, and +11.1 pp on a local 3.8B-14B set, rising to +29.6 and +18.0 pp on CRASS and e-CARE across nine frontier models spanning the 2024-2026 generations. Of 40 engaged model-by-benchmark cells, 39 show a positive gap, and the gap collapses by 17x on CLadder's pseudoword subset. Structured scaffolding and few-shot in-context learning each narrow the gap, but mainly by lowering P0 accuracy on smaller models rather than recovering P1. Current instruction-tuned LLMs, evaluated zero-shot, show little evidence of structural causal reasoning once lexical anchors are removed.
• Abstract（参考訳）: 大きな言語モデルはCLadderのような因果推論のベンチマークで50から70%の精度に達するが、構造的推論や語彙的パターンマッチングを反映しているかどうかは不明である。 因果グラフと各質問の確率的仕様を保存しながら、セマンティック変数名をプレースホルダートークンに置き換える制御摂動法であるCaliperを紹介する。 3.8B から 671B までの9つの命令チューニング LLM と3つの因果推論ベンチマークにおいて、レキシカル匿名化は、局所的な 3.8B-14B セットで +7.6, +27.0, +11.1 pp の堅牢な精度低下をもたらし、CRASS と e-CARE の 9 つのフロンティアモデルで +29.6 と +18.0 pp まで上昇した。 40個のモデル・バイ・ベンチマーク細胞のうち39個は正のギャップを示し、ギャップはCLadderの擬単語サブセットの17倍に崩壊する。 構造化された足場と少数ショットのインコンテキスト学習は、それぞれギャップを狭めるが、主にP1を回復するのではなく、より小さなモデルでP0精度を下げる。 ゼロショットの評価を受けた現在の命令調整LDMは、語彙アンカーが取り除かれた後、構造的因果推論の証拠がほとんどない。

関連論文リスト

• Do LLMs Build World Models From Text? A Multilingual Diagnostic of Spatial Reasoning [12.488349000317003]
  MentalMapは6レベル機能階層(L0-L5)を持つ多言語診断ベンチマークである。 MentalMapは、100 ProcTHORの家庭シーンから構築され、8つのタイプ型的に多様な言語と構造化されたテキストコントロールをカバーし、1,950個の評価セルに39のタスクファミリを含んでいる。
  論文  参考訳（メタデータ） (2026-05-27T10:20:53Z)
• When the Ruler is Broken: Parsing-Induced Suppression in LLM-Based Security Log Evaluation [0.0]
  完全に機能的なモデルが完全に非機能なカテゴリに現れる可能性のある,無音で体系的な評価誤差のクラスを実証する。 SOC-Bench v0は、標準化された13のカテゴリの脅威分類、最小統計パワー要件、ファジィフィールド抽出仕様、および将来のSOC研究における特定の精度の歪みを防ぐための公開スコアリングスクリプトからなるベンチマークフレームワークである。
  論文  参考訳（メタデータ） (2026-05-08T06:03:11Z)
• One Token Away from Collapse: The Fragility of Instruction-Tuned Helpfulness [12.183451602438753]
  単純な語彙制約(句読解文字または共通単語の禁止)により、命令調整されたLLMが応答を崩壊させることを示す。 ベースモデルでは,同じ制約の下で,小さな,騒々しい,双方向的な効果を伴って,体系的な崩壊を示さないことを示す。
  論文  参考訳（メタデータ） (2026-04-14T17:40:01Z)
• LLM Reasoning Predicts When Models Are Right: Evidence from Coding Classroom Discourse [0.18268488712787334]
  大規模言語モデル(LLM)は、大規模に教育対話を自動的にラベル付けし分析するために、ますます多くデプロイされている。 本研究では,LLMが生成した推論がモデル自身の予測の正確性を予測するのに有効かどうかを検討する。 授業の対話から30,300人の教師の発話を分析し,複数の最先端LPMでラベル付けし,指導的移動構造とそれに伴う推論を行った。
  論文  参考訳（メタデータ） (2026-02-10T14:38:13Z)
• Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
  近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。 因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
  論文  参考訳（メタデータ） (2025-09-24T13:06:35Z)
• ReasonFlux: Hierarchical LLM Reasoning via Scaling Thought Templates [51.633266497799745]
  思考テンプレートのスケーリングによる階層的LLM推論は、推論検索空間を効果的に最適化することができる。 i)類似または関連する推論問題に一般化可能な500ほどの高レベルな思考テンプレートを含む構造化・汎用的な思考テンプレートライブラリ,(ii)長いCoTではなく一連の思考テンプレート上で階層的な強化学習を行う,(iii)全く新しい推論スケーリングシステム,の3つの革新を紹介した。
  論文  参考訳（メタデータ） (2025-02-10T18:51:47Z)
• NoLiMa: Long-Context Evaluation Beyond Literal Matching [100.00398424275501]
  NoLiMaは、NIAHテストを拡張したベンチマークである。 干し草の山の中に針を見つけるためには、潜伏関係を推測するモデルが必要である。 我々は、少なくとも128Kトークンのコンテキストをサポートすると主張する13の人気のある大規模言語モデルを評価する。
  論文  参考訳（メタデータ） (2025-02-07T18:49:46Z)
• Text Classification via Large Language Models [63.1874290788797]
  テキスト分類に関わる複雑な言語現象に対処するために、Clue And Reasoning Prompting (CARP)を導入する。 注目すべきは、CARPが5つの広く使用されているテキスト分類ベンチマークのうち4つで新しいSOTAパフォーマンスを得ることだ。 さらに重要なのは、CARPが低リソースとドメイン適応のセットアップで素晴らしい能力を提供します。
  論文  参考訳（メタデータ） (2023-05-15T06:24:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。