論文の概要: Knowledge Knows, Verbalization Tells: Disentangling Latent Directions for Mathematical Solvability in LLMs

• arxiv url: http://arxiv.org/abs/2607.05013v1
• Date: Mon, 06 Jul 2026 12:55:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:30.153864
• Title: Knowledge Knows, Verbalization Tells: Disentangling Latent Directions for Mathematical Solvability in LLMs
• Title（参考訳）: LLMにおける数学的可解性に関する知識, 言語化の知見
• Authors: Nikolaos Xiros, Maria-Eleni Zoumpoulidi, Georgios Paraskevopoulos,
• Abstract要約: 言語化は、区別された線形デオード可能な表現として符号化されていることを示す。 一方, アクティベーションステアリングは, これらの表現を機械的に操作することで, モデル停止を改善することを実証する。
• 参考スコア（独自算出の注目度）: 5.831893840514845
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although LLMs have made significant progress in mathematical reasoning, determining whether a mathematical problem is solvable remains a fundamental yet challenging capability. While recent studies have probed internal representations of model solvability beliefs, verbalization has primarily been studied behaviorally rather than as an internal representation, limiting its analysis and manipulation. We address this gap by separately probing representations of solvability knowledge and verbalization, allowing us to disentangle the two within model hidden states. Across multiple LLMs, we show that knowledge and verbalization are encoded as distinct, linearly decodable representations and that fabrication is primarily associated with changes in verbalization rather than the underlying knowledge. Prompting with unsolvability cues reduces fabrication primarily by shifting verbalization, while activation steering demonstrates that these representations can be echanistically manipulated to improve model abstention.
• Abstract（参考訳）: LLMは、数学的推論において大きな進歩を遂げているが、数学的問題が解けるかどうかを判断することは、基本的かつ困難な能力である。 近年の研究では、モデル可解性信念の内部表現が研究されているが、言語化は内部表現としてではなく行動的に研究され、その分析と操作が制限されている。 可解性知識と言語化の表現を別々に探索することで、このギャップに対処し、モデル隠れ状態の中でこの2つを解き放つことができる。 複数の LLM にまたがって、知識と動詞化は区別され、線形デオード可能な表現として符号化され、生成は、基礎となる知識よりも、主に言語化の変化と関連していることを示す。 可解性のあるプロンプティングは、主に言語化のシフトによって製造を減らし、アクティベーションステアリングは、これらの表現を機械的に操作してモデル禁制を改善することを実証する。

関連論文リスト

• Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs [100.02824137397464]
  難易度が増大する入力に遭遇した場合,大規模言語モデルが内部表現をどのように適応するかを検討する。 タスクの難易度が増大するにつれて、LLMの最後の隠れ状態は実質的にスペーサーとなる。 この空間性-微分的関係は、様々なモデルや領域で観測可能である。
  論文  参考訳（メタデータ） (2026-03-03T18:48:15Z)
• Interpretability Framework for LLMs in Undergraduate Calculus [0.0]
  大規模言語モデル(LLM)は、教育においてますます使われているが、その正確性だけでは、彼らの問題解決行動の品質、信頼性、教育的妥当性を捉えていない。 本稿では,LLM生成解を代表領域として用いた新しい解釈可能性フレームワークを提案する。 提案手法は, 推論フロー抽出と解を意味ラベル付き操作や概念に分解し, 即時アブレーション解析と組み合わせて, 入力サリエンスと出力安定性を評価する。
  論文  参考訳（メタデータ） (2025-10-19T17:20:36Z)
• LINGOLY-TOO: Disentangling Reasoning from Knowledge with Templatised Orthographic Obfuscation [1.2576388595811496]
  自然言語を基盤とした挑戦的推論ベンチマークであるlingOLY-TOOを紹介する。 実言語で記述された推論問題をパーミュレートして、多数の質問のバリエーションを生成する。 実験と分析は、モデルが推論を回避し、事前の知識から回答できることを示している。
  論文  参考訳（メタデータ） (2025-03-04T19:57:47Z)
• Disentangling Memory and Reasoning Ability in Large Language Models [97.26827060106581]
  本稿では、複雑な推論プロセスを2つの異なる明確なアクションに分解する新しい推論パラダイムを提案する。 実験の結果, この分解によりモデル性能が向上し, 推論プロセスの解釈可能性も向上することがわかった。
  論文  参考訳（メタデータ） (2024-11-20T17:55:38Z)
• Unveiling LLMs: The Evolution of Latent Representations in a Dynamic Knowledge Graph [15.129079475322637]
  この研究は、大規模言語モデルが文レベルのクレーム検証のために内部的に表現する事実情報を明らかにする。 本稿では,トークン表現に埋め込まれた事実知識をベクトル空間から基底述語集合にデコードするエンド・ツー・エンドのフレームワークを提案する。 本フレームワークでは,推論中にトークン表現を変更するベクトルレベル手法であるアクティベーションパッチを用いて,符号化された知識を抽出する。
  論文  参考訳（メタデータ） (2024-04-04T17:45:59Z)
• Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners? [140.9751389452011]
  本研究では,大言語モデル(LLM)の偏りを,算術語問題を解く際に,子どもに知られているものと関連づけて検討する。 我々は,これらの各テストに対して,問題特徴のきめ細かい制御を可能にするニューロシンボリックアプローチを用いて,新しい単語問題を生成する。
  論文  参考訳（メタデータ） (2024-01-31T18:48:20Z)
• Re-Reading Improves Reasoning in Large Language Models [87.46256176508376]
  既成のLarge Language Models (LLM) の推論能力を高めるため, 単純で汎用的で効果的なプロンプト手法であるRe2を導入する。 CoT (Chain-of-Thought) など、ほとんどの思考を刺激する手法とは異なり、Re2 は質問を2回処理することで入力に焦点を移し、理解プロセスを強化する。 提案手法の有効性と汎用性を検証するため,14のデータセットにまたがる広範囲な推論ベンチマークでRe2を評価した。
  論文  参考訳（メタデータ） (2023-09-12T14:36:23Z)
• ChatABL: Abductive Learning via Natural Language Interaction with ChatGPT [72.83383437501577]
  大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。 LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。 本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-21T16:23:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。