論文の概要: Structured but Silent: Probing Capability Requirements in LLM Hidden States

• arxiv url: http://arxiv.org/abs/2610.08018v1
• Date: Tue, 06 Oct 2026 09:12:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.909889
• Title: Structured but Silent: Probing Capability Requirements in LLM Hidden States
• Title（参考訳）: 構造的だが無静性:LLM隠蔽状態における機能要件の探索
• Abstract要約: 細粒度構造は全モデルで高い精度で線形デオード可能であることを示す。 これらの同じモデルは、自然言語で同じクエリを明示的に分類するように要求された場合、かなり信頼性が低い。
• 参考スコア（独自算出の注目度）: 12.538154376241778
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliable tool use requires more than triggering a mechanism or matching a query to an API description. Before selecting a specific tool, an agent must first infer the capability requirements implied by the user query. In this paper, we investigate whether these query-side capability requirements are linearly decodable from LLM hidden representations prior to generation, and how this hidden-state accessibility compares with explicit verbal classification. We introduce TACIT, a framework that decomposes external requirements along three fundamental axes: Source, Transformation, and World Effect, defining eight structurally distinct capability classes. Using 1,600 balanced training queries from benchmarks, synthetic examples, and new domain scenarios, we train linear probes on pre-generation hidden states from four open-weight LLM families. Our empirical results demonstrate that fine-grained capability structures are linearly decodable with high accuracy across all models. Crucially, however, we expose a representation-to-verbalization gap: these same models are significantly less reliable when asked to explicitly classify the same queries in natural language. This disconnect indicates that information about required external capabilities is linearly accessible in LLM hidden representations but not reliably expressed, a phenomenon we define as "structured but silent."
• Abstract（参考訳）: 信頼性の高いツールの使用には、メカニズムのトリガーや、API記述へのクエリのマッチング以上のものが必要だ。 特定のツールを選択する前に、エージェントはまず、ユーザクエリによって入力される機能要件を推測しなければならない。 本稿では,これらのクエリ側機能要件が生成前のLLMの隠蔽表現から線形にデオード可能であるか,また,この隠蔽状態アクセシビリティが明示的な動詞分類とどのように比較されるかを検討する。 我々は、ソース、トランスフォーメーション、ワールドエフェクトという3つの基本軸に沿って外部要求を分解するフレームワークであるTACITを紹介し、構造的に異なる8つの機能クラスを定義します。 ベンチマーク、合成例、新しいドメインシナリオからの1,600のバランスの取れたトレーニングクエリを用いて、4つのオープンウェイトLLMファミリーから生成前の隠れ状態に関する線形プローブを訓練する。 実験結果から, 細粒度構造は全モデルで高い精度で線形デオード可能であることが示された。 これらのモデルでは、自然言語で同じクエリを明示的に分類するよう求められると、信頼性が著しく低下する。 この断絶は、必要な外部能力に関する情報がLLMの隠された表現では線形にアクセス可能であるが、確実に表現されていないことを示し、これは我々が「構造的だが沈黙的」と定義する現象である。

関連論文リスト

• Can LLM Agents Infer World Models? Evidence from Agentic Automata Learning [33.77002260033358]
  ツールコールのLLMエージェントが、対話を通じて隠れた環境を発見できる範囲を評価する。 我々の設定では、エージェントはオラクルと相互作用することで隠れた決定論的有限オートマトン(DFA)を発見すべきである。 DFAのサイズが大きくなるにつれて,性能が急激に低下することがわかった。
  論文  参考訳（メタデータ） (2026-06-15T11:23:13Z)
• Step-Level Sparse Autoencoder for Reasoning Process Interpretation [48.99201531966593]
  大規模言語モデル(LLM)は、Chain-of-Thought(CoT)推論を通じて、強力な複雑な推論機能を実現している。 本稿では,ステップレベルスパースオートエンコーダ (SSAE) を提案する。 複数の基本モデルと推論タスクの実験により,抽出した特徴の有効性が示された。
  論文  参考訳（メタデータ） (2026-03-03T14:25:02Z)
• Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction [80.88654868264645]
  Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。 AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。 結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
  論文  参考訳（メタデータ） (2025-07-22T06:37:51Z)
• Self-Regularization with Sparse Autoencoders for Controllable LLM-based Classification [29.74457390987092]
  大規模言語モデル(LLM)潜在空間における意図しない特徴を特定し,規則化する新しいフレームワークを提案する。 本稿では,有毒なチャット検出,報酬モデリング,疾患診断を含む3つの実世界の課題に関する枠組みについて検討する。
  論文  参考訳（メタデータ） (2025-02-19T22:27:59Z)
• UQE: A Query Engine for Unstructured Databases [71.49289088592842]
  構造化されていないデータ分析を可能にするために,大規模言語モデルの可能性を検討する。 本稿では,非構造化データ収集からの洞察を直接問合せ,抽出するUniversal Query Engine (UQE)を提案する。
  論文  参考訳（メタデータ） (2024-06-23T06:58:55Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Intuitive or Dependent? Investigating LLMs' Behavior Style to Conflicting Prompts [9.399159332152013]
  本研究では,Large Language Models (LLM) の動作を,内部記憶と競合するプロンプトに直面する場合の挙動について検討する。 これにより、LLMの意思決定機構を理解し、検索強化生成(RAG)のような現実世界のアプリケーションにも役立つ。
  論文  参考訳（メタデータ） (2023-09-29T17:26:03Z)
• Description-Based Text Similarity [59.552704474862004]
  我々は、その内容の抽象的な記述に基づいて、テキストを検索する必要性を特定する。 そこで本研究では,近隣の標準探索で使用する場合の精度を大幅に向上する代替モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-21T17:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。