論文の概要: Encoded but Not Decoded: Layer-Localized Evidence for a Three-Level Gap in LLM Syntax

• arxiv url: http://arxiv.org/abs/2609.29848v1
• Date: Thu, 24 Sep 2026 14:13:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.984931
• Title: Encoded but Not Decoded: Layer-Localized Evidence for a Three-Level Gap in LLM Syntax
• Title（参考訳）: 符号化されているが復号されていない: LLM構文における3レベルギャップに対する層ローカライズされた証拠
• Abstract要約: 本稿では,3段階評価フレームワーク(行動展開,LMヘッドリードアウト,プローブ回収性)を提案する。 コンパクトな三言語(英語、中国語、ドイツ語)の制御依存性ベンチマークを用いて、プローブの可逆性はLMヘッドの読み出しを超えているか等しくなる。 我々は、オプションポジションバイアス、遅延層消去、出力フォーマットアーティファクト、プローブ学習分散を除外する。
• 参考スコア（独自算出の注目度）: 8.256521206310627
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A language model can fail a syntactic test in two distinct ways: by not encoding the relevant structure, or by encoding it but failing to use it at the output. Behavioral evaluation alone cannot tell these apart. We propose a three-level evaluation framework (behavioral deployment, LM-head readout, and probe recoverability) measured on the same items under the same binary decision. Using a compact trilingual (English, Chinese, German) control-dependency benchmark, we find that probe recoverability exceeds or equals LM-head readout, which in turn exceeds or equals behavioral deployment, across seven models and all three languages in the aggregate. The recoverability surplus is never negative across all 14 (model, task) conditions. The disconnect concentrates in subject-control, where a nearest-noun heuristic gives the wrong answer. The single largest gap (0.653) appears on Qwen3-0.6B Instruct in question answering. The gap persists at Qwen3-14B Instruct. Instruction tuning degrades deployment more than encoding in percentage terms. We rule out option-position bias, late-layer erasure, output-formatting artifacts, and probe-training variance. The pattern is consistent with decoding that favors surface shortcuts, and the behavior-probe gap measures the strength of that preference. Activation patching shows the gap is layer-localized. Under instruction tuning, the LM-head-decoded layer shifts approximately ten layers later than the probe-decoded layer. These findings argue that behavioral evaluation understates what models encode, while probing alone overstates what they deploy.
• Abstract（参考訳）: 言語モデルは、関連する構造をエンコードしないか、あるいはそれをエンコードすることによって、出力でそれを使用できないという、2つの異なる方法で構文テストに失敗する可能性がある。 行動評価だけではこれらを区別できない。 そこで本研究では, 同一項目における3段階評価フレームワーク(行動展開, LMヘッドリードアウト, プローブリカバリ性)を提案する。 コンパクトな三言語(英語、中国語、ドイツ語)の制御依存性のベンチマークを用いて、プローブの可読性はLMヘッドの可読性を超え、それによって7つのモデルと合計3つの言語にまたがる行動配置を超えるか等しくなります。 回復可能性の余剰は、すべての14の条件(モデル、タスク)で負となることはない。 解離は主観制御に集中し、最も近い名詞のヒューリスティックが間違った答えを与える。 唯一の大きなギャップ (0.653) はQwen3-0.6B Instructingの質問応答に現れる。 ギャップはQwen3-14Bインストラクションで持続する。 命令チューニングは、パーセンテージでエンコーディングするよりも、デプロイメントを劣化させる。 我々は、オプションポジションバイアス、遅延層消去、出力フォーマットアーティファクト、プローブ学習分散を除外する。 パターンは表面のショートカットを好むデコードと一致しており、振る舞いとプローブのギャップはその好みの強さを測定する。 アクティベーションパッチは、ギャップがレイヤローカライズされていることを示している。 命令チューニングでは、LMヘッド復号化層はプローブ復号化層よりも約10層遅れる。 これらの知見は、行動評価はモデルをエンコードしたものを下記し、一方、デプロイしたものだけをオーバーステートする、と主張している。

関連論文リスト

• The Illusion of Control: Why Bare Classifier Inversion Silently Fails in Concept-Bottleneck Text Generation [0.30693357740321775]
  コンセプション・ブートネック制御可能生成路は低次元概念コードを介してマルチ属性制御を行う。 我々はこの問題を多軸合成一般化の下で概念ボトルネックテキスト生成において研究する。
  論文  参考訳（メタデータ） (2026-08-24T08:21:10Z)
• Continuous Language Diffusion as a Decoder-Interface Problem [9.603960937964183]
  連続拡散言語モデルはガウス崩壊文の埋め込みから流動的なテキストを生成することができる。 組込み言語フロー(ELF)を用いてこのパズルを学習し,デコーダベース機構を同定する。 本稿では,難読性,セマンティックリカバリ性,順序感度,デコーダの互換性,トラジェクトリ信頼性の診断プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-06-07T20:00:33Z)
• Inferring Code Correctness from Specification [0.0]
  大規模言語モデル(LLM)は現代のソフトウェア開発に不可欠なものとなり、大規模に自動コード生成を可能にしている。 提案するTRAILS(Targeted Reasoning Agreement via Inputs and Specifications)は,コンクリート(インプット,アウトプット)ペアによるLCM推論を基礎とする手法である。 TRAILSをLiveCodeBenchとCoCoClaNeLの2つのデータセット(Qwen3Coder-30B、Devstral-Small-24B、Olmo3.1-Instruct)で評価し、HoarePromptとZero-Shot Chain-of-Thoughtベースラインと比較した。
  論文  参考訳（メタデータ） (2026-05-28T12:04:51Z)
• From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
  LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。 我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
  論文  参考訳（メタデータ） (2026-04-01T11:40:12Z)
• AlgoVeri: An Aligned Benchmark for Verified Code Generation on Classical Algorithms [54.99368693313797]
  既存のベンチマークでは、個々の言語/ツールのみをテストするため、パフォーマンス番号は直接比較できない。 このギャップに対処するAlgoVeriは、Dafny、Verus、Leanで77ドルの古典的アルゴリズムのベリコーディングを評価するベンチマークです。
  論文  参考訳（メタデータ） (2026-02-10T06:58:26Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• Multilingual Contrastive Decoding via Language-Agnostic Layers Skipping [60.458273797431836]
  対照的なレイヤ(DoLa)によるデコーディングは、大規模言語モデルの生成品質を改善するために設計されている。 このアプローチは英語以外のタスクではうまくいきません。 モデルの前方通過における言語遷移に関する従来の解釈可能性の研究から着想を得て,改良されたコントラスト復号アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-15T15:14:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。