論文の概要: Steerable but Not Decodable: Function Vectors Operate Beyond the Logit Lens

• arxiv url: http://arxiv.org/abs/2604.02608v1
• Date: Fri, 03 Apr 2026 00:54:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.260497
• Title: Steerable but Not Decodable: Function Vectors Operate Beyond the Logit Lens
• Title（参考訳）: ステアブルだが分解不能:機能ベクターはロジットレンズの向こうで動く
• Authors: Mohammed Suhail B Nadaf,
• Abstract要約: 機能(FV)ステアリングは、ロジットレンズが任意の層で正しい答えをデコードできない場合でも成功する。 FVステアリングは、各モデルのタスクごとにロジットレンズの精度を超える。 FVボキャブラリ投影は、FVが0.90以上のステアリング精度を達成し、いまだ不整合なトークン分布を投影していることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Function vectors (FVs) -- mean-difference directions extracted from in-context learning demonstrations -- can steer large language model behavior when added to the residual stream. We hypothesized that FV steering failures reflect an absence of task-relevant information: the logit lens would fail alongside steering. We were wrong. In the most comprehensive cross-template FV transfer study to date - 4,032 pairs across 12 tasks, 6 models from 3 families (Llama-3.1-8B, Gemma-2-9B, Mistral-7B-v0.3; base and instruction-tuned), 8 templates per task - we find the opposite dissociation: FV steering succeeds even when the logit lens cannot decode the correct answer at any layer. This steerability-without-decodability pattern is universal: steering exceeds logit lens accuracy for every task on every model, with gaps as large as -0.91. Only 3 of 72 task-model instances show the predicted decodable-without-steerable pattern, all in Mistral. FV vocabulary projection reveals that FVs achieving over 0.90 steering accuracy still project to incoherent token distributions, indicating FVs encode computational instructions rather than answer directions. FVs intervene optimally at early layers (L2-L8); the logit lens detects correct answers only at late layers (L28-L32). The previously reported negative cosine-transfer correlation (r=-0.572) dissolves at scale: pooled r ranges from -0.199 to +0.126, and cosine adds less than 0.011 in R-squared beyond task identity. Post-steering analysis reveals a model-family divergence: Mistral FVs rewrite intermediate representations; Llama/Gemma FVs produce near-zero changes despite successful steering. Activation patching confirms causal localization: easy tasks achieve perfect recovery at targeted layers; hard tasks show zero recovery everywhere.
• Abstract（参考訳）: 関数ベクトル(FV) - コンテキスト内学習デモから抽出した平均差方向 - は、残ストリームに追加された場合、大きな言語モデルの振る舞いを制御できる。 われわれは、FVステアリングの失敗はタスク関連情報の欠如を反映していると仮定した。 私たちは間違っていた。 12のタスクで4,032対、Llama-3.1-8B, Gemma-2-9B, Mistral-7B-v0.3; base and instruction-tuned)のモデル6つ、タスクごとに8つのテンプレートがある。 ステアリングは全てのモデル上の全てのタスクに対してロジットレンズの精度を超え、その差は-0.91である。 72のタスクモデルインスタンスのうち3つだけが、予測可能なdeodable-without-steerableパターンをMistralで示す。 FVボキャブラリ・プロジェクションは、FVが0.90以上のステアリング精度を達成していまだ不整合なトークン分布を投影しており、FVが応答方向ではなく計算命令を符号化していることを示している。 FVは初期層(L2-L8)で最適に介入し、ロジットレンズは後期層(L28-L32)でのみ正しい答えを検出する。 前報で報告された負のコサイン-トランスファー相関(r=-0.572)はスケールで溶解する: プールされた r は -0.199 から +0.126 の範囲で、コサインはタスクの恒等性を超えた R-二乗の 0.011 未満を加算する。 Mistral FVsは中間表現を書き換え、Llama/Gemma FVsはステアリングが成功したにもかかわらずほぼゼロに近い変化を発生させる。 アクティベーションパッチは因果的ローカライゼーションを確認する: 簡単なタスクはターゲット層で完全なリカバリを達成する; ハードタスクは至る所でリカバリをゼロにする。

関連論文リスト

• Edge Reliability Gap in Vision-Language Models: Quantifying Failure Modes of Compressed VLMs Under Visual Corruption [0.0]
  エッジデプロイメントのための大規模視覚言語モデルの迅速な圧縮は、未解決の問題を引き起こす: コンパクトモデルは、単に頻繁にではなく、異なるフェールするのだろうか? 本研究では, VQAv2 および COCO キャプションから 4,000 個のサンプルに対して, 7-ビリオンパラメータ定量 VLM (Qwen2.5-VL-7B, 4-bit NF4) と500 万パラメータFP16モデル (SmolVLM2-500M) を比較した。 平均トークン確率を用いて3カテゴリーの誤り分類法(対象盲点, セマンティックドリフト, 先行バイアス)を診断の枠組みとして適用し, 信頼度校正を期待誤差(ECE)を用いて測定する。
  論文  参考訳（メタデータ） (2026-03-24T10:14:40Z)
• Do Foundation Models Know Geometry? Probing Frozen Features for Continuous Physical Measurement [0.0]
  視覚言語モデルは、それらのテキスト経路が表現できないような幾何学を符号化する。 ロラ微調整(r=16, 2,000枚)は、このギャップを6.5度に縮める。 これらの知見は、単一の凍結したバックボーンがマルチタスク幾何学的センサーとして機能することを可能にした。
  論文  参考訳（メタデータ） (2026-03-06T16:48:27Z)
• Distilling Deep Reinforcement Learning into Interpretable Fuzzy Rules: An Explainable AI Framework [1.9180507495574395]
  深層強化学習(DRL)エージェントは、継続的な制御において顕著なパフォーマンスを達成するが、不透明なままであり、安全クリティカルなドメインへの展開を妨げる。 既存の説明可能性法は、局所的な洞察(SHAP、LIME)のみを提供するか、過度に単純化されたサロゲートを使用し、連続的なダイナミクスを捉えることができない。 本研究では、状態可読パーティショニングのためのK-Meansクラスタリングを通じて、ニューラルポリシーを人間可読IF-THENルールに蒸留するファジィシステム(FCS)を提案する。 説明焦点を測定するルール密度(FRAD)、語彙完全性を検証するファジィ集合被覆(FSC)、行動空間の粒度(Action Space Granularity)の3つの定量化指標が導入された。
  論文  参考訳（メタデータ） (2026-02-24T23:53:01Z)
• Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
  モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。 累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。 主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
  論文  参考訳（メタデータ） (2026-02-10T21:08:53Z)
• The Confidence Manifold: Geometric Structure of Correctness Representations in Language Models [1.45309944076563]
  5つのアーキテクチャファミリから9つのモデルにまたがる正しさの表現を特徴付ける。 我々はアクティベーションステアリングによる因果性評価を行った。 正確性信号は内部に存在するが、出力では表現されない。
  論文  参考訳（メタデータ） (2026-02-08T23:27:10Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• Detecting and Steering LLMs' Empathy in Action [0.0]
  LLM活性化空間における線形方向としての共感-in-actionについて検討する。 Empathy-in-Actionベンチマークに基づいた対照的なプロンプトを用いて、検出と4つのモデル間のステアリングをテストする。
  論文  参考訳（メタデータ） (2025-11-17T23:45:26Z)
• SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
  大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。 最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。 我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
  論文  参考訳（メタデータ） (2025-04-07T02:42:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。