論文の概要: Steered LLM Activations are Non-Surjective

• arxiv url: http://arxiv.org/abs/2604.09839v1
• Date: Fri, 10 Apr 2026 19:11:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.703518
• Title: Steered LLM Activations are Non-Surjective
• Title（参考訳）: ステアリングLDM活性化は非サージェクティブである
• Abstract要約: アクティベーションステアリング(Activation steering)は、モデルアクティベーションを変更して出力の振る舞いを抽象的に変化させる手法である。 ステアリングされたアクティベーション状態が任意のテキストプロンプトによって実現可能であるかどうかは不明である。 活性化ステアリングが離散的なプロンプトから到達可能な状態の多様体から残留ストリームを押し出すことを示す。
• 参考スコア（独自算出の注目度）: 42.543865253955666
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation steering is a popular white-box control technique that modifies model activations to elicit an abstract change in output behavior. It has also become a standard tool in interpretability (e.g., probing truthfulness, or translating activations into human-readable explanations and safety research (e.g., studying jailbreakability). However, it is unclear whether steered activation states are realizable by any textual prompt. In this work, we cast this question as a surjectivity problem: for a fixed model, does every steered activation admit a pre-image under the model's natural forward pass? Under practical assumptions, we prove that activation steering pushes the residual stream off the manifold of states reachable from discrete prompts. Almost surely, no prompt can reproduce the same internal behavior induced by steering. We also illustrate this finding empirically across three widely used LLMs. Our results establish a formal separation between white-box steerability and black-box prompting. We therefore caution against interpreting the ease and success of activation steering as evidence of prompt-based interpretability or vulnerability, and argue for evaluation protocols that explicitly decouple white-box and black-box interventions.
• Abstract（参考訳）: アクティベーションステアリング(Activation steering)は、モデルアクティベーションを変更して出力動作の抽象的な変化を誘発する一般的なホワイトボックス制御技術である。 また、解釈可能性(例えば、真理性を探したり、アクティベーションを人間可読な説明や安全性の研究(例えば、脱獄性の研究)に変換するための標準的なツールにもなっている。 しかしながら、ステアリングされたアクティベーション状態が任意のテキストプロンプトによって実現可能であるかどうかは不明である。 固定モデルの場合、全てのステアードアクティベーションはモデルの自然な前方通過の下で前像を許容するのか? 現実的な仮定では、アクティベーションステアリングが離散的なプロンプトから到達可能な状態の多様体から残留ストリームを押し出すことを証明している。 ほぼ確実に、ステアリングによって引き起こされる同じ内部挙動を再現するプロンプトは存在しない。 また、この発見を3つの広く使われているLLMで実証的に示す。 以上の結果から,ホワイトボックスのステアビリティとブラックボックスのプロンプトの正式な分離が確立された。 そこで我々は,アクティベーションステアリングの容易さと成功を,アクティベーションステアリングの迅速性や脆弱性の証明として解釈することに対して警告し,ホワイトボックスとブラックボックスの介入を明示的に分離する評価プロトコルについて議論する。

関連論文リスト

• Where Steering Signals Come From: Activation Source Selection in Activation Steering [71.96112659293725]
  有効なステアリングは、ソーステキストに望ましい振る舞いが現れるかどうかだけでは説明できない。 強いシグナルは、モデルがターゲットの振る舞いを生成または継続しようとしている実行境界状態から来る。 この観点から、我々は、境界状態から共有のプロンプトと継続のセマンティクスを取り除くテールサブトラクションを導入する。
  論文  参考訳（メタデータ） (2026-07-28T04:18:24Z)
• UniSteer: Text-Guided Flow Matching in Activation Space for Versatile LLM Steering [42.82337069202406]
  アクティベーションに基づく制御は、ペルソナやスタイルといった行動を制御する効果的なパラダイムとして登場した。 残差ストリームのアクティベーションに関する条件分布を学習するテキスト誘導型アクティベーションフローマッチングモデルUniSteerを提案する。 我々は,UniSteerが行動制御,真正性ステアリング,きめ細かい概念ステアリング,マルチ制約命令の追従,アクティベーション空間の分類にまたがる統一インターフェースを提供することを示した。
  論文  参考訳（メタデータ） (2026-05-28T15:23:29Z)
• Learning to Steer: Input-dependent Steering for Multimodal LLMs [54.41165851011022]
  本稿では,入力固有線形シフトを用いたきめ細かいステアリングについて検討する。 我々は、入力固有のステアリングベクトルを予測するために、小さな補助モジュールを訓練する。 我々のアプローチはL2S(Learn-to-Steer)と呼ばれ、幻覚を減らし、MLLMの安全性を向上し、他の静的ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-18T10:53:20Z)
• Mitigating Content Effects on Reasoning in Language Models through Fine-Grained Activation Steering [14.298418197820912]
  大規模言語モデル(LLM)は、しばしば推論の限界を示し、しばしば内容の妥当性を論理的妥当性と混同する。 これは偏りのある推論を生じさせ、そこではもっともらしい議論は論理的に妥当か、あるいはその逆であると見なされる。 本稿では,アクティベーションステアリングによる形式推論におけるコンテンツバイアス軽減の問題について検討する。
  論文  参考訳（メタデータ） (2025-05-18T01:34:34Z)
• FairSteer: Inference Time Debiasing for LLMs with Dynamic Activation Steering [12.65682270967556]
  大規模言語モデル(LLM)は、トレーニングコーパスからバイアスを捉える傾向があり、潜在的にネガティブな社会的影響をもたらす。 提案するFairSteerは,カスタマイズしたプロンプト設計やモデル再訓練を必要とせずに,新しい推論時脱バイアスフレームワークである。
  論文  参考訳（メタデータ） (2025-04-20T04:57:00Z)
• AdaSteer: Your Aligned LLM is Inherently an Adaptive Jailbreak Defender [99.3105257001476]
  本稿では,入力特性に基づいてモデル動作を調整するアダプティブアクティベーションステアリング手法であるAdaSteerを提案する。 AdaSteer は Rejection Direction (RD) と Harmfulness Direction (HD) の両方に沿って入力表現を操る 本研究は,LLMにおけるリアルタイム・フレキシブル安全対策のための解釈可能なモデル内装の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2025-04-13T07:39:17Z)
• Probing Latent Subspaces in LLM for AI Security: Identifying and Manipulating Adversarial States [0.0]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは、迅速な注射攻撃による脱獄のような敵の操作に弱いままである。 LLMから隠れた活性化を抽出し, 安全状態と脱獄状態の潜伏部分空間について検討した。
  論文  参考訳（メタデータ） (2025-03-12T04:59:22Z)
• Activation Scaling for Steering and Interpreting Language Models [55.59689963561315]
  モデルにうまく介入することは、内部の動作を解釈するための前提条件である、と我々は主張する。 成功した介入は、間違ったトークンで正しいことを正し、その逆を正すべきである。 勾配に基づく最適化を用いることで、特定の種類の効率的かつ解釈可能な介入を学習(そして後で評価)することができる。
  論文  参考訳（メタデータ） (2024-10-07T12:01:32Z)
• Steering Without Side Effects: Improving Post-Deployment Control of Language Models [61.99293520621248]
  言語モデル(LM)は、デプロイ後予期せず振る舞うことが示されている。 KL-then-steer (KTS) は, その利点を保ちながら, 操舵の副作用を低減する技術である。 本手法はLlama-2-chat-7Bモデルと比較して44%のジェイルブレイク攻撃を防ぐ。
  論文  参考訳（メタデータ） (2024-06-21T01:37:39Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。