論文の概要: How Far Can You Steer? Behavior-Capability Frontiers in Contrastive Activation Addition
- arxiv url: http://arxiv.org/abs/2611.06001v1
- Date: Wed, 04 Nov 2026 05:48:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.992294
- Title: How Far Can You Steer? Behavior-Capability Frontiers in Contrastive Activation Addition
- Title(参考訳): どれくらいの速度で動けるか? 対照的なアクティベーション付加における行動能力フロンティア
- Abstract要約: アクティベーションステアリングはパラメータ更新なしで言語モデルの振る舞いを変更できるが、行動効果だけでは介入が有効かどうかを判断できない。
コントラスト的アクティベーション付加型ステアは、対照的な例から導かれるアクティベーション方向を用いて行動をターゲットにした。
この枠組みを,4つの指導訓練モデル,7つの行動,1%,3%,5%の能力損失予算で評価した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Activation steering can modify language-model behavior without parameter updates, but behavioral efficacy alone does not determine whether an intervention is usable. Contrastive Activation Addition (CAA) steers targeted behaviors using activation directions derived from contrasting examples, potentially degrading unrelated model capabilities in the process. We therefore study CAA through a behavior-capability frontier, selecting interventions that maximize behavioral gain subject to an explicit bound on capability degradation. We evaluate this framework across four instruction-tuned models, seven behaviors, and capability-loss budgets of 1%, 3%, and 5% (absolute percentage points). Validation-selected behavioral effects generalize strongly to held-out data ($ρ= 0.945$), while joint behavior-capability survival among nonzero operating points rises from 37.5% at the 1% budget to 72.7% at 3%, with limited additional improvement at 5%. Control experiments indicate that these effects depend on learned behavior directions rather than generic activation perturbations. Representational geometry is significantly but only modestly predictive of causal cross-behavior transfer. Finally, secondary capability, out-of-distribution, and open-ended evaluations show that interventions satisfying protected benchmarks can still degrade untested capabilities or transfer unevenly to free-form generation. These results characterize activation steering as a constrained intervention whose usable range depends on model, behavior, direction, layer, and evaluation budget, rather than a universal control knob.
- Abstract(参考訳): アクティベーションステアリングはパラメータ更新なしで言語モデルの振る舞いを変更できるが、行動効果だけでは介入が有効かどうかを判断できない。
Contrastive Activation Addition (CAA) は、対照的な例から派生したアクティベーション方向を用いて、そのプロセスにおける非関連モデル能力を低下させる可能性を秘めている。
そこで我々は,行動能力フロンティアを通じてCAAを学習し,能力劣化の明示的な制約による行動利得を最大化する介入を選択する。
この枠組みを,4つの指導訓練モデル,7つの行動,1%,3%,5%(絶対パーセンテージポイント)の能力損失予算で評価した。
検証選択された行動効果は、保留データ(ρ=0.945$)に強く依存する一方、非ゼロの運用ポイント間の共同行動能力の生存率は、1%の予算で37.5%から3%で72.7%に増加し、5%に制限された追加改善がある。
制御実験は、これらの効果が一般的な活性化摂動よりも学習行動の方向に依存することを示している。
表現幾何学は顕著であるが、因果的交叉移動の控えめな予測のみである。
最後に、二次能力、アウト・オブ・ディストリビューション(out-of-distriion)、オープンな評価は、保護されたベンチマークを満たす介入が、まだテストされていない能力を低下させたり、フリーフォーム生成に不均一に移行できることを示している。
これらの結果は、アクティベーションステアリングを、普遍的な制御ノブではなく、モデル、行動、方向、層、評価予算に依存する制約付き介入として特徴付ける。
関連論文リスト
- What Do Sparse Autoencoder Feature Discovery Scores Identify? From Activations to Interventions [9.545620331121663]
我々は、モデル出力に対する特定の介入の1次効果である介入帰属を推定する。
幅広い応答関数に対して、観察的特徴発見の証拠は一般にこの属性を特定せず、線形プローブ予測と介入帰属の間のギャップの正確な勾配に基づく分解を導出することを示す。
論文 参考訳(メタデータ) (2026-10-11T19:07:45Z) - ATI-VLA: Action-Centric Predictive Vision-Language-Action Models via Actionable Alignment Then Adaptive Injection [58.95432059887781]
ATI-VLAはAction-Centric Predictive Vision-Language-Actionフレームワークである。
両方のモダリティを共有潜在空間にマッピングすることで、予測観測と行動表現を一致させる。
その後、予測された観測潜伏者を明示的な予測先行として行動復号に注入する。
論文 参考訳(メタデータ) (2026-10-01T14:12:23Z) - When Reasoning Helps Action: Monitoring and Steering Chain-of-Thought in Vision-Language-Action Policies [7.580719272198118]
推論可能なVLAポリシは、そのアクションの説明とガイドのように見えるチェーンオブ思想のトレースを公開する。
信頼性と動作性を評価するための2つの評価軸を定義し,運用する。
アルパマヨ1.5の運転VLAでは、TRUSTは88.9%の精度で正確さを監視し、推論の正確さを75.9%から90.0%に改善する。
論文 参考訳(メタデータ) (2026-09-30T19:04:58Z) - World Models for Embodied Intelligence: From Plausible to Controllable to Actionable [100.13060753774657]
世界モデルは、隠れた状態を維持し、結果を予測し、介入を比較し、実行が期待から外れたときに適応することによって、インテリジェンスにおける知覚と意思決定を結びつける。
これは、どの予測能力が振る舞いを改善するかという、中心的な疑問を提起する。
可塑性モデルは、タスク関連時間的・幾何学的・物理的構造を保存し、制御可能なモデルは、介入がどのように構造を変えるかを予測し、アクション可能なモデルは、予測を計画、行動、学習、評価、検証、回復、データ選択において測定可能な利得に変換する。
論文 参考訳(メタデータ) (2026-09-15T06:22:42Z) - Minimizing Targeted Activations: Input-Only Suppression of Evaluation-Awareness Latents in Large Language Models [0.4783156204372467]
アクティベーションステアリングは、推論時に内部アクティベーションを編集することでモデル動作を制御する。
入力側双対について検討し、流動的なプロンプトを最適化し、選択した内部潜伏剤をゼロに駆動する。
論文 参考訳(メタデータ) (2026-07-28T16:01:48Z) - Evaluation Awareness Is Not One Capability: Evidence from Open Language Models [1.758143872501506]
安全ベンチマークは、テスト条件の振る舞いがデプロイメントの振る舞いを予測すると仮定する。
これにより、ベンチマークパフォーマンスとデプロイメントの動作のギャップが開ける。
我々は、37のオープンウェイトモデルと7つのファミリーにわたる8つの実験を通して、この評価意識を特徴づける。
論文 参考訳(メタデータ) (2026-06-22T16:48:43Z) - Predicting Future Behaviors in Reasoning Models Enables Better Steering [35.89008737242842]
テストタイムステアリングは、隠れた表現を介入することで大きな推論モデル(LRM)を制御するが、出力品質を低下させることができる。
我々は、事前のステアリング作業は、すでに生成されたテキストの振る舞いを検出する内部機能に暗黙的に依存していると論じる。
我々は、中間推論ステップから将来の行動可能性を予測するために、アクティベーションプローブを訓練する。
これらのプローブは64%-91%の精度で最も起こりそうな振る舞いを予測し、内部予測の異なるタイプの特徴を明らかにした。
論文 参考訳(メタデータ) (2026-06-09T17:49:24Z) - Activation Steering Induces Emergent Misalignment: A More Comprehensive Evaluation [74.17379276939599]
近年のQwen-3.5シリーズにおいても,アクティベーションステアリングが広範囲のアライメントを引き起こすことが示されている。
ステアリングサイズ, ステアリングサブスペースの低ランク構造, ステアリングベクター構築時のエポック数など, キーステアリング固有の因子を解析することにより, AS誘起EMの特性を特徴づける。
論文 参考訳(メタデータ) (2026-06-07T15:34:59Z) - When Actions Go Off-Task: Detecting and Correcting Misaligned Actions in Computer-Use Agents [50.5814495434565]
この研究は、コンピュータ利用エージェント(CUA)における不整合検出を定義し、研究する最初の試みである。
実世界のCUAデプロイメントにおける3つの一般的なカテゴリを特定し、人間の注釈付きアクションレベルのアライメントラベルを用いたリアルな軌跡のベンチマークであるMisActBenchを構築した。
本稿では,実行前に不整合を検知し,構造化されたフィードバックによって繰り返し修正する,実用的で普遍的なガードレールであるDeActionを提案する。
論文 参考訳(メタデータ) (2026-02-09T18:41:15Z) - User Hesitation and Negative Transfer in Multi-Behavior Recommendation [55.78729938627577]
HNTと呼ばれる弱信号学習に焦点を当てた推薦フレームワークを提案する。
標的行動につながる補助行動の特徴を学習することにより、HNTは標的行動を引き起こすことのない類似の補助行動を特定する。
3つの実世界のデータセットの実験では、HNTはHR@10とNDCG@10をそれぞれ12.57%、14.37%改善している。
論文 参考訳(メタデータ) (2025-11-08T02:45:32Z) - GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。
推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。
微調整と既存のステアリングベースラインの両方を一貫して上回る。
論文 参考訳(メタデータ) (2025-07-24T02:34:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。