論文の概要: Contrastive Covariance Subspaces for Activation Steering
- arxiv url: http://arxiv.org/abs/2610.14025v1
- Date: Tue, 29 Sep 2026 20:20:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-18 21:02:54.46917
- Title: Contrastive Covariance Subspaces for Activation Steering
- Title（参考訳）: アクティベーションステアリングのためのコントラスト共分散部分空間
- Abstract要約: 共分散ステアリング(Contrastive Covariance Steering, CCS)は, 共分散を除去する訓練不要な手法である。
CCSは12ドルモデルドメイン設定ですべてのベースラインステアリングメソッドを一貫して上回っている。
提案手法は,CCSが概念表現と流速の両方を維持できるマルチターン会話に拡張する。
- 参考スコア（独自算出の注目度）: 67.62626452204076
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Activation steering controls large language model behavior by adding a direction to hidden activations during inference. For steering to work well, that direction must be a pure signal for the target concept: any confound entangled with it, such as an incidental topic or writing style, is injected into the residual stream alongside the concept itself and degrades the generated text. We introduce Contrastive Covariance Steering (CCS), a training-free method that eliminates this confound variation. CCS projects steering vectors to a low-dimensional subspace obtained in closed form by solving a contrastive variance objective, which retains the directions along which the target concept varies while suppressing directions shared with the other classes. Across three LLMs and four steering domains, CCS consistently beats all baseline steering methods in all $12$ model-domain settings. The largest relative improvement occurs on AxBench and Emotion where we outperform the next strongest steering baseline by $48$ to $70\%$ and $13$ to $27\%$, respectively. Furthermore, CCS outperforms naive difference-of-means steering by up to $151\%$, showcasing the importance of deconfounding concepts. A toy experiment verifies our motivation on why: planting a topic nuisance into the training data reduces unprojected steering by $46\%$, whereas CCS loses only $12\%$ and recovers most of the gap to an oracle that explicitly deletes the planted direction. A human study with $23$ raters on $296$ generations reproduces the LLM judge's ranking. Our extensive ablation verifies the importance of our method's components and robustness to the number of nuisance classes. Finally, we extend our method to multi-turn conversations, where CCS sustains both concept expression and fluency, matching system prompt performance as other steering methods drift.
- Abstract（参考訳）: アクティベーションステアリングは、推論中に隠れたアクティベーションに方向を追加することで、大きな言語モデルの振る舞いを制御する。
その方向がうまく機能するためには、その方向はターゲット概念の純粋な信号でなければならない: 付随するトピックや書き込みスタイルなど、それと絡み合ったあらゆるコンファウンドは、概念そのものと共に残留ストリームに注入され、生成されたテキストを分解する。
本稿では,この差異を解消する訓練不要な手法であるContrastive Covariance Steering (CCS)を紹介する。
CCSは、他のクラスと共有される方向を抑えながら、目標概念が変化する方向を保持する対照的な分散目標を解くことによって、閉形式の低次元部分空間にベクトルのステアリングを投影する。
3つのLCMと4つのステアリングドメインにまたがって、CCSは12ドルのモデルドメイン設定ですべてのベースラインステアリングメソッドを一貫して上回っている。
AxBenchとEmotionでは、AxBenchとEmotionがそれぞれ48ドルから70ドル、13ドルから27ドルをそれぞれ上回ります。
さらに、CCSは、Deconfounding の概念の重要性を示すために、151 % の価格で、単純な差分ステアリングを上回ります。
トレーニングデータにトピックのニュアンスを植え込むことで、未計画のステアリングを46 %$に減らし、CCSはわずか12 %$を減らし、プランニングされた方向を明示的に削除するオラクルへのギャップを回復する。
296ドル(約2,300円)のラッカーが23ドル(約2,300円)の人間による研究は、LLM判事のランキングを再現している。
我々の広範囲にわたるアブレーションは、我々の方法の構成要素の重要性と、ニュアンスクラスの数に対する堅牢性を検証する。
最後に,提案手法をマルチターン会話に拡張し,CCSは概念表現と流速の両方を継続し,マッチングシステムは他のステアリング手法がドリフトするにつれて性能を促進させる。
関連論文リスト
- Where the Model Changes Its Mind: Hindsight-Divergence Localization for Efficient Reinforcement Learning with Verifiable Rewards [18.529450184444972]
検証可能な報酬を伴う強化学習のためのグループ相対的手法は、ロールアウト結果の違いから学習する。
本稿では,トークンログ類似度の変化を分岐点の選択に用いたHDL(Hindsight-Divergence Localization)を提案する。
数学、コード、エージェントタスクの3つのモデルによる実験では、ロールアウト効率とタスクパフォーマンスの両方が向上している。
論文 参考訳（メタデータ） (2026-09-29T07:05:29Z) - Spillover-Aware Multi-Value Steering for Pluralistic LLM Alignment [6.348878992944311]
ナイーブなステアリングは, かなりこぼこぼれを生じさせることを示す。
我々は、アクティベーションノームペナル化目標からゼロコスト補正を導出する。
エンドツーエンドのパイプラインでは微調整も報酬モデルも手動のプロンプトエンジニアリングも必要ありません。
論文 参考訳（メタデータ） (2026-09-05T01:28:00Z) - IDEEA: training-free Input-Dependent stEEring via Activation cluster matching [19.096726931082017]
IDEEAは入力依存型ステアリングのためのトレーニング不要のフレームワークである。
推論時に選択したアクティベーションにバイアスを注入することで、大きな言語モデルを整列させる。
TruthfulQAの真理$times$インフォメーションレートを、最高の入力非依存ベースラインよりも平均9.9%(最大23.5%)改善する。
論文 参考訳（メタデータ） (2026-09-02T04:28:39Z) - Statistically Grounded Sparse-Feature Interventions for Activation-Space Control in Large Language Models [2.464003792743989]
アクティベーションステアリングは、大規模言語モデルの振る舞い制御のための微調整の軽量な代替手段を提供する。
非重みのないボルダのコンセンサスを通じてスパースな特徴をランク付けする,透明なSAE機能ステアリングパイプラインを導入する。
3つのGemmaファミリーモデル、4つの振舞いドメイン、356の層長構成で、測定可能なドメイン固有のシフトを生成する。
論文 参考訳（メタデータ） (2026-06-05T19:27:31Z) - When Is Rank-1 Steering Cheap? Geometry, Granularity, and Budgeted Search [61.73232505100331]
アクティベーションステアリングは、再トレーニングせずにLSMを制御する軽量な方法を提供するが、その効果は概念によって大きく異なる。
我々は介入層と係数に対する予算制約付き最適化としてランク1ステアリングを定式化する。
操作困難の原因の診断にアクティベーション幾何を利用するグラニュラリティおよび表現認識概念工学フレームワークである textitGRACE を提案する。
論文 参考訳（メタデータ） (2026-05-09T14:26:49Z) - Beyond Steering Vector: Flow-based Activation Steering for Inference-Time Intervention [5.955857526317744]
アクティベーションステアリングは、推論時に言語モデルの振る舞いを制御するための有望な代替手段として登場した。
既存のステアリング法は、単純なインコンテクストのプロンプトによって、しばしば性能を上回り、目に見えない概念を一般化する。
本研究では,これらの仮定に頼らずに,非ステアリングをステアリングに伝達する,概念条件付速度場を学習するFLASを提案する。
論文 参考訳（メタデータ） (2026-05-07T09:03:16Z) - Prism-$Δ$: Differential Subspace Steering for Prompt Highlighting in Large Language Models [85.18197548789291]
PRISM-$ (Projection-based Relevance-Informed Steering Method) を提案する。
PRISM-$$は20種中19種で最も優れた方法であり、相対的な利得は+10.6%まで上昇し、ステアリングのコストは半減する。
PRISM-$はFlashAttentionと互換性があり、無視できるメモリオーバーヘッドを追加する。
論文 参考訳（メタデータ） (2026-03-11T12:24:45Z) - SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。
最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。
我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
論文 参考訳（メタデータ） (2025-04-07T02:42:07Z) - Provably Efficient Action-Manipulation Attack Against Continuous Reinforcement Learning [49.48615590763914]
我々は,モンテカルロ木探索法を用いて効率的な行動探索と操作を行うLCBTというブラックボックス攻撃アルゴリズムを提案する。
提案手法は, DDPG, PPO, TD3の3つの攻撃的アルゴリズムに対して, 連続的な設定で実行し, 攻撃性能が期待できることを示す。
論文 参考訳（メタデータ） (2024-11-20T08:20:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。