論文の概要: LocUS: Head Selection and Subspace Projection for Targeted Activation Steering

• arxiv url: http://arxiv.org/abs/2609.31122v1
• Date: Fri, 25 Sep 2026 11:13:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.359868
• Title: LocUS: Head Selection and Subspace Projection for Targeted Activation Steering
• Title（参考訳）: LocUS: ターゲット型アクティブステアリングのための頭部選択とサブスペース投影
• Abstract要約: LocUS (Localized Unembedding Steering) は、モデル自身の出力語彙部分空間にアクティベーションステアリングを基盤とする手法である。 LocUSは,6%未満のパラメータと保存能力の向上を図りながら,最先端のベースラインに適合あるいは優れることを示す。
• 参考スコア（独自算出の注目度）: 29.028428921189555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation steering is a powerful training-free paradigm for controlling large language models at inference time. However, standard approaches estimate a per-layer steering direction from contrastive data and apply it on the layer's entire representation space, which may couple the intervention to off-target properties present in the contrastive data and degrade unrelated capabilities. To mitigate this issue, we introduce LocUS (Localized Unembedding Steering), a method which grounds activation steering to the model's own output vocabulary subspace. By identifying a property-specific linear subspace within the unembedding matrix, LocUS enforces a geometric constraint that restricts the steering transformation to a specific subspace and at the same time localizes its application to a sparse subset of attention heads. Extensive evaluations across three model families on toxicity mitigation, sentiment redirection and sycophancy suppression show that LocUS matches or outperforms state-of-the-art baselines while intervening on under 6% of parameters and better preserving general capability.
• Abstract（参考訳）: アクティベーションステアリング(Activation steering)は、推論時に大きな言語モデルを制御するための強力なトレーニングフリーパラダイムである。 しかし、標準的なアプローチでは、コントラストデータから層間ステアリング方向を推定し、それを層全体の表現空間に適用することで、コントラストデータに存在するオフターゲット特性への介入と非関連性を低下させる可能性がある。 この問題を緩和するために、モデルの出力語彙部分空間にアクティベーションステアリングを基盤とするLocUS(Localized Unembedding Steering)を導入する。 アンエンベディング行列内の特性特異的線型部分空間を同定することにより、LocUSは特定の部分空間へのステアリング変換を制限する幾何学的制約を課し、同時にその応用を注目ヘッドのスパース部分集合にローカライズする。 毒性の緩和, 感情のリダイレクト, 梅毒抑制に関する3つのモデル群にわたる広範囲な評価の結果, LocUSは6%未満のパラメータと保存能力に介入しながら, 最先端のベースラインに適合または優れていた。

関連論文リスト

• S-squared-VLA: Decoupling Semantic and Spatial Streams in Vision-Language-Action Models for Autonomous Driving [8.813976817688605]
  VLM(Vision-Language Models)は、自律運転における高レベルの推論に顕著な可能性を示している。 VLMは、個別の言語トークンと連続的な軌道計画のミスマッチによって、正確で低レベルな制御アクションを生成するのに苦労する。 本稿では,視覚・言語・行動モデルにおける意味的・空間的ストリームを明示的に分離するS-squared-VLAを提案する。
  論文  参考訳（メタデータ） (2026-07-15T15:07:02Z)
• SpatialClaw: Rethinking Action Interface for Agentic Spatial Reasoning [99.49739831030388]
  このインタフェースの設計は,オープンエンド空間推論のためのエージェントのキャパシティをいかに形作るかを検討する。 本研究では,アクションインタフェースとしてコードを採用する空間推論のためのトレーニングフリーフレームワークであるSpatialClawを提案する。
  論文  参考訳（メタデータ） (2026-06-11T17:59:36Z)
• UniSteer: Text-Guided Flow Matching in Activation Space for Versatile LLM Steering [42.82337069202406]
  アクティベーションに基づく制御は、ペルソナやスタイルといった行動を制御する効果的なパラダイムとして登場した。 残差ストリームのアクティベーションに関する条件分布を学習するテキスト誘導型アクティベーションフローマッチングモデルUniSteerを提案する。 我々は,UniSteerが行動制御,真正性ステアリング,きめ細かい概念ステアリング,マルチ制約命令の追従,アクティベーション空間の分類にまたがる統一インターフェースを提供することを示した。
  論文  参考訳（メタデータ） (2026-05-28T15:23:29Z)
• Rethinking Multi-Condition DiTs: Eliminating Redundant Attention via Position-Alignment and Keyword-Scoping [61.459927600301654]
  マルチコンディション制御は従来のコンカデント・アンド・アットエンドの戦略によってボトルネックとなる。 分析の結果,これらの相互作用の多くは空間的にも意味的にも冗長であることがわかった。 本稿では,これらの冗長性を解消するための高効率なフレームワークであるPKAを提案する。
  論文  参考訳（メタデータ） (2026-02-06T16:39:10Z)
• Scaling Up Occupancy-centric Driving Scene Generation: Dataset and Method [54.461213497603154]
  作業中心の手法は、最近、フレームとモダリティをまたいだ一貫した条件付けを提供することで、最先端の結果を得た。 Nuplan-Occは、広く使われているNuplanベンチマークから構築された、これまでで最大の占有率データセットである。 高品質な占有、多視点ビデオ、LiDAR点雲を共同で合成する統合フレームワークを開発した。
  論文  参考訳（メタデータ） (2025-10-27T03:52:45Z)
• PIXEL: Adaptive Steering Via Position-wise Injection with eXact Estimated Levels under Subspace Calibration [17.225716209866086]
  ウェブ上での大規模言語モデル(LLM)のための位置対応型アクティベーションステアリングフレームワークを提案する。 PIXELは2つのビューからプロパティ整列部分空間を学習し、制約された幾何学的目的を通して介入強度を選択する。 PIXELは、モデル一般機能を維持しながら、属性アライメントを一貫して改善する。
  論文  参考訳（メタデータ） (2025-10-11T13:13:34Z)
• Decision Mamba: A Multi-Grained State Space Model with Self-Evolution Regularization for Offline RL [57.202733701029594]
  本稿では,自己進化型政策学習戦略を持つ新しい多粒状態空間モデル(SSM)であるDecision Mambaを提案する。 これらの課題に対処するため、我々は自己進化型政策学習戦略を持つ新しい多粒状態空間モデル(SSM)であるDecision Mambaを提案する。 雑音性軌道上における過度に適合する問題を緩和するために,進行正則化を用いて自己進化政策を提案する。
  論文  参考訳（メタデータ） (2024-06-08T10:12:00Z)
• Linearly Controlled Language Generation with Performative Guarantees [4.447467536572626]
  我々は、LMの潜在空間で線形に表現される概念意味論の共通モデルを用いる。 自然言語生成はこの連続的な意味空間における軌跡を辿ると考える。 本研究では,望ましくない意味に対応する領域から動的に軌道を逸脱する,軽量で勾配のない介入を提案する。
  論文  参考訳（メタデータ） (2024-05-24T11:30:44Z)
• Representation Surgery: Theory and Practice of Affine Steering [72.61363182652853]
  言語モデルは、しばしば好ましくない振る舞いを示す。 モデルが望ましくない振る舞いを示すのを防ぐための自然な(そして一般的な)アプローチの1つは、モデルの表現を操ることである。 本稿では, ステアリング機能の形式的および経験的特性について検討する。
  論文  参考訳（メタデータ） (2024-02-15T00:20:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。