論文の概要: Orthogonal and Parametrized Multi-Attribute Steering of LLMs

• arxiv url: http://arxiv.org/abs/2610.37517v1
• Date: Tue, 27 Oct 2026 16:39:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.691544
• Title: Orthogonal and Parametrized Multi-Attribute Steering of LLMs
• Title（参考訳）: LLMの直交・パラメトリゼーション多属性ステアリング
• Abstract要約: アクティベーションステアリング(Activation steering)は、LLMの振る舞いを推論時に効率的に修正する方法を提供する。 信号が一貫して強く、操舵強度が普遍的に解釈可能な意味を持つように操舵をどのように適用するかは、いまだ不明である。 本稿では,より解釈可能なステアリング法を提案する。パラメータ化ステアリングは,方向にアクティベーションをプッシュするのではなく,所望の特性強度に設定する。
• 参考スコア（独自算出の注目度）: 6.18016798785582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation steering offers an effective and efficient way to modify an LLM's behavior at inference time. However, it remains unclear how to apply steering such that the signal is consistently strong and the steering strength has a universally interpretable meaning. We address this first by identifying the most steerable interval for each steering vector and rescaling the steering range accordingly. Building on this, we introduce a more interpretable method for steering, called parameterized steering which instead of pushing activations in a direction, it sets them at the desired trait strength. Next, with multi-trait steering, we find that naively combining vectors causes them to interfere with one another. In response, we develop a method to orthogonalize the vectors; it decouples these traits, allowing a model to exhibit one behavior without inducing the others, thus enabling multiple traits to be steered simultaneously.
• Abstract（参考訳）: アクティベーションステアリング(Activation steering)は、LLMの振る舞いを推論時に変更するための効率的かつ効率的な方法を提供する。 しかし、信号が一貫して強く、操舵強度が普遍的に解釈可能な意味を持つように操舵をどのように適用するかは定かではない。 まず、各ステアリングベクトルに対して最もステアリング可能な間隔を特定し、それに応じてステアリング範囲を再スケーリングすることで、この問題に対処する。 これに基づいて,パラメータ化ステアリングと呼ばれる,より解釈可能なステアリング法を導入する。これは,方向のアクティベーションをプッシュするのではなく,所望の特性強度に設定する。 次に、マルチトレートステアリングにより、ネーティブ結合ベクトルが互いに干渉する原因となることが分かる。 そこで本研究では,ベクトルを直交化する手法を開発し,これらの特徴を分解し,モデルが他の特徴を誘導することなく一つの振る舞いを表現できるようにし,複数の特徴を同時に操ることを可能にする。

関連論文リスト

• First-Order Steering: Translating Weight Adaptation into Activation Steering [39.23375433079565]
  アクティベーションステアリングは残ストリームの解釈可能な方向を利用して、モデル動作の推論時間操作を可能にする。 操舵強度ベクトルによりパラメータ化された重み更新行列の1次近似として,アクティベーションステアリングの定式化である1次ステアリングを導入する。 そこで我々は, 1次近似誤差項を最小限に抑え, 1次ステアリング精度を高める新しいモデルマージ手法HeRD-Mergingを開発した。
  論文  参考訳（メタデータ） (2026-10-03T04:22:36Z)
• On the Steering Dimensionality of Refusal in Language Models [27.06314265608798]
  本研究では,2種類の拒絶動作を確実に制御できる方向数について検討する。 安全アライメントによって引き起こされる拒絶は1次元ステアリング可能であるのに対し、複数の異なるステアリング方向は同等に制御できることがわかった。 以上の結果から,リファリングに基づく活性化幾何学は文脈依存的であり,単一の線形ステアリング方向よりもかなり複雑であることが明らかとなった。
  論文  参考訳（メタデータ） (2026-10-03T03:08:30Z)
• Disentangling Steering Vectors [13.671243729016568]
  合成方向から個人的・意味論的に一貫した特徴を明示的に分離する枠組みを提案する。 具体的には、正と負のアクティベーションをペアにして、それらの差を利用してインスタンスレベルのステアリングベクトルの集合を生成する。 提案手法は, ステアリング効果が相互に区別可能な, 意味論的に一貫した基底ベクトルの集合を導出することを示す。
  論文  参考訳（メタデータ） (2026-09-07T04:45:32Z)
• Where Steering Signals Come From: Activation Source Selection in Activation Steering [71.96112659293725]
  有効なステアリングは、ソーステキストに望ましい振る舞いが現れるかどうかだけでは説明できない。 強いシグナルは、モデルがターゲットの振る舞いを生成または継続しようとしている実行境界状態から来る。 この観点から、我々は、境界状態から共有のプロンプトと継続のセマンティクスを取り除くテールサブトラクションを導入する。
  論文  参考訳（メタデータ） (2026-07-28T04:18:24Z)
• When is Your LLM Steerable? [56.656180566692946]
  アクティベーションステアリングは、推論時に言語モデルの振る舞いを制御するための軽量なアプローチを提供する。 ステアリングを成功させる体制と境界を見つけるには、通常、高価なグリッドサーチが必要である。 生成プロセスの開始時にモデルの内部状態からステアビリティを予測できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-06-10T02:55:34Z)
• What Drives Representation Steering? A Mechanistic Case Study on Steering Refusal [53.189667624047416]
  異なるステアリング手法が同一層に印加した場合に機能的に交換可能な回路を利用することを示す。 その結果,操舵ベクトルは最大90～99%のスペーサー化が可能であり,ほとんどの性能は維持できることがわかった。
  論文  参考訳（メタデータ） (2026-04-09T17:57:14Z)
• Understanding Unreliability of Steering Vectors in Language Models: Geometric Predictors and the Limits of Linear Approximations [0.0]
  ステアリング信頼性が行動によって異なる理由と,ベクタートレーニングデータによる影響について検討する。 トレーニングアクティベーションの違いのコサイン類似度が高いと、より信頼性の高いステアリングが予測される。 操舵方向に沿って正負のアクティベーションがより分離された行動データセットは、より確実に操舵可能であることを観察する。
  論文  参考訳（メタデータ） (2026-02-19T22:37:05Z)
• ODESteer: A Unified ODE-Based Steering Framework for LLM Alignment [49.68063561145927]
  活性化ステアリングのための統一常微分方程式(ODE)に基づく理論的枠組みを提案する。 本稿では,バリア関数によって誘導されるODEベースのステアリングの一種であるODESteerを紹介する。 最先端のアクティベーションステアリング手法と比較すると、ODESteerは一貫した経験的改善を実現している。
  論文  参考訳（メタデータ） (2026-02-19T17:13:44Z)
• Learning to Steer: Input-dependent Steering for Multimodal LLMs [54.41165851011022]
  本稿では,入力固有線形シフトを用いたきめ細かいステアリングについて検討する。 我々は、入力固有のステアリングベクトルを予測するために、小さな補助モジュールを訓練する。 我々のアプローチはL2S(Learn-to-Steer)と呼ばれ、幻覚を減らし、MLLMの安全性を向上し、他の静的ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-18T10:53:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。