論文の概要: Steering by Influence: Curvature Aware Data Weighting for Activation Steering

• arxiv url: http://arxiv.org/abs/2610.06383v1
• Date: Mon, 05 Oct 2026 14:11:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 08:46:51.491793
• Title: Steering by Influence: Curvature Aware Data Weighting for Activation Steering
• Title（参考訳）: 影響によるステアリング:アクティベーションステアリングのための曲率を考慮したデータ重み付け
• Abstract要約: 推論時ステアリングは、アクティベーション空間における概念の表現を推定し、アクティベーションをアクティベーションへシフトさせる。 本稿では,概念テキストに対する非概念テキストのアクティベーションを最適に制御する,影響重み付きアクティベーショントランスポートを提案する。 我々は、毒性抑制(Jigsaw)、オブジェクトベース概念誘導(OneSec)、真理性誘導(TruthfulQA)について評価する。
• 参考スコア（独自算出の注目度）: 7.519814913048971
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inference-time steering offers cheap, fine-grained control over a language model's outputs by estimating a concept's representation in activation space and shifting activations towards it. Existing methods build these representations from activation averages over contrastive datasets. These averages incorporate unrelated concepts and noise, and are dominated by a few tokens, meaning the activation transport encodes token-level rather than thematic concepts. In this work, we steer towards examples that most express a concept thematically, rather than towards an expectation over all. We identify these examples using influence functions, which estimate how much each data point contributes to a model's representation of a concept. Unlike simple model activation similarity, they incorporate the curvature of the model's loss landscape, allowing them to capture concept-relevant relationships beyond superficial token-level similarity. We then propose influence-weighted activation transport, which uses optimal transport to steer activations of non-concept text towards those of concept text, weighting concept examples by their influence scores. We evaluate on toxicity suppression (Jigsaw), object-based concept induction (OneSec) and truthfulness induction (TruthfulQA), outperforming existing activation-transport baselines. We track capability after steering using perplexity and MMLU accuracy, finding that our method improves steering while largely preserving model quality. We further show that influence functions capture concept-relevant information that activation-based methods miss with the two approaches ranking data points significantly differently. Together, these results demonstrate the value of curvature-aware influence information for activation steering.
• Abstract（参考訳）: 推論時ステアリングは、アクティベーション空間における概念の表現を推定し、アクティベーションをそれに向けてシフトすることにより、言語モデルの出力を安価できめ細かな制御を提供する。 既存の方法では、アクティベーション平均からコントラストデータセット上にこれらの表現を構築する。 これらの平均値には無関係な概念やノイズが含まれており、いくつかのトークンによって支配されている。 本研究では,概念をテーマ的に表現する例を,すべてに対する期待よりもむしろ重視する。 これらの例を影響関数を用いて同定し、各データポイントが概念のモデル表現にどの程度貢献するかを推定する。 単純なモデルアクティベーション類似性とは異なり、それらはモデルの損失ランドスケープの曲率を取り入れ、表面トークンレベルの類似性を超えた概念関連関係をキャプチャすることができる。 次に, 概念テキストに対して, 非概念テキストのステアアクティベーションを最適に行うための影響重み付きアクティベーショントランスポートを提案し, 影響スコアによる概念例の重み付けを行う。 既存のアクティベーション-トランスポートベースラインよりも優れた毒性抑制(Jigsaw)、オブジェクトベース概念誘導(OneSec)、真性誘導(TruthfulQA)を評価した。 パープレキシティとMMLUの精度を用いてステアリング後の性能を追尾し,モデル品質を保ちながらステアリングを改善した。 さらに、アクティベーションに基づく手法では、データポイントのランク付けが著しく異なる2つの方法に欠ける概念関連情報を、インフルエンス関数がキャプチャすることを示す。 これらの結果は,アクティベーションステアリングにおける曲率を考慮した影響情報の価値を示すものである。

関連論文リスト

• Signatures of Steerability in Activation Space of Language Models [3.7155332656584186]
  単純な分離メトリクスは、様々な設定で言語モデルの下流のステアビリティと強く相関していることを示す。 以上の結果から, 単純な分離性統計は, ステアリングベクトルが動作しそうな場合の診断に有効であることが示唆された。
  論文  参考訳（メタデータ） (2026-09-12T21:06:55Z)
• A Geometric Account of Activation Steering through Angle-Norm Decomposition [1.4323566945483497]
  線形アクティベーションステアリングは、言語モデルの振る舞いをシンプルかつ経験的に制御する方法として人気を集めている。 ステアリング法は,トークンの角方向のアライメントを概念方向に変更し,隠れ状態のノルムを変更するという2つの幾何学的効果の相違を示す。 以上の結果から,アクティベーションステアリングは角状成分と放射状成分によってパラメータ化されるべきであることが示唆された。
  論文  参考訳（メタデータ） (2026-06-04T21:42:48Z)
• Weight Updates as Activation Shifts: A Principled Framework for Steering [54.70188910511715]
  アクティベーションステアリングは極めてパラメータ効率のよい適応形態となるが、その有効性は重要な設計選択に依存する。 我々は,活性化空間介入と重量空間更新の1次等価性を確立し,活性化ステアリングが微調整動作を再現できる条件を導出する。 この等価性は、設計をステアリングするための原則的な枠組みをもたらし、ポストブロック出力を理論的に支持され、非常に表現力のある介入サイトとして特定する。
  論文  参考訳（メタデータ） (2026-02-28T02:50:04Z)
• Concept Influence: Leveraging Interpretability to Improve Performance and Efficiency in Training Data Attribution [11.387100835483672]
  トレーニングデータ属性(TDA)メソッドは、トレーニングデータが特定の行動、特に意図しない行動を実行する方法を特定する。 影響関数のような既存のアプローチは、計算的に高価であり、単一のテスト例に基づく属性である。 帰属中にモデル内の解釈可能な構造を利用する。 従来のTDAパイプラインに解釈可能な構造を組み込むことで,データによるモデル動作のよりスケーラブルで説明可能な,より優れた制御が可能になることを示す。
  論文  参考訳（メタデータ） (2026-02-16T16:02:09Z)
• Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics [81.80010043113445]
  局所的な微調整、LoRAに基づく適応、およびアクティベーションに基づく介入を分離して研究する。 制御信号によって誘導される動的ウェイト更新として、これらの介入をフレーム化する統一的な視点を示す。 提案手法では,選択と効用との間に一貫したトレードオフが観測される。
  論文  参考訳（メタデータ） (2026-02-02T17:04:36Z)
• Loss Bounds for Approximate Influence-Based Abstraction [81.13024471616417]
  影響に基づく抽象化は、システムの残りの部分が与える「影響」とともに、局所的なサブプロブレムをモデル化することでレバレッジを得ることを目的としている。 本稿では,理論的観点から,そのような手法の性能について考察する。 交叉エントロピーで訓練されたニューラルネットワークは、近似的な影響表現を学習するのに適していることを示す。
  論文  参考訳（メタデータ） (2020-11-03T15:33:10Z)
• Understanding Adversarial Examples from the Mutual Influence of Images and Perturbations [83.60161052867534]
  クリーンな画像と敵の摂動を遠ざけることで敵の例を分析し,その相互への影響を分析した。 以上の結果から,画像と普遍摂動の関係に対する新たな視点が示唆された。 我々は、オリジナルトレーニングデータを活用することなく、目標とするユニバーサルアタックの挑戦的なタスクを最初に達成した人物です。
  論文  参考訳（メタデータ） (2020-07-13T05:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。