論文の概要: TopoSteer: Topological Layer Selection for Activation Steering in LLMs
- arxiv url: http://arxiv.org/abs/2611.01493v1
- Date: Sun, 01 Nov 2026 03:24:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.478777
- Title: TopoSteer: Topological Layer Selection for Activation Steering in LLMs
- Title(参考訳): TopoSteer: LLMにおける活性化ステアリングのためのトポロジカル層選択
- Abstract要約: アクティベーションステアリングは、内部表現にベクトルを追加することで、推論時に大きな言語モデルを制御する。
事前セレクタは、テストするモデルを操縦することなく、レイヤを選択する。
TopoSteerは、差別性と分離性に基づく層選択の原則的な代替手段を提供する。
- 参考スコア(独自算出の注目度): 18.84555530156809
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Activation steering controls large language models at inference time by adding a vector to their internal representations. Most work asks how to build that vector, and far less attention has gone to where to add it, even though steering at a poorly chosen layer can be worse than not steering at all. Prior selectors choose a layer without ever steering the model to test it: they score how separable the target behavior is at that layer, and how consistently the individual examples point along the steering direction. We argue that what matters is not the separability of the two activation clouds, nor the alignment of individual displacements with their mean, but the extent of the cloud of per-example displacements that mean-difference steering averages. We propose a topology-based layer selection method, called TopoSteer, which scores a layer by the total H_0 persistence of its displacement cloud, computed as the length of the cloud's Euclidean minimum spanning tree. We show that the score focuses on the displacement cloud's relative geometry, while class separation affects it only through standardization. We also provide a theoretical explanation for our method by proving that, as example-level variation increases, TopoSteer and discriminability move in opposite directions, so the two criteria can rank layers in opposite ways. Across multiple language models and steering tasks, TopoSteer provides a principled alternative to discriminability- and separability-based layer selection and yields more effective steering without requiring held-out validation.
- Abstract(参考訳): アクティベーションステアリングは、内部表現にベクトルを追加することで、推論時に大きな言語モデルを制御する。
ほとんどの作業では,ベクタの作り方や追加方法に注意が払われていますが,選択の不十分なレイヤでのステアリングは,ステアリングをまったく行わないよりも悪いものになり得るのです。
事前セレクタは、モデルをステアリングせずに層を選択します。彼らは、その層でターゲットの振る舞いがどの程度分離可能か、そして、個々の例がいかにステアリング方向に沿って指しているのかをスコアします。
2つの活性化雲の分離性や個々の変位と平均とのアライメントは重要ではなく、平均差ステアリング平均のサンプルごとの変位の雲の範囲であると主張している。
TopoSteerと呼ばれるトポロジベースの層選択手法を提案し、雲のユークリッド最小幅木の長さとして計算された変位雲のH_0持続性によって層をスコアする。
このスコアは変位雲の相対幾何学に焦点をあて、クラス分離は標準化によってのみ影響することを示す。
また, 実例レベルの変動が増加するにつれて, TopoSteer と差別性は反対方向に移動し, 2つの基準が反対方向に階層をランク付けできることを示した。
複数の言語モデルとステアリングタスクにまたがって、TopoSteerは差別性と分離性に基づく層選択の原則的な代替手段を提供する。
関連論文リスト
- Contrastive Covariance Subspaces for Activation Steering [67.62626452204076]
共分散ステアリング(Contrastive Covariance Steering, CCS)は, 共分散を除去する訓練不要な手法である。
CCSは12ドルモデルドメイン設定ですべてのベースラインステアリングメソッドを一貫して上回っている。
提案手法は,CCSが概念表現と流速の両方を維持できるマルチターン会話に拡張する。
論文 参考訳(メタデータ) (2026-09-29T20:20:07Z) - Read-Best Is Not Steer-Best: A Probing--Steering Layer Dissociation in Omni-Modal Large Language Models [75.34700827901757]
一般的にテストされるが、最も高い確率の層がステアリングに最適な層である、という仮定は稀である。
独立に開発された3つのOmni-modalモデルにまたがって、この仮定を初めて因果検定する。
感情を制御されたテストベッドとして使用し、テキスト、音声、画像入力の階層的可読性と操縦性を測定する。
論文 参考訳(メタデータ) (2026-08-24T11:38:22Z) - Deployable Per-Instance Multi-Layer Activation Steering for Large Language Models [0.17188280334580194]
アクティベーションステアリングは凍結した言語モデルの振る舞いを編集する。
インスタンスごとの多層選択をよく理解し、デプロイ可能にします。
論文 参考訳(メタデータ) (2026-08-09T17:23:00Z) - Where to Steer: Input-Dependent Layer Selection for Steering Improves LLM Alignment [17.001194019333052]
望ましいモデル動作の整合性を達成するためには、異なる入力を異なるレイヤで操る必要があることを示す。
入力埋め込みから最適なステアリング層へのマッピングを学習することで、入力に条件付けられた介入層を適応的に選択するフレームワークであるWhere to Steerを紹介する。
論文 参考訳(メタデータ) (2026-04-04T21:16:47Z) - Selective Steering: Norm-Preserving Control Through Discriminative Layer Selection [1.7802147489386628]
大規模言語モデル(LLM)は、有害な行動を引き起こす敵攻撃に対して脆弱なままである。
我々は2つの重要な革新を通じてこれらの制限に対処する選択ステアリングを提案する。
9つのモデルに対する実験により、選択ステアリングは以前の手法よりも5.5倍の攻撃成功率を達成することが示された。
論文 参考訳(メタデータ) (2026-01-27T08:56:25Z) - Understanding (Un)Reliability of Steering Vectors in Language Models [21.33093425619501]
本稿では,アクティベーションの違いが操舵信頼性に及ぼす影響について検討する。
実験で使用した7つのプロンプト型はすべて、正の操舵効果を生じるが、試料間で高いばらつきを示し、しばしば所望のものと逆の効果を与える。
論文 参考訳(メタデータ) (2025-05-28T17:53:31Z) - Activation Scaling for Steering and Interpreting Language Models [55.59689963561315]
モデルにうまく介入することは、内部の動作を解釈するための前提条件である、と我々は主張する。
成功した介入は、間違ったトークンで正しいことを正し、その逆を正すべきである。
勾配に基づく最適化を用いることで、特定の種類の効率的かつ解釈可能な介入を学習(そして後で評価)することができる。
論文 参考訳(メタデータ) (2024-10-07T12:01:32Z) - Data Augmentation-free Unsupervised Learning for 3D Point Cloud
Understanding [61.30276576646909]
ソフトクラスタリング(SoftClu)と呼ばれる,移動可能な点レベルの特徴を学習するための,ポイントクラウドに対する拡張不要な教師なしアプローチを提案する。
我々は,クラスタに対するポイントのアフィリエイトをプロキシとして利用し,擬似ラベル予測タスクを通じて自己学習を可能にする。
論文 参考訳(メタデータ) (2022-10-06T10:18:16Z) - Self-Supervised Arbitrary-Scale Point Clouds Upsampling via Implicit
Neural Representation [79.60988242843437]
そこで本研究では,自己監督型および倍率フレキシブルな点雲を同時にアップサンプリングする手法を提案する。
実験結果から, 自己教師あり学習に基づく手法は, 教師あり学習に基づく手法よりも, 競争力や性能が向上することが示された。
論文 参考訳(メタデータ) (2022-04-18T07:18:25Z) - Orthogonal Jacobian Regularization for Unsupervised Disentanglement in
Image Generation [64.92152574895111]
直交ジャコビアン正規化法(OroJaR)を提案する。
提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
論文 参考訳(メタデータ) (2021-08-17T15:01:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。