論文の概要: Compositional Activation Steering Across Languages and Behaviors with Contextual Gates
- arxiv url: http://arxiv.org/abs/2610.24906v1
- Date: Sat, 17 Oct 2026 23:06:24 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:18:46.082207
- Title: Compositional Activation Steering Across Languages and Behaviors with Contextual Gates
- Title（参考訳）: 構成的アクティベーションステアリングと文脈ゲートを用いた動作
- Abstract要約: アクティベーションステアリング(Activation steering)は、言語モデルの振る舞いに影響を与える効果的で正確な方法として登場した。
本研究では,固定された操舵方向の強度を現在の隠れ状態に適応させるコンテキストステアリングを提案する。
提案手法は,一定強度のステアリングと,プロンプトを含む4つの強いベースラインより優れる。
また、一般的な知識を保存し、モデルの内部計算を誘導されたモデルに近いものに保ちます。
- 参考スコア（独自算出の注目度）: 22.438018582204695
- License:
- Abstract: Activation steering has emerged as an effective and precise way to influence the behaviours of language models. However, composing multiple steering directions to control several behaviours simultaneously remains challenging, particularly in multilingual settings and with training-free steering vectors. We address this challenge with contextual steering, jointly training gates that adapt the strength of fixed steering directions to the current hidden state and interactions between interventions. Across a broad range of languages, behavioural attributes, and models, our approach outperforms constant-strength steering and four strong baselines, including prompting. It also better preserves general knowledge and keeps the model's internal computation closer to that of the prompted model. Our analysis further shows how jointly trained gates adapt their contributions during composition, explaining the mechanisms underlying effective compositional steering.
- Abstract（参考訳）: アクティベーションステアリング(Activation steering)は、言語モデルの振る舞いに影響を与える効果的で正確な方法として登場した。
しかし、複数の動作を同時に制御するための複数のステアリング方向を構成することは、特に多言語設定やトレーニング不要なステアリングベクトルでは、依然として困難である。
この課題に対処するために、固定ステアリング方向の強度を現在の隠れ状態に適応させ、介入間の相互作用を協調的に訓練する、コンテキストステアリング(contextual steering)を用いて対処する。
幅広い言語、行動特性、モデルにおいて、我々のアプローチは一定強度のステアリングとプロンプトを含む4つの強いベースラインよりも優れています。
また、一般的な知識を保存し、モデルの内部計算を誘導されたモデルに近いものに保ちます。
さらに,共同で訓練したゲートが構成中にどのように貢献するかを解析し,有効構成ステアリングの基礎となるメカニズムを説明する。
関連論文リスト
- One Token Can Be Enough: Bridging Prompting and Activation Steering with Prefix Steering [15.709542566113136]
簡単な初期介入により, ステアリングがその後の世代を導くことができるか検討した。
短期間の介入 単一のトークンでさえ フルステアリングの 行動制御を維持できる
発見は、生成されたトークンをすべてステアリングする一般的なプラクティスに挑戦する。
論文 参考訳（メタデータ） (2026-10-04T05:27:55Z) - Language Model Activations Inhabit Privileged Error-Correcting Basins [49.28577009680152]
言語モデルは、リニアステアリングのような介入によってアクティベーションが乱される場合でも、コヒーレントテキストを生成する。
低次元曲線上でのモデル層の作用を観察することにより,言語モデル活性化空間の幾何学について検討する。
本研究は,アクティベーション空間の幾何学的解析を言語モデルの解釈と制御のための有望なアプローチとして確立した。
論文 参考訳（メタデータ） (2026-10-03T00:47:10Z) - Language-Structured Relational Q-Learning for Threat-Aware Control in Safety-Critical Driving [4.08850098917292]
ERQ-Netは動的トラフィックグラフから車間関係と動作を学習する。
2,500の安全クリティカルなシナリオでは、言語中心のトレーニングは、テストの成功を49-52%から55-58%に改善する。
我々は、この不一致をリレーショナルコントロールギャップとして定式化し、報酬の再重み付けとマージン形成が結果として生じる政策崩壊を排除しないことを示す。
論文 参考訳（メタデータ） (2026-08-11T23:24:01Z) - Steer Like the LLM: Activation Steering that Mimics Prompting [0.0]
大規模な言語モデルは、プロンプトやアクティベーションの介入を通じて、推論時に操縦することができる。
アクティベーションステアリング法は、しばしばプロンプトベースのアプローチに比べて性能が劣る。
本稿では,アクティベーションステアリングの一形態として,迅速なステアリングを定式化するフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-05T15:59:42Z) - Contextual Linear Activation Steering of Language Models [14.044056042247037]
線形アクティベーションステアリングは、大規模言語モデルの能力を引き出すための強力なアプローチである。
既存の方法は全てのトークンに固定的なステアリング強度を適用し、様々な入力プロンプトに一貫性のないステアリング品質をもたらす。
文脈依存型ステアリング強度に線形活性化ステアリングを動的に適用するCLAS(Contextual Linear Activation Steering)を提案する。
論文 参考訳（メタデータ） (2026-04-27T16:54:16Z) - Language-Grounded Decoupled Action Representation for Robotic Manipulation [78.42228162226839]
認識と制御を結びつけるために,Language-Grounded Decoupled Action Representation (LaDA) フレームワークを提案する。
LaDAは3つの解釈可能なアクションプリミティブ(翻訳、回転、グリップ制御)の微細な中間層を導入し、低レベルのアクションに対して明示的な意味構造を提供する。
さらに、セマンティックガイダンスによるソフトラベルのコントラスト学習の目的を用いて、類似のアクションプリミティブをタスク間で整列させ、一般化と動きの整合性を高める。
論文 参考訳（メタデータ） (2026-03-13T13:08:26Z) - SAME: Learning Generic Language-Guided Visual Navigation with State-Adaptive Mixture of Experts [54.11162991206203]
本稿では,多様なナビゲーションタスクを統一的で汎用的なフレームワークに統合する。
本稿では,エージェントによる意思決定の推論を効果的に行うことのできる,新しい状態適応型エキスパート混合モデルを提案する。
論文 参考訳（メタデータ） (2024-12-07T06:12:53Z) - Improving Instruction-Following in Language Models through Activation Steering [58.876600545898675]
命令固有ベクトル表現を言語モデルから導出し,それに従ってモデルをステアリングする。
提案手法は,出力形式や長さ,単語の包摂といった制約に対するモデル適合性をいかに向上させるかを示す。
本研究は,アクティベーションステアリングが言語生成におけるきめ細かい制御に実用的でスケーラブルなアプローチを提供することを示す。
論文 参考訳（メタデータ） (2024-10-15T08:38:20Z) - Grounding Description-Driven Dialogue State Trackers with
Knowledge-Seeking Turns [54.56871462068126]
人または合成スキーマのパラフレーズによるトレーニングセットの強化は、これらのバリエーションに対するモデルの堅牢性を改善するが、コストがかかるか、制御が難しいかのいずれかである。
本稿では,対話コーパスとスキーマから収集した知識探索ターンの状態追跡モデルに基づいて,これらの問題を回避することを提案する。
論文 参考訳（メタデータ） (2023-09-23T18:33:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。