論文の概要: STR: Supervised Transcoder Replacement for Reducing Steering Side Effects

• arxiv url: http://arxiv.org/abs/2609.32519v1
• Date: Sat, 26 Sep 2026 12:03:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 07:51:49.746527
• Title: STR: Supervised Transcoder Replacement for Reducing Steering Side Effects
• Title（参考訳）: STR: ステアリングサイド効果低減のためのトランスコーダ更新
• Abstract要約: Supervised Transcoder Replacement (STR)は、ステアリング層における多層パーセプトロン(MLP)計算の置き換えを学習する。 GemmaモデルとLlamaモデルにおける3つのステアリング手法について,信頼性選好と有害な4つの安全データセットを用いて評価した。
• 参考スコア（独自算出の注目度）: 9.509326860665476
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model steering can strengthen a target behavior while degrading other useful behaviors. We introduce Supervised Transcoder Replacement (STR) to reduce these side effects for existing steering methods, including those fitted without a protection objective. STR learns a replacement for the multilayer perceptron (MLP) computation at the steering layer through supervision for target control, non-target preservation, and fidelity without steering. Selected steering methods then fit directions on the frozen replacement while retaining their own fitting objectives. We evaluate three steering methods across Gemma and Llama models using Corrigibility preferences and four harmful-request safety datasets. SALAD-Bench supplies protection training data and a separate in-distribution evaluation split; HarmBench, AdvBench, and StrongREJECT are reserved for out-of-distribution testing. STR substantially reduces steering side effects on the in-distribution evaluation and extends this protection to the unseen safety datasets while retaining effective target control. For target-only supervised steering vectors, pooled out-of-distribution attack success rate falls from 42.46% to 14.42% on Gemma-3-4B and from 34.97% to 12.91% on Gemma-3-12B. These results show that replacement training can benefit steering methods fitted without protection objectives.
• Abstract（参考訳）: モデルステアリングは、他の有用な振る舞いを劣化させながら、ターゲットの振る舞いを強化することができる。 既存のステアリング法において,保護目的を満たさないものを含む副作用を低減するために, Supervised Transcoder Replacement (STR) を導入する。 STRは、ターゲット制御、非ターゲット保存、およびステアリングなしでの忠実さの監督を通じて、ステアリング層における多層パーセプトロン(MLP)計算の置き換えを学習する。 選択されたステアリング法は、自身の適合目標を維持しながら、凍結した代替品に方向を合わせる。 GemmaモデルとLlamaモデルにおける3つのステアリング手法について,信頼性選好と有害な4つの安全データセットを用いて評価した。 SALAD-Benchは保護訓練データと個別の分配評価データを供給し、HarmBench、AdvBench、StrongREJECTは配布外試験用に予約されている。 STRは、非分配評価に対する操舵側効果を著しく低減し、この保護を効果的な目標制御を維持しながら、見えない安全データセットに拡張する。 目標限定のステアリングベクトルでは、プールアウト・オブ・ディストリビューション攻撃の成功率は、Gemma-3-4Bでは42.46%から14.42%、Gemma-3-12Bでは34.97%から12.91%となる。 これらの結果から, 置換訓練は保護目的を伴わないステアリング法に有用であることが示唆された。

関連論文リスト

• On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
  強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。 そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。 SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
  論文  参考訳（メタデータ） (2026-08-25T14:55:24Z)
• Safety Cost of Steering Vectors Is Separable and Reducible [15.133262969401004]
  ステアリングベクターは、意図せずにモデルの安全メカニズムを妥協し、有害な要求に対するコンプライアンスを高めることができる。 この安全劣化は, モデルの安全機構を乱すベクトルの分離可能な成分から生じるが, 操舵目標にはほとんど寄与しないことを示す。 本手法は, 操舵時の安全劣化を著しく低減し, 元の操舵効果を抑えながら, 誤操作を最小限に抑える。
  論文  参考訳（メタデータ） (2026-08-09T00:29:54Z)
• Adversarial Robustness of Activation Steering in Large Language Models [10.710084443802897]
  アクティベーションステアリング(Activation steering)は、予測時にモデルの残留ストリームに事前計算された方向ベクトルを注入することにより、LCMの動作を制御する訓練不要な方法である。 本稿では,入力に対する逆文摂動下でのアクティベーション・ステアリング・ロバスト性の最初の体系的評価について述べる。
  論文  参考訳（メタデータ） (2026-06-05T07:40:34Z)
• Do Models Share Safety Representations? Cross-Model Steering for Safe Visual Generation [52.122731171289665]
  クロスモデル安全ステアリングのための最初のフレームワークを紹介する。 私たちのパイプラインは、ターゲット側の安全でないデータにアクセスしません。 多様なソース・ターゲット・モデル・ペア間のテキスト・ツー・イメージとテキスト・ツー・ビデオ生成におけるアプローチを評価する。
  論文  参考訳（メタデータ） (2026-06-03T18:00:04Z)
• On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
  既存の安全アライメント信号は、主に応答レベルまたは政治外である。 FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。 FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
  論文  参考訳（メタデータ） (2026-05-12T09:56:28Z)
• CMP: Robust Whole-Body Tracking for Loco-Manipulation via Competence Manifold Projection [64.65196237023754]
  Manifold Competence Projectionは、アウト・オブ・ディストリビューションの摂動に対する堅牢性を改善する。 我々は、無限水平安全制約を計算効率の良い単段多様体包含に変換するフレーム-ワイズ安全スキームを用いる。 実験により、CMPは典型的なOODシナリオで最大10倍の生存率向上を達成することが示された。
  論文  参考訳（メタデータ） (2026-04-08T18:00:39Z)
• When Safety Geometry Collapses: Fine-Tuning Vulnerabilities in Agentic Guard Models [0.9772267314090434]
  完全な良性データに微調整されたガードモデルは、すべての安全アライメントを失う可能性がある。 本研究は, 潜伏した安全形状の破壊に起因していることを示す。 漁業用安全部分空間規則化を提案する。
  論文  参考訳（メタデータ） (2026-04-08T05:27:33Z)
• Meta-Adaptive Beam Search Planning for Transformer-Based Reinforcement Learning Control of UAVs with Overhead Manipulators under Flight Disturbances [8.618483849755604]
  オーバーヘッドマニピュレータを備えたドローンは、検査、メンテナンス、コンタクトベースのインタラクションにユニークな機能を提供する。 ドローンとそのマニピュレータの動作は強く結びついており、風や制御の欠陥による小さな姿勢の変化でさえ、エンドエフェクターを意図した経路から遠ざける。 変換器をベースとしたDouble Deep Q Learning (DDQN) を用いた強化学習フレームワークを開発した。 これにより、コントローラは実際のモデル上でこれらのアクションを直接実行するのではなく、シミュレーションされたロールアウトを通じてエンドエフェクタの動きを予測できる。
  論文  参考訳（メタデータ） (2026-03-27T17:08:40Z)
• Analysing the Safety Pitfalls of Steering Vectors [19.424564915366847]
  アクティベーションステアリングは、重量更新を必要とせずにLCMの動作を形作る強力なツールとして登場した。 本稿では,Contrastive Activation Addition (CAA) を用いて得られたステアリングベクトルの系統的安全監査について述べる。 単純なテンプレートベースの攻撃では, ステアリングベクターがジェイルブレイク攻撃の成功率に一貫した影響を与え, 増幅が強くなることを示す。
  論文  参考訳（メタデータ） (2026-03-25T17:16:11Z)
• AdaSteer: Your Aligned LLM is Inherently an Adaptive Jailbreak Defender [99.3105257001476]
  本稿では,入力特性に基づいてモデル動作を調整するアダプティブアクティベーションステアリング手法であるAdaSteerを提案する。 AdaSteer は Rejection Direction (RD) と Harmfulness Direction (HD) の両方に沿って入力表現を操る 本研究は,LLMにおけるリアルタイム・フレキシブル安全対策のための解釈可能なモデル内装の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2025-04-13T07:39:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。