論文の概要: Safety Side Effects of Preventative Persona Steering: An Empirical Audit
- arxiv url: http://arxiv.org/abs/2611.17620v1
- Date: Fri, 13 Nov 2026 00:45:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.282065
- Title: Safety Side Effects of Preventative Persona Steering: An Empirical Audit
- Title(参考訳): 予防的ペルソナステアリングの安全性に関する実証的研究
- Abstract要約: 梅毒や幻覚などの行動は、モデルの活性化空間の方向に対応する。
本研究は, 主に3つのモデルにおいて, サイコファンシーと幻覚ベクトルの予防的ステアリングについて評価した。
以上の結果から, 予防的ステアリングは依然として拒絶行動を変化させるが, 特性に依存する量によって変化することが示唆された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-level behaviors such as sycophancy and hallucination correspond to directions in a model's activation space (Chen et al., 2025). These directions, known as persona vectors, can suppress undesirable traits either at inference time, subtracting the vector during generation, or through preventative steering, adding the vector during fine-tuning, so the optimizer never needs to encode the trait in weights, then removing the vector at evaluation. Chen et al. (2025) recommend preventative steering because it preserves Massive Multitask Language Understanding (MMLU) accuracy, but validations of this recommendation have measured capability alone. We primarily evaluate results on preventative steering of sycophancy and hallucination vectors on three models, measuring three safety benchmarks alongside trait expression, coherence, and MMLU. Our findings show that preventative steering still changes refusal behavior, but by an amount that depends on the trait and does not establish that preventative persona steering is safety-neutral, and steering methods should be evaluated on several safety benchmarks.
- Abstract(参考訳): 梅毒や幻覚のような高次行動は、モデルの活性化空間の方向に対応する(Chen et al , 2025)。
これらの方向はペルソナベクトルと呼ばれ、推論時に望ましくない特性を抑え、生成時にベクターを減らし、または予防的なステアリングによって、微調整中にベクターを追加することができる。
Chenら(2025年)は、MMLU(Massive Multitask Language Understanding)の精度を維持するため、予防的ステアリングを推奨している。
本研究は,3つのモデルにおける覚醒ベクトルと覚醒ベクトルの予防的ステアリングについて,特徴表現,コヒーレンス,MMLUとともに3つの安全性ベンチマークを測定した。
以上の結果から, 予防的ステアリングは依然として拒絶行動を変化させるが, 特性に依存し, 予防的ペルソナステアリングが安全中立であることは証明されていない。
関連論文リスト
- SEABench: Benchmarking Endogenous Misalignment In Self-Evolving Agents [49.54988737892722]
自己進化型LDMエージェントは、ハーネスを変更することで、デプロイ後に改善する能力で有名になった。
SEABenchは、エージェントの自己進化から生じる内因性不整合を研究するためのベンチマークである。
自己進化はタスク完了率を高めるが、安全上の失敗の犠牲になることが多い。
論文 参考訳(メタデータ) (2026-09-28T16:46:25Z) - OPIUM: Mitigating Steering Externalities and Over-Refusal via Dual Objective Latent Optimization [5.915252597405961]
アクティベーションステアリングは、推論時に大きな言語モデルを制御するための軽量なメカニズムを提供する。
本稿では,表現マッチングによるステアリングベクトルの衛生化のためのトレーニング不要な方法であるOPiumを紹介する。
論文 参考訳(メタデータ) (2026-07-22T06:39:03Z) - Internal-State Probes Read the Situation, Not the Action: Three Negative Results for Pre-Action Misalignment Monitoring [1.3636639880574484]
内部の読み出しは、それらのアクションが生成される前に有害なテキストやツールアクションを特定する場合、エージェントシステムを監視するのに役立つ。
Qwen2.5-Coder-32B-Instruct fine-tune/base direction, Llama-3.1-8B-Instruct probes at the last token of unsafe prefills, Gemma-3-27B-IT emotion-concept vectors for projection and steering。
論文 参考訳(メタデータ) (2026-06-29T15:18:36Z) - Steering Safely or Off a Cliff? Rethinking Specificity and Robustness in Inference-Time Interventions [2.977664945581083]
ステアリングは高い有効性を実現し,全般的および制御的特異性を維持するが,ロバスト性特異性を維持することは一貫して失敗することを示す。
本研究は, モデルステアリングにおける特異性の最初の体系的評価を行い, 標準有効性および特異性チェックが不十分であることを示す。
論文 参考訳(メタデータ) (2026-02-05T23:14:05Z) - Agentic Uncertainty Quantification [76.94013626702183]
本稿では,言語化された不確実性をアクティブな双方向制御信号に変換する統合されたデュアルプロセスエージェントUQ(AUQ)フレームワークを提案する。
システム1(Uncertainty-Aware Memory, UAM)とシステム2(Uncertainty-Aware Reflection, UAR)は、これらの説明を合理的な手段として利用し、必要な時にのみターゲットの推論時間解決をトリガーする。
論文 参考訳(メタデータ) (2026-01-22T07:16:26Z) - Multidimensional Uncertainty Quantification via Optimal Transport [87.97146725546502]
相補的なUQ測度をベクトルに積み重ねることで,不確実性定量化(UQ)の多次元的考察を行う。
VecUQ-OTは、個々の測定が失敗しても高い効率を示す。
論文 参考訳(メタデータ) (2025-09-26T14:09:03Z) - The Rogue Scalpel: Activation Steering Compromises LLM Safety [11.402179030703188]
アクティベーションステアリング(Activation steering)は、推論中にモデルの隠れ状態に直接意味論的意味のあるベクトルを追加することによって、LCMの動作を制御する技術である。
ステアリングはモデルアライメントの保護を系統的に破り、有害な要求に従わせる。
論文 参考訳(メタデータ) (2025-09-26T08:49:47Z) - Uncertainty-Aware AB3DMOT by Variational 3D Object Detection [74.8441634948334]
不確実性推定は統計的に正確な予測を提供する効果的なツールである。
本稿では,変分ニューラルネットワークを用いたTANet 3Dオブジェクト検出器を提案し,不確実性のある3Dオブジェクト検出を行う。
論文 参考訳(メタデータ) (2023-02-12T14:30:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。