論文の概要: Less Sycophancy, Stronger Refusal? Lessons for AI Safety from Mechanistic Interpretability

• arxiv url: http://arxiv.org/abs/2609.35544v1
• Date: Mon, 28 Sep 2026 16:22:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 20:59:16.977194
• Title: Less Sycophancy, Stronger Refusal? Lessons for AI Safety from Mechanistic Interpretability
• Title（参考訳）: 機械的解釈性からAIの安全性を学ぶ
• Abstract要約: 補償的特徴注入(CFI)は、目標概念の獲得を制限するために設計された訓練技術である。 本研究は,一対の梅毒と単独の反応から最上位の梅毒の特徴を同定する。 サイコファン標的の微調整中に選択した特徴を注入する。
• 参考スコア（独自算出の注目度）: 33.6366542771513
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliable refusal of harmful requests is essential to the safe deployment of language models. Because excessive eagerness to please users may undermine existing refusal capabilities, reducing sycophancy offers a potential route to stronger refusal beyond the harmful scenarios covered by safety training. We investigate this possibility using compensatory feature injection (CFI), a training technique designed to limit the acquisition of a target concept by supplying its associated activation during learning. Across three Qwen3.5 base models, we use sparse autoencoders (SAEs) to identify the top-ranked sycophancy feature from paired sycophantic and independent responses, then validate its behavioral influence through inference steering. We subsequently inject the selected feature during supervised fine-tuning on sycophantic targets. Positive injection reduces learned sycophancy after removal (by 62.0% relative to ordinary fine-tuning in 35B-A3B), whereas modest negative injection increases it. Unexpectedly, these reductions in sycophancy do not consistently improve direct refusal of harmful requests, motivating a narrower evaluation of the same harmful intents under user pressure. In this setting, ordinary fine-tuning on sycophantic responses substantially weakens refusal, while selected checkpoints trained with positive injection recover part of the loss, including approximately 95% in 35B-A3B. These findings show that persistent sycophancy reduction does not guarantee stronger direct refusal, while identifying recovery under user pressure as a distinct, conditional benefit of training intervention.
• Abstract（参考訳）: 言語モデルの安全なデプロイには、有害な要求の信頼性の低下が不可欠である。 ユーザーを喜ばせる過度の熱意は、既存の拒絶能力を損なう可能性があるため、予防訓練によってカバーされる有害なシナリオを超えた、より強い拒絶への道のりを提供する。 この可能性について,学習中に関連するアクティベーションを供給することによって,目標概念の獲得を制限する訓練手法である補償的特徴注入(CFI)を用いて検討する。 3つのQwen3.5ベースモデルにまたがって、スパースオートエンコーダ(SAE)を用いて、ペアリングされたサイコファン応答と独立応答から上位ランクのサイコファンシー特徴を識別し、推論ステアリングによりその行動の影響を検証する。 その後,シコファン標的の微調整中に選択した特徴を注入した。 正の注射は、除去後の学習した梅毒を減少させる(35B-A3Bの通常の微調整に比べて62.0%)が、一方、控えめな負の注射はそれを増加させる。 必然的に、これらの薬効の低下は、有害な要求の直接的拒絶を一貫して改善せず、ユーザー圧力下での同じ有害な意図のより狭い評価を動機付けている。 この設定では,35B-A3Bの約95%を含む正の注入回復部位で訓練されたチェックポイントが,サイコファン応答の通常の微調整によって拒絶が著しく低下する。 以上の結果より, 持続性筋力低下は, より強い直接拒絶を保証せず, 利用者の圧力下での回復を訓練介入の条件的利益とみなすことができた。

関連論文リスト

• Decision Hijacking: Prompt Injection Attacks on Jev's Typed Probabilistic Decisions [5.43110904333163]
  悪意のあるコンテンツはアクション確率をシフトさせるが、Jevが攻撃者のターゲットを選択することは滅多にない。 510例のInjecAgentを用いた非生成決定モデルであるJevにおけるこれらの効果について検討した。
  論文  参考訳（メタデータ） (2026-09-23T17:47:53Z)
• Reinforcement Learning for Large Language Model Selective Evidence Adoption from Contaminated Retrieval Results [3.9964880913101677]
  検索可能な拡張された大きな言語モデルは、誤解を招くステートメントや命令ライクなコンテンツと有用なエビデンスをインターリーブするコンテキストに直面します。 本稿では,選択的エビデンス導入のためのベンチマークとトレーニングセットであるSelectBenchと,DAPOを直接使用したQwen3.5-4Bについて紹介する。 修正された325例のSelectBench-v2テストセットでは、オリジナルのチェックポイントで22.46%から、DAPO-Ruleで25.54%、DAPO-DeepSeekで26.46%に厳格な成功を収めた。
  論文  参考訳（メタデータ） (2026-07-22T12:45:04Z)
• Principled Steering via Null-space Projection for Jailbreak Defense in Vision-Language Models [71.11171576590134]
  視覚言語モデルは視覚的ジェイルブレイク攻撃によって容易に誘導され、有害なコンテンツを生成する。 本稿では,NullSteerを提案する。 我々はNullSteerが様々なジェイルブレイク攻撃において有害な出力を著しく減少させることを示す。
  論文  参考訳（メタデータ） (2026-03-23T15:23:23Z)
• Reward Under Attack: Analyzing the Robustness and Hackability of Process Reward Models [68.45272703833209]
  現状のPRMは、逆最適化圧力下で体系的に利用可能であることを示す。 これらの脆弱性を定量化するために、敵の圧力を増大させる3段階の診断フレームワークを導入する。 我々は、PRM-BiasBenchと診断ツールキットをリリースし、デプロイ前にロバストネスの評価を可能にする。
  論文  参考訳（メタデータ） (2026-02-20T23:38:03Z)
• Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning? [68.82210578851442]
  メカニスティックな解釈可能性レンズによる推論モデルにおいて、なぜ安全アライメントが失敗するのかを考察する。 トークン位置における拒絶意図の追跡のための線形探索手法を用いて,textbfrefusal cliff と呼ばれる現象を発見した。 提案手法は,最大断崖を示す訓練例を識別し,推論モデルの安全性を向上する手法であるtextbfCliff-as-a-Judge を提案する。
  論文  参考訳（メタデータ） (2025-10-07T15:32:59Z)
• The Pitfalls and Promise of Conformal Inference Under Adversarial Attacks [90.52808174102157]
  医療画像や自律運転などの安全クリティカルな応用においては、高い敵の堅牢性を維持し、潜在的敵の攻撃から保護することが不可欠である。 敵対的に訓練されたモデルに固有の不確実性に関して、注目すべき知識ギャップが残っている。 本研究では,共形予測(CP)の性能を標準対向攻撃の文脈で検証することにより,ディープラーニングモデルの不確実性について検討する。
  論文  参考訳（メタデータ） (2024-05-14T18:05:19Z)
• Stratified Adversarial Robustness with Rejection [33.72077702550626]
  本研究は, 階層化拒絶条件において, 否定を伴う逆ロバスト分類について検討する。 我々は,一貫性予測に基づくリジェクション(CPR)を用いた対人訓練という新しい防衛手法を提案する。 CPRは、アダプティブアタックによって既存の手法よりも優れています。
  論文  参考訳（メタデータ） (2023-05-02T01:04:29Z)
• Dropout Injection at Test Time for Post Hoc Uncertainty Quantification in Neural Networks [5.487511963603429]
  本研究では, ドロップアウト注入が, 競合するポストホック不確実性定量化技術として効果的に動作することを示す。 本研究の主な貢献は、注入液滴の有効利用に関するガイドラインを提供することで、現在の組込み液滴の実用的代替となるようにすることである。
  論文  参考訳（メタデータ） (2023-02-06T16:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。