論文の概要: Beyond Shallow Alignment: How Post-Training Methods Determine Refusal Circuits And Steering Robustness

• arxiv url: http://arxiv.org/abs/2609.03887v1
• Date: Thu, 03 Sep 2026 14:10:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:39.098958
• Title: Beyond Shallow Alignment: How Post-Training Methods Determine Refusal Circuits And Steering Robustness
• Title（参考訳）: 浅度アライメントの超越 - 遅延回路とステアリングロバスト性の決定方法
• Abstract要約: 有害な要求を拒否する言語モデルを訓練するための3つのポストトレーニング手法を比較した。 トレーニング手法は,リフレクションを内部でどのように計算するかを判断する。 安全なアライメントから3つの特性を同時に達成する手法は存在しない。
• 参考スコア（独自算出の注目度）: 16.594400974742523
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How do the methods used to train language models to refuse harmful requests shape how that refusal actually works inside the model? We compare three post-training methods - supervised fine-tuning, reasoning-augmented fine-tuning (training on reasoning chains that justify a safety decision), and preference optimization (ORPO) - across three architecturally distinct models (Llama-3.1-8B, Gemma-2-9B, Qwen3-8B). We find that training method, not just data, reshapes how refusal is computed internally: reasoning-augmented training consistently produces a distinct kind of refusal computation, visible across all three models, while architecture independently shapes internal structure and how reliably refusal can be steered. Most importantly, no method we study achieves all three properties we would want from safe alignment at once: refusal that isn't concentrated in a few fragile components, safety gains that don't cost general capability, and safety behavior correctable through small, targeted edits. We caution against treating current post-training methods as a solved, reliable defense, especially for security-critical use. Code and models are available in https://github.com/hoangcuongnguyen2001/Beyond-Shallow-Alignment.
• Abstract（参考訳）: 有害な要求を拒否するために言語モデルをトレーニングするために使用される手法は、モデル内でその拒絶が実際にどのように機能するかを形作るにはどうすればよいのか? 提案手法は3つのアーキテクチャ的に異なるモデル(Llama-3.1-8B, Gemma-2-9B, Qwen3-8B)で比較した。 推論強化トレーニングは、3つのモデルにまたがる異なる種類のリファリング計算を一貫して生成する一方で、アーキテクチャは内部構造を独立に形成し、どの程度確実にリファリングを行うことができるのかを判断する。 最も重要なことは、私たちが研究しているメソッドが、安全なアライメントによって、一度に実現したい3つの特性をすべて達成しないことです。 我々は,現状のポストトレーニング手法を,特にセキュリティクリティカルな使用において,解決し信頼性の高い防衛手段として扱うことに注意する。 コードとモデルはhttps://github.com/hoangcuongnguyen2001/Beyond-Shallow-Alignmentで公開されている。

関連論文リスト

• Consistency Training Helps Stop Sycophancy and Jailbreaks [42.673600663865614]
  自己管理型パラダイムで、モデルにプロンプト内の特定の無関係な手がかりに不変であるように教える。 一貫性トレーニングは、モデル自体からの応答をトレーニングデータとして使用するため、古いトレーニングデータから発生する問題を回避することができる。 BCTとACTは薬効を等しく低下させるが、BCTはジェイルブレイクの低減に有効である。
  論文  参考訳（メタデータ） (2025-10-31T00:19:13Z)
• Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning? [68.82210578851442]
  メカニスティックな解釈可能性レンズによる推論モデルにおいて、なぜ安全アライメントが失敗するのかを考察する。 トークン位置における拒絶意図の追跡のための線形探索手法を用いて,textbfrefusal cliff と呼ばれる現象を発見した。 提案手法は,最大断崖を示す訓練例を識別し,推論モデルの安全性を向上する手法であるtextbfCliff-as-a-Judge を提案する。
  論文  参考訳（メタデータ） (2025-10-07T15:32:59Z)
• A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
  本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。 我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。 本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-10-03T07:01:45Z)
• Reasoning as an Adaptive Defense for Safety [44.78731851555853]
  私たちは、$textitTARS$(安全のための適応推論器の訓練)というレシピを構築します。 我々は、チェーンオブソートトレースと、タスク完了と安全のバランスをとる報奨信号を用いて、安全性について推論するモデルを訓練する。 我々の研究は,lLMをジェイルブレイクや有害な要求に対して,プロンプトごとに推論することで,効果的かつオープンなレシピを提供する。
  論文  参考訳（メタデータ） (2025-07-01T17:20:04Z)
• Think Before Refusal : Triggering Safety Reflection in LLMs to Mitigate False Refusal Behavior [59.20260988638777]
  本研究は, 応答発生前の安全反射の促進により, 虚偽の拒絶行動が軽減されることを実証する。 15種類の事前訓練モデルを対象としたアブレーション実験において, 安全性を考慮した微調整モデルでは, 誤検知の挙動が著しく低下することがわかった。
  論文  参考訳（メタデータ） (2025-03-22T23:35:49Z)
• Train Till You Drop: Towards Stable and Robust Source-free Unsupervised 3D Domain Adaptation [62.889835139583965]
  本研究では,3次元セマンティックセグメンテーションのための非教師なし領域適応(SFUDA)の問題に取り組む。 ソースデータにアクセスすることなく、ラベルのないターゲットドメインでドメイン適応を実行する。 既存のSFUDAアプローチの一般的な問題は、あるトレーニング時間後にパフォーマンスが低下することです。
  論文  参考訳（メタデータ） (2024-09-06T17:13:14Z)
• What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
  安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。 安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。 これを用いて,3つのよく知られた安全微調整手法について検討する。
  論文  参考訳（メタデータ） (2024-07-14T16:12:57Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• Single Character Perturbations Break LLM Alignment [20.79833694266861]
  モデル入力の端に空間を付加するだけで、モデルディフェンスを壊すことが可能であることを示す。 トークン化されたトレーニングデータに単一空間が存在する状況は、モデルにトリガーされた時にリストを生成することを奨励する。 本研究は, 現行モデルアライメントの脆弱さを浮き彫りにして, より堅牢なアライメント手法の開発の重要性を推し進めるものである。
  論文  参考訳（メタデータ） (2024-07-03T16:03:10Z)
• Self-Ensemble Protection: Training Checkpoints Are Good Data Protectors [41.45649235969172]
  自己アンサンブル保護(SEP)は、データに対する優れたモデルのトレーニングを防ぐために提案されている。 例えば、我々の小さな摂動により、CIFAR-10 ResNet18の精度は94.56%から14.68%に低下し、最もよく知られている方法は41.35%となった。
  論文  参考訳（メタデータ） (2022-11-22T04:54:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。