論文の概要: When Do Model Internals Help? Exploring the Role of Representation Engineering in LLM Safety

• arxiv url: http://arxiv.org/abs/2609.34771v1
• Date: Mon, 28 Sep 2026 09:50:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 03:00:07.723433
• Title: When Do Model Internals Help? Exploring the Role of Representation Engineering in LLM Safety
• Title（参考訳）: モデル内部はいつ役に立つのか? LLM安全における表現工学の役割を探る
• Abstract要約: 安全管理と安全監視のための表現工学の整合性評価について述べる。 安全管理のために,DPOと3つの表現ステアリング法を比較し,ロバスト性,実用性,粒度を比較検討した。 安全監視のために、我々は表現プローブを全応答検出、早期検出、計算コストで微調整およびオープンウェイトなテキストモニターと比較する。
• 参考スコア（独自算出の注目度）: 34.05875226612676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliable AI safeguards require both control mechanisms that reduce unsafe behavior and monitoring mechanisms that detect safety risks during model interactions. Established behavioral safeguards include alignment methods that optimize model outputs and text monitors that assess interaction text. Representation engineering instead reads or modifies internal model states, but the relative strengths of these approaches remain unclear because they are often evaluated under different settings. We present a matched evaluation across two tracks. For safety control, we compare DPO, a behavioral alignment method, with three representation steering methods across robustness, practicality, and granularity. DPO provides the strongest overall control and generally improves with increasing training data, although its safety can degrade after subsequent benign fine-tuning. Representation steering remains competitive primarily in low-data settings, particularly with high-quality contrastive data. For safety monitoring, we compare representation probes with fine-tuned and open-weight text monitors across full-response detection, early detection, and computational cost. Specialized text monitors achieve the strongest overall detection accuracy, while representation probes remain competitive at substantially lower marginal cost. Finally, monitor-guided interventions recover much of the safety lost by DPO after benign fine-tuning, with little additional over-refusal. Overall, representation engineering does not generally replace behavioral safeguards, but offers practical advantages under specific conditions and can provide complementary safety benefits.
• Abstract（参考訳）: 信頼性の高いAIセーフガードには、安全でない振る舞いを減らす制御メカニズムと、モデルインタラクション中の安全性リスクを検出する監視メカニズムの両方が必要である。 確立された行動保護には、モデル出力を最適化するアライメントメソッドと、インタラクションテキストを評価するテキストモニタが含まれる。 表現工学は代わりに内部モデル状態の読み取りや修正を行うが、これらの手法の相対的な強度は、しばしば異なる設定で評価されるため、不明瞭である。 2つのトラックで一致した評価を示す。 安全管理のために,動作アライメント法であるDPOと,ロバスト性,実用性,粒度の3つの表現ステアリング法を比較した。 DPOは、訓練データの増加により、最も強力な総合的な制御を提供し、一般的に改善するが、その安全性は、その後の良質な微調整後に低下する可能性がある。 表現ステアリングは、主に低データ設定、特に高品質のコントラストデータにおいて競争力を維持している。 安全監視のために、我々は表現プローブを全応答検出、早期検出、計算コストで微調整およびオープンウェイトなテキストモニターと比較する。 特殊化されたテキストモニタは全検出精度が最も高く、表現プローブは限界コストをかなり低く抑えながら競争力を維持する。 最後に、モニター誘導による介入は、細調整後のDPOが失った安全性の多くを回復する。 全体としては、表現工学は一般的に行動安全を代替するものではなく、特定の条件下で実践的な優位性を提供し、補完的な安全性の恩恵を与えることができる。

関連論文リスト

• Detecting Is Not Resolving: The Monitoring Control Gap in Retrieval Augmented LLMs [20.59321114618083]
  単一ターン診断はRAGの安全性を体系的に過大評価し、矛盾は安全な解決法とは無関係であり、普遍的な即時修正は存在しないことを示した。 モデルが認識するものと何をするかのギャップは、検索強化されたシステムが高レベルな設定で信頼される前に測定され、クローズされなければならない。
  論文  参考訳（メタデータ） (2026-05-26T15:18:43Z)
• RefusalGuard: Geometry-Preserving Fine-Tuning for Safety in LLMs [5.100622189286672]
  下流タスクのための微調整型セーフティアライメント言語モデルは、拒否動作を著しく低下させる可能性がある。 本稿では,モデル適応時の安全関連構造を保存する表現レベルの微調整フレームワークREFUSALGUARDを紹介する。
  論文  参考訳（メタデータ） (2026-05-03T14:48:18Z)
• Self-Guard: Defending Large Reasoning Models via enhanced self-reflection [54.775612141528164]
  Self-Guardは、大規模推論モデルのための軽量な安全防御フレームワークである。 これは認識とコンプライアンスのギャップを埋め、モデルユーティリティを損なうことなく堅牢な安全性能を達成する。 セルフガードは、さまざまな未知のリスクとさまざまなモデルスケールにまたがる強力な一般化を示す。
  論文  参考訳（メタデータ） (2026-01-31T13:06:11Z)
• LatentGuard: Controllable Latent Steering for Robust Refusal of Attacks and Reliable Response Generation [4.29885665563186]
  LATENTGUARDは、行動アライメントと教師付き潜在空間制御を組み合わせて、解釈可能で正確な安全操縦を行うフレームワークである。 本研究は, 実用性を損なうことなく, 安全性制御性と応答解釈性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2025-09-24T07:31:54Z)
• CARE: Decoding Time Safety Alignment via Rollback and Introspection Intervention [68.95008546581339]
  Contrastive Decodingのような既存のデコーディングタイムの介入は、安全と応答品質の間に深刻なトレードオフを強いることが多い。 本稿では,3つの重要なコンポーネントを統合した,復号時安全アライメントのための新しいフレームワークであるCAREを提案する。 このフレームワークは、安全性、品質、効率のバランスが良く、有害な応答率が低く、ユーザエクスペリエンスを最小限に破壊できる。
  論文  参考訳（メタデータ） (2025-09-01T04:50:02Z)
• Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
  我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。 安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。 複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
  論文  参考訳（メタデータ） (2025-08-17T23:46:36Z)
• What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
  安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。 安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。 これを用いて,3つのよく知られた安全微調整手法について検討する。
  論文  参考訳（メタデータ） (2024-07-14T16:12:57Z)
• Scalable Synthesis of Verified Controllers in Deep Reinforcement Learning [0.0]
  高品質の安全シールドを合成できる自動検証パイプラインを提案します。 私たちの重要な洞察は、事前に計算された安全シールドを使用して神経コントローラのトレーニングを制限し、神経コントローラから安全検証を分離することを含みます。 実測的な高次元深部RLベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-04-20T19:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。