論文の概要: Self-Guard: Defending Large Reasoning Models via enhanced self-reflection

• arxiv url: http://arxiv.org/abs/2602.00707v1
• Date: Sat, 31 Jan 2026 13:06:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.349522
• Title: Self-Guard: Defending Large Reasoning Models via enhanced self-reflection
• Title（参考訳）: 自己ガイド:強化自己回帰による大規模推論モデルを守る
• Authors: Jingnan Zheng, Jingjun Xu, Yanzhen Luo, Chenhang Cui, Gelei Deng, Zhenkai Liang, Xiang Wang, An Zhang, Tat-Seng Chua,
• Abstract要約: Self-Guardは、大規模推論モデルのための軽量な安全防御フレームワークである。 これは認識とコンプライアンスのギャップを埋め、モデルユーティリティを損なうことなく堅牢な安全性能を達成する。 セルフガードは、さまざまな未知のリスクとさまざまなモデルスケールにまたがる強力な一般化を示す。
• 参考スコア（独自算出の注目度）: 54.775612141528164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The emergence of Large Reasoning Models (LRMs) introduces a new paradigm of explicit reasoning, enabling remarkable advances yet posing unique risks such as reasoning manipulation and information leakage. To mitigate these risks, current alignment strategies predominantly rely on heavy post-training paradigms or external interventions. However, these approaches are often computationally intensive and fail to address the inherent awareness-compliance gap, a critical misalignment where models recognize potential risks yet prioritize following user instructions due to their sycophantic tendencies. To address these limitations, we propose Self-Guard, a lightweight safety defense framework that reinforces safety compliance at the representational level. Self-Guard operates through two principal stages: (1) safety-oriented prompting, which activates the model's latent safety awareness to evoke spontaneous reflection, and (2) safety activation steering, which extracts the resulting directional shift in the hidden state space and amplifies it to ensure that safety compliance prevails over sycophancy during inference. Experiments demonstrate that Self-Guard effectively bridges the awareness-compliance gap, achieving robust safety performance without compromising model utility. Furthermore, Self-Guard exhibits strong generalization across diverse unseen risks and varying model scales, offering a cost-efficient solution for LRM safety alignment.
• Abstract（参考訳）: LRM(Large Reasoning Models)の出現は、明示的な推論という新たなパラダイムを導入し、推論操作や情報漏洩といったユニークなリスクを生じさせる。 これらのリスクを軽減するため、現在のアライメント戦略は、主に訓練後の重いパラダイムや外部介入に依存しています。 しかし、これらのアプローチはしばしば計算集約的であり、本質的な認識とコンプライアンスのギャップに対処することができない。 これらの制約に対処するため,表現レベルでの安全コンプライアンスを強化する軽量な安全防衛フレームワークであるSelf-Guardを提案する。 自己ガードは,(1)モデルの潜伏した安全意識を活性化して自然反射を誘発する安全指向のプロンプト,(2)隠れた状態空間の方向転換を抽出し,安全性コンプライアンスが推論中にサイコフィナンシーよりも有効であるように増幅する安全活性化ステアリングの2つの主要な段階を通じて機能する。 実験により、セルフガードは認識と適応のギャップを効果的に埋め、モデルの有用性を損なうことなく堅牢な安全性能を達成することを示した。 さらに、Self-Guardは、様々な未知のリスクと様々なモデルスケールにまたがる強力な一般化を示し、LEMの安全性アライメントのためのコスト効率の高いソリューションを提供する。

関連論文リスト

• SafeThinker: Reasoning about Risk to Deepen Safety Beyond Shallow Alignment [43.86865924673546]
  軽量なゲートウェイ分類器を介して防御資源を割り当てる適応型フレームワークであるSafeThinkerを提案する。 実験によると、SafeThinkerは、堅牢性を損なうことなく、さまざまなジェイルブレイク戦略における攻撃の成功率を大幅に低下させる。
  論文  参考訳（メタデータ） (2026-01-23T07:12:53Z)
• ProGuard: Towards Proactive Multimodal Safeguard [48.89789547707647]
  ProGuardは視覚言語プロアクティブガードであり、アウト・オブ・ディストリビューション(OOD)の安全性リスクを特定し記述する。 まず,2次安全ラベルとリスクカテゴリの両方を付加した87Kサンプルのモダリティバランスデータセットを構築した。 次に、強化学習を通して視覚言語ベースモデルを純粋に訓練し、効率的かつ簡潔な推論を実現する。
  論文  参考訳（メタデータ） (2025-12-29T16:13:23Z)
• Self-Guided Defense: Adaptive Safety Alignment for Reasoning Models via Synthesized Guidelines [31.031589383127677]
  本稿では,Synthesized Guideline-based Adaptive Safety Alignment (SGASA)フレームワークを紹介する。 モデル生成安全ガイドラインを内包し、敵のプロンプトに対する堅牢性を強化するモデルの能力を強化する。 複数のデータセットにわたる実験により、SGASAはモデルの安全性を大幅に改善し、適応性とスケーラブルな効率性を検証する。
  論文  参考訳（メタデータ） (2025-11-26T09:44:32Z)
• When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
  大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。 LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。 安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
  論文  参考訳（メタデータ） (2025-10-24T09:32:25Z)
• AURA: Affordance-Understanding and Risk-aware Alignment Technique for Large Language Models [6.059681491089391]
  AURAは論理的一貫性と安全性を認識した総合的、段階的な評価を提供する。 本フレームワークは, 内省的自己批判, きめ細かいPRM評価, 適応型安全認識復号をシームレスに結合する。 この研究は、アライメントに敏感なアプリケーションのための新しいベンチマークを設定することで、より安全で責任があり、コンテキストに敏感なAIに向けた重要なステップである。
  論文  参考訳（メタデータ） (2025-08-08T08:43:24Z)
• Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
  大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。 動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
  論文  参考訳（メタデータ） (2025-05-22T18:05:16Z)
• SafeKey: Amplifying Aha-Moment Insights for Safety Reasoning [76.56522719330911]
  大規模推論モデル(LRM)は、応答する前に明示的に推論する新しい世代パラダイムを導入する。 LRMは有害なクエリや敵の攻撃に対して大きな安全リスクをもたらす。 キー文中の安全アハモーメントをより活性化するSafeKeyを提案する。
  論文  参考訳（メタデータ） (2025-05-22T03:46:03Z)
• Safety Alignment Can Be Not Superficial With Explicit Safety Signals [8.297367440457508]
  大規模言語モデル(LLM)の安全性アライメントに関する最近の研究は、既存のアプローチがしばしば表面的に機能することを明らかにしている。 既存のアライメントアプローチでは、アライメントプロセス中にモデルが暗黙的に安全関連推論タスクを学習できると考えられる。 安全関連バイナリ分類タスクを明示的に導入し,その信号を注意と復号化戦略に統合することにより,この曖昧さを解消する。
  論文  参考訳（メタデータ） (2025-05-19T20:40:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。