論文の概要: ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning

• arxiv url: http://arxiv.org/abs/2507.11500v2
• Date: Mon, 20 Oct 2025 02:44:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:08.528157
• Title: ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning
• Title（参考訳）: ARMOR:Meticulous Reasoningによるセキュアで安全な大規模言語モデルの調整
• Authors: Zhengyue Zhao, Yingzi Ma, Somesh Jha, Marco Pavone, Patrick McDaniel, Chaowei Xiao,
• Abstract要約: ARMORは、jailbreak戦略を分析し、コアインテントを抽出する、大規模な言語モデルである。 ARMORは最先端の安全性能を達成し、平均有害率は0.002であり、高度な最適化ベースのジェイルブレイクに対する攻撃成功率は0.06である。
• 参考スコア（独自算出の注目度）: 64.32925552574115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models have shown impressive generative capabilities across diverse tasks, but their safety remains a critical concern. Existing post-training alignment methods, such as SFT and RLHF, reduce harmful outputs yet leave LLMs vulnerable to jailbreak attacks, especially advanced optimization-based ones. Recent system-2 approaches enhance safety by adding inference-time reasoning, where models assess potential risks before producing responses. However, we find these methods fail against powerful out-of-distribution jailbreaks, such as AutoDAN-Turbo and Adversarial Reasoning, which conceal malicious goals behind seemingly benign prompts. We observe that all jailbreaks ultimately aim to embed a core malicious intent, suggesting that extracting this intent is key to defense. To this end, we propose ARMOR, which introduces a structured three-step reasoning pipeline: (1) analyze jailbreak strategies from an external, updatable strategy library, (2) extract the core intent, and (3) apply policy-based safety verification. We further develop ARMOR-Think, which decouples safety reasoning from general reasoning to improve both robustness and utility. Evaluations on advanced optimization-based jailbreaks and safety benchmarks show that ARMOR achieves state-of-the-art safety performance, with an average harmful rate of 0.002 and an attack success rate of 0.06 against advanced optimization-based jailbreaks, far below other reasoning-based models. Moreover, ARMOR demonstrates strong generalization to unseen jailbreak strategies, reducing their success rate to zero. These highlight ARMOR's effectiveness in defending against OOD jailbreak attacks, offering a practical path toward secure and reliable LLMs.
• Abstract（参考訳）: 大規模言語モデルは、様々なタスクにまたがって印象的な生成能力を示しているが、その安全性は依然として重要な関心事である。 SFTやRLHFのような既存の訓練後のアライメント手法は有害な出力を減らすが、LLMはジェイルブレイク攻撃、特に高度な最適化ベースの攻撃に対して脆弱である。 近年のシステム2アプローチは、モデルが応答を生成する前に潜在的なリスクを評価する推論時間推論を追加することで安全性を高める。 しかし、これらの手法はAutoDAN-TurboやAdversarial Reasoningのような強力なアウト・オブ・ディストリビューション・ジェイルブレイクに対して失敗する。 すべてのジェイルブレイクは最終的に、中核的な悪意のある意図を埋め込むことを目的としており、この意図を抽出することが防御の鍵であることを示唆している。 この目的のために, ARMORを提案し, 構造化された3段階推論パイプラインを導入し, 1) 外部の高度戦略ライブラリからジェイルブレイク戦略を分析し, (2) コアインテントを抽出し, (3) ポリシーに基づく安全性検証を適用する。 ARMOR-Thinkは、安全性の推論を一般的な推論から切り離し、堅牢性と実用性の両方を改善する。 高度な最適化ベースのジェイルブレイクと安全性ベンチマークの評価によると、ARMORは最先端の安全性能を達成しており、平均的な有害率は0.002であり、高度な最適化ベースのジェイルブレイクに対する攻撃成功率は0.06であり、他の推論ベースのモデルよりもはるかに低い。 さらに、ARMORは、目に見えないジェイルブレイク戦略への強力な一般化を示し、成功率をゼロにする。 これらのことは、OODジェイルブレイク攻撃に対するARMORの有効性を強調し、安全で信頼性の高いLSMへの実践的な道を提供する。

関連論文リスト

• SafeKey: Amplifying Aha-Moment Insights for Safety Reasoning [76.56522719330911]
  大規模推論モデル(LRM)は、応答する前に明示的に推論する新しい世代パラダイムを導入する。 LRMは有害なクエリや敵の攻撃に対して大きな安全リスクをもたらす。 キー文中の安全アハモーメントをより活性化するSafeKeyを提案する。
  論文  参考訳（メタデータ） (2025-05-22T03:46:03Z)
• Why Not Act on What You Know? Unleashing Safety Potential of LLMs via Self-Aware Guard Enhancement [48.50995874445193]
  大規模言語モデル(LLM)は、様々なタスクにわたって印象的な機能を示しているが、細心の注意を払って構築されたジェイルブレイク攻撃には弱いままである。 SAGE(Self-Aware Guard Enhancement)は,LSMの強い安全識別性能と比較的弱い安全生成能力とを整合させる訓練不要防衛戦略である。
  論文  参考訳（メタデータ） (2025-05-17T15:54:52Z)
• SafeMLRM: Demystifying Safety in Multi-modal Large Reasoning Models [50.34706204154244]
  推論能力の獲得は、引き継がれた安全アライメントを壊滅的に劣化させる。 特定のシナリオは、25倍の攻撃率を被る。 MLRMは、厳密な推論と問合せの安全結合にもかかわらず、初期段階の自己補正を示す。
  論文  参考訳（メタデータ） (2025-04-09T06:53:23Z)
• Safety is Not Only About Refusal: Reasoning-Enhanced Fine-tuning for Interpretable LLM Safety [31.933503076797148]
  大きな言語モデル(LLM)は、従来の安全アライメントの弱点を利用するジェイルブレイク攻撃に対して脆弱である。 解釈可能なLLM安全性のための推論強化ファインタニング(Rational)を提案する。 合理的列車は、応答前に明確な安全な推論を行うようにモデル化する。
  論文  参考訳（メタデータ） (2025-03-06T22:47:45Z)
• Improving LLM Safety Alignment with Dual-Objective Optimization [65.41451412400609]
  大規模言語モデル(LLM)の既存のトレーニング時間安全アライメント技術は、ジェイルブレイク攻撃に対して脆弱なままである。 本研究では,DPOの目的を2つの構成要素にまとめる安全アライメントの改善について提案する。(1) 安全でない世代が部分的に発生しても拒否を促す頑健な拒絶訓練,(2) 有害な知識の未学習。
  論文  参考訳（メタデータ） (2025-03-05T18:01:05Z)
• Reasoning-to-Defend: Safety-Aware Reasoning Can Defend Large Language Models from Jailbreaking [26.812138599896997]
  本稿では,大規模言語モデルの生成に安全性を考慮した推論機構を組み込んだ新しいトレーニングパラダイムであるReasoning-to-Defend(R2D)を提案する。 R2Dは応答の安全性の指標として安全ピボットトークンを形成する。 R2Dは様々な攻撃を効果的に軽減し、元の性能を維持しつつ全体の安全性を向上させる。
  論文  参考訳（メタデータ） (2025-02-18T15:48:46Z)
• STAIR: Improving Safety Alignment with Introspective Reasoning [44.780098674618614]
  SafeTyアライメントとItrospective Reasoningを統合したフレームワークSTAIRを提案する。 その結果,STAIRは本能的アライメント戦略と比較して,有害なアウトプットを効果的に軽減し,有用性を保っていることがわかった。 テスト時のスケーリングでは、STAIRは一般的なジェイルブレイク攻撃に対して、Claude-3.5に匹敵する安全性能を達成する。
  論文  参考訳（メタデータ） (2025-02-04T15:02:55Z)
• Root Defence Strategies: Ensuring Safety of LLM at the Decoding Level [10.476222570886483]
  大規模言語モデル (LLM) は様々な産業で大きな有用性を示している。 LLMが進むにつれて、不正または悪意のある命令プロンプトによって有害な出力のリスクが増大する。 本稿では, LLMが有害な出力を認識する能力について検討し, 従来のトークンの危険性を評価する能力を明らかにし, 定量化する。
  論文  参考訳（メタデータ） (2024-10-09T12:09:30Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。