論文の概要: SAFEPATH: Preventing Harmful Reasoning in Chain-of-Thought via Early Alignment

• arxiv url: http://arxiv.org/abs/2505.14667v1
• Date: Tue, 20 May 2025 17:54:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.65936
• Title: SAFEPATH: Preventing Harmful Reasoning in Chain-of-Thought via Early Alignment
• Title（参考訳）: SAFEPATH:早期アライメントによる耐障害性推論の防止
• Authors: Wonje Jeung, Sangyeon Yoon, Minsuk Kahng, Albert No,
• Abstract要約: SAFEPATHは, LRMを微調整して, その推論の開始時に, 短時間で8個の安全プライマーを出力する軽量アライメント手法である。 実験の結果,SAFEPATHは推論性能を維持しながら有害な出力を効果的に減少させることが示された。
• 参考スコア（独自算出の注目度）: 7.657439103188224
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Reasoning Models (LRMs) have become powerful tools for complex problem solving, but their structured reasoning pathways can lead to unsafe outputs when exposed to harmful prompts. Existing safety alignment methods reduce harmful outputs but can degrade reasoning depth, leading to significant trade-offs in complex, multi-step tasks, and remain vulnerable to sophisticated jailbreak attacks. To address this, we introduce SAFEPATH, a lightweight alignment method that fine-tunes LRMs to emit a short, 8-token Safety Primer at the start of their reasoning, in response to harmful prompts, while leaving the rest of the reasoning process unsupervised. Empirical results across multiple benchmarks indicate that SAFEPATH effectively reduces harmful outputs while maintaining reasoning performance. Specifically, SAFEPATH reduces harmful responses by up to 90.0% and blocks 83.3% of jailbreak attempts in the DeepSeek-R1-Distill-Llama-8B model, while requiring 295.9x less compute than Direct Refusal and 314.1x less than SafeChain. We further introduce a zero-shot variant that requires no fine-tuning. In addition, we provide a comprehensive analysis of how existing methods in LLMs generalize, or fail, when applied to reasoning-centric models, revealing critical gaps and new directions for safer AI.
• Abstract（参考訳）: 大規模推論モデル(LRM)は複雑な問題解決のための強力なツールとなっているが、その構造的推論経路は有害なプロンプトに曝されると安全でない出力につながる可能性がある。 既存の安全アライメント手法は有害な出力を減らすが、推論の深さを低下させ、複雑なマルチステップタスクにおいて重大なトレードオフをもたらし、洗練されたジェイルブレイク攻撃に弱いままである。 そこで本研究では,LSMを微調整した軽量アライメント手法であるSAFEPATHを導入する。 複数のベンチマークでの実証結果から、SAFEPATHは推論性能を維持しながら有害な出力を効果的に削減することを示している。 具体的には、SAFEPATHは有害反応を最大90.0%減らし、DeepSeek-R1-Distill-Llama-8Bモデルの83.3%のジェイルブレイクの試みをブロックするが、Direct Refusalよりも295.9倍、SafeChainより314.1倍少ない計算を必要とする。 また、微調整を必要としないゼロショット版も導入する。 さらに、LLMの既存の手法が推論中心のモデルに適用された場合、どのように一般化するか、あるいは失敗するのかを網羅的に分析し、より安全なAIのための重要なギャップと新たな方向を明らかにする。

関連論文リスト

• Cannot See the Forest for the Trees: Invoking Heuristics and Biases to Elicit Irrational Choices of LLMs [83.11815479874447]
  本研究では,人間の認知における認知的分解と偏見に触発された新しいジェイルブレイク攻撃フレームワークを提案する。 我々は、悪意のあるプロンプトの複雑さと関連バイアスを減らし、認知的分解を用いて、プロンプトを再編成する。 また、従来の二分的成功または失敗のパラダイムを超越したランキングベースの有害度評価指標も導入する。
  論文  参考訳（メタデータ） (2025-05-03T05:28:11Z)
• Foot-In-The-Door: A Multi-turn Jailbreak for LLMs [40.958137601841734]
  主な課題はjailbreakで、敵はビルトインのセーフガードをバイパスして有害な出力を誘導する。 心理学的フット・イン・ザ・ドアの原則に着想を得て,新しいマルチターンジェイルブレイク法であるFITDを導入する。 提案手法は,中間的なブリッジプロンプトを通じてユーザクエリの悪意ある意図を段階的にエスカレートし,それ自身でモデル応答を調整し,有害な応答を誘導する。
  論文  参考訳（メタデータ） (2025-02-27T06:49:16Z)
• Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
  Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。 有害なクエリを良心的な推論タスクに再構成する。 RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
  論文  参考訳（メタデータ） (2025-02-16T09:27:44Z)
• Root Defence Strategies: Ensuring Safety of LLM at the Decoding Level [10.476222570886483]
  大規模言語モデル (LLM) は様々な産業で大きな有用性を示している。 LLMが進むにつれて、不正または悪意のある命令プロンプトによって有害な出力のリスクが増大する。 本稿では, LLMが有害な出力を認識する能力について検討し, 従来のトークンの危険性を評価する能力を明らかにし, 定量化する。
  論文  参考訳（メタデータ） (2024-10-09T12:09:30Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  本研究では,Large Language Models (LLMs) の安全性チューニングにおける重要なギャップについて考察する。 我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を与える新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは、(1)安全応答の開始に有害な応答のセグメントを付加することにより、安全でないコンテンツを認識・回避するようモデルに訓練する、(1)有害応答前フィックスによる最大限の類似度推定、(2)有害応答の開始を通して潜在的害から安全拒絶へ継続的に移行する能力を持つ強化遷移最適化(RTO)という2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• From Theft to Bomb-Making: The Ripple Effect of Unlearning in Defending Against Jailbreak Attacks [85.84979847888157]
  大規模言語モデル(LLM)は、ジェイルブレイク攻撃に弱いことが知られている。 LLMは、学習期間中に明示的に導入されなかった有害な知識を暗黙的に引き起こすことができる。 我々は、この現象を実証的に検証し、未学習の手法でアタック成功率を下げることを可能にする。
  論文  参考訳（メタデータ） (2024-07-03T07:14:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。