論文の概要: Think in Safety: Unveiling and Mitigating Safety Alignment Collapse in Multimodal Large Reasoning Model

• arxiv url: http://arxiv.org/abs/2505.06538v2
• Date: Wed, 21 May 2025 15:18:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:58.602363
• Title: Think in Safety: Unveiling and Mitigating Safety Alignment Collapse in Multimodal Large Reasoning Model
• Title（参考訳）: 安全を考える:マルチモーダル大共振モデルにおける安全アライメントの崩壊の解明と緩和
• Authors: Xinyue Lou, You Li, Jinan Xu, Xiangyu Shi, Chi Chen, Kaiyu Huang,
• Abstract要約: 5つのベンチマークでMLRM(Multimodal Large Reasoning Model)11の安全性評価を行う。 分析の結果、異なるベンチマークで異なる安全性パターンが明らかになった。 これは、モデル固有の推論能力を活用して安全でない意図を検出することで、MLRMの安全性問題に対処する潜在的アプローチである。
• 参考スコア（独自算出の注目度）: 30.774446187857475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid development of Multimodal Large Reasoning Models (MLRMs) has demonstrated broad application potential, yet their safety and reliability remain critical concerns that require systematic exploration. To address this gap, we conduct a comprehensive and systematic safety evaluation of 11 MLRMs across 5 benchmarks and unveil prevalent safety degradation phenomena in most advanced models. Moreover, our analysis reveals distinct safety patterns across different benchmarks: significant safety degradation is observed across jailbreak robustness benchmarks, whereas safety-awareness benchmarks demonstrate less pronounced degradation. In particular, the long thought process in some scenarios even enhances safety performance. Therefore, it is a potential approach to address safety issues in MLRMs by leveraging the intrinsic reasoning capabilities of the model to detect unsafe intent. To operationalize this insight, we construct a multimodal tuning dataset that incorporates a safety-oriented thought process. Experimental results from fine-tuning existing MLRMs with this dataset effectively enhances the safety on both jailbreak robustness and safety-awareness benchmarks. This study provides a new perspective for developing safe MLRMs. Our dataset is available at https://github.com/xinyuelou/Think-in-Safety.
• Abstract（参考訳）: MLRM(Multimodal Large Reasoning Models)の急速な開発は、幅広い応用可能性を示しているが、その安全性と信頼性は、体系的な探索を必要とする重要な関心事のままである。 このギャップに対処するため、我々は5つのベンチマークで11個のMLRMの総合的かつ体系的な安全性評価を行い、ほとんどの先進モデルで一般的な安全性劣化現象を明らかにする。 さらに、我々の分析では、異なるベンチマーク間で異なる安全性パターンが明らかになっている: 重大な安全性低下は、ジェイルブレイク堅牢性ベンチマークで観察されるが、セーフ・アウェアネスベンチマークでは、顕著な劣化が示されない。 特に、いくつかのシナリオにおける長い思考プロセスは、安全性能をさらに高めます。 したがって、モデル固有の推論能力を活用して安全でない意図を検出することで、MLRMの安全性問題に対処する潜在的アプローチである。 この知見を運用するために,安全指向の思考プロセスを含むマルチモーダルチューニングデータセットを構築した。 このデータセットによる既存のMLRMの微調整による実験結果は、ジェイルブレイクの堅牢性と安全性のベンチマークの両方の安全性を効果的に向上させる。 本研究は,安全なMLRMを開発するための新たな視点を提供する。 データセットはhttps://github.com/xinyuelou/Think-in-Safety.comから入手可能です。

関連論文リスト

• SafeMLRM: Demystifying Safety in Multi-modal Large Reasoning Models [50.34706204154244]
  推論能力の獲得は、引き継がれた安全アライメントを壊滅的に劣化させる。 特定のシナリオは、25倍の攻撃率を被る。 MLRMは、厳密な推論と問合せの安全結合にもかかわらず、初期段階の自己補正を示す。
  論文  参考訳（メタデータ） (2025-04-09T06:53:23Z)
• The Hidden Risks of Large Reasoning Models: A Safety Assessment of R1 [70.94607997570729]
  本稿では,OpenAI-o3およびDeepSeek-R1推論モデルの総合的安全性評価を行う。 本研究では, 現実の応用における強靭性を評価するために, ジェイルブレイクやインジェクションなどの敵攻撃に対する感受性について検討する。
  論文  参考訳（メタデータ） (2025-02-18T09:06:07Z)
• STAIR: Improving Safety Alignment with Introspective Reasoning [44.780098674618614]
  SafeTyアライメントとItrospective Reasoningを統合したフレームワークSTAIRを提案する。 その結果,STAIRは本能的アライメント戦略と比較して,有害なアウトプットを効果的に軽減し,有用性を保っていることがわかった。 テスト時のスケーリングでは、STAIRは一般的なジェイルブレイク攻撃に対して、Claude-3.5に匹敵する安全性能を達成する。
  論文  参考訳（メタデータ） (2025-02-04T15:02:55Z)
• Rethinking Bottlenecks in Safety Fine-Tuning of Vision Language Models [25.606641582511106]
  モデル性能を向上させるために,マルチイメージ入力と安全チェーン・オブ・ソート(CoT)ラベルを微粒な推論ロジックとして統合する新しいデータセットを提案する。 実験の結果,MISを用いた微調整InternVL2.5-8Bは,マルチイメージタスクに挑戦する上で,強力なオープンソースモデルとAPIベースモデルの両方を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-01-30T17:59:45Z)
• Multimodal Situational Safety [73.63981779844916]
  マルチモーダル・シチュエーション・セーフティ(Multimodal situational Safety)と呼ばれる新しい安全課題の評価と分析を行う。 MLLMが言語やアクションを通じても安全に応答するためには、言語クエリが対応する視覚的コンテキスト内での安全性への影響を評価する必要があることが多い。 我々は,現在のMLLMの状況安全性能を評価するためのマルチモーダル状況安全ベンチマーク(MSSBench)を開発した。
  論文  参考訳（メタデータ） (2024-10-08T16:16:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。