論文の概要: SafeMT: Multi-turn Safety for Multimodal Language Models

• arxiv url: http://arxiv.org/abs/2510.12133v1
• Date: Tue, 14 Oct 2025 04:24:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.187003
• Title: SafeMT: Multi-turn Safety for Multimodal Language Models
• Title（参考訳）: SafeMT:マルチモーダル言語モデルのマルチターン安全性
• Authors: Han Zhu, Juntao Dai, Jiaming Ji, Haoran Li, Chengkun Cai, Pengcheng Wen, Chi-Min Chan, Boyuan Chen, Yaodong Yang, Sirui Han, Yike Guo,
• Abstract要約: 画像に付随する有害なクエリから発生する様々な長さの対話を特徴付けるベンチマークであるSafeMTを紹介する。 このベンチマークは合計1万のサンプルで構成されており、17の異なるシナリオと4つのjailbreakメソッドを含んでいる。 このベンチマークを用いて17種類のモデルの安全性を評価し、有害な対話のターン数が増加するにつれて、これらのモデルに対する攻撃が成功するリスクが増加することを明らかにする。 本稿では,会話中に隠された悪意のある意図を検知し,MLLMに関連する安全ポリシーを提供する対話安全モデレータを提案する。
• 参考スコア（独自算出の注目度）: 42.59582247058264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the widespread use of multi-modal Large Language models (MLLMs), safety issues have become a growing concern. Multi-turn dialogues, which are more common in everyday interactions, pose a greater risk than single prompts; however, existing benchmarks do not adequately consider this situation. To encourage the community to focus on the safety issues of these models in multi-turn dialogues, we introduce SafeMT, a benchmark that features dialogues of varying lengths generated from harmful queries accompanied by images. This benchmark consists of 10,000 samples in total, encompassing 17 different scenarios and four jailbreak methods. Additionally, we propose Safety Index (SI) to evaluate the general safety of MLLMs during conversations. We assess the safety of 17 models using this benchmark and discover that the risk of successful attacks on these models increases as the number of turns in harmful dialogues rises. This observation indicates that the safety mechanisms of these models are inadequate for recognizing the hazard in dialogue interactions. We propose a dialogue safety moderator capable of detecting malicious intent concealed within conversations and providing MLLMs with relevant safety policies. Experimental results from several open-source models indicate that this moderator is more effective in reducing multi-turn ASR compared to existed guard models.
• Abstract（参考訳）: MLLM(Multi-modal Large Language Model)が広く使われるようになると、安全性の問題が懸念されている。 日常の対話において一般的であるマルチターン対話は、シングルプロンプトよりもリスクが高いが、既存のベンチマークでは、この状況を適切に考慮していない。 画像に付随する有害なクエリから発生する様々な長さの対話を特徴付けるベンチマークであるSafeMTを導入する。 このベンチマークは合計1万のサンプルで構成されており、17の異なるシナリオと4つのjailbreakメソッドを含んでいる。 また,会話中のMLLMの安全性を評価するための安全指標(SI)を提案する。 このベンチマークを用いて17種類のモデルの安全性を評価し、有害な対話のターン数が増加するにつれて、これらのモデルに対する攻撃が成功するリスクが増加することを明らかにする。 この観察から,これらのモデルの安全性メカニズムは,対話の危険性を認識するには不十分であることが示唆された。 本稿では,会話中に隠された悪意のある意図を検知し,MLLMに関連する安全ポリシーを提供する対話安全モデレータを提案する。 いくつかのオープンソースモデルによる実験結果から、このモデレータは既存のガードモデルに比べてマルチターンASRの低減に有効であることが示された。

関連論文リスト

• LLaVAShield: Safeguarding Multimodal Multi-Turn Dialogues in Vision-Language Models [1.4923957493548121]
  悪意のある意図は、マルチモーダル・マルチトゥル(MMT)ダイアログにおいて、ターンとイメージに分散することができる。 MMT対話の安全性に関する最初の体系的定義と研究について述べる。 我々は、MMDSのための安全でないマルチターン対話を生成するために、自動マルチモーダル・マルチターン・リピート・フレームワークを開発した。 ユーザ入力とアシスタント応答のリスクを共同で検出し,評価する強力なツールであるLLaVAShieldを提案する。
  論文  参考訳（メタデータ） (2025-09-30T07:42:23Z)
• Automating Steering for Safe Multimodal Large Language Models [58.36932318051907]
  基礎モデルの微調整を必要とせず,モジュール型かつ適応型推論時間介入技術であるAutoSteerを導入する。 AutoSteerは,(1)モデル内部層間の最も安全性に関連のある識別を自動的に行う新しい安全意識スコア(SAS),(2)中間表現から有害な出力の可能性を推定するために訓練された適応安全プローバ,(3)安全性のリスクが検出された場合に生成を選択的に介入する軽量な拒絶ヘッドの3つのコアコンポーネントを組み込んだ。
  論文  参考訳（メタデータ） (2025-07-17T16:04:55Z)
• Can't See the Forest for the Trees: Benchmarking Multimodal Safety Awareness for Multimodal LLMs [56.440345471966666]
  MLLM(Multimodal Large Language Models)は、テキストと画像の両方を通して対話を可能にすることで、従来の言語モデルの能力を拡大した。 MMSafeAwareは,安全シナリオ29のMLLMを評価するために設計された,初の総合的マルチモーダル安全意識ベンチマークである。 MMSafeAwareには安全でないサブセットと安全でないサブセットの両方が含まれており、安全でないコンテンツを正しく識別するモデルの評価と、有用性を阻害する過敏性を回避することができる。
  論文  参考訳（メタデータ） (2025-02-16T16:12:40Z)
• SafeDialBench: A Fine-Grained Safety Benchmark for Large Language Models in Multi-Turn Dialogues with Diverse Jailbreak Attacks [46.25325034315104]
  大規模言語モデル(LLM)の安全性を評価するための詳細なベンチマーク SafeDialBench を提案する。 具体的には,6つの安全次元を考慮した2階層型階層型安全分類法を設計し,22の対話シナリオの下で中国語と英語の双方で4000以上のマルチターン対話を生成する。 特に,LLMの革新的なアセスメントフレームワークを構築し,安全でない情報を検出し,処理し,ジェイルブレイク攻撃時の一貫性を維持する。
  論文  参考訳（メタデータ） (2025-02-16T12:08:08Z)
• Multimodal Situational Safety [73.63981779844916]
  マルチモーダル・シチュエーション・セーフティ(Multimodal situational Safety)と呼ばれる新しい安全課題の評価と分析を行う。 MLLMが言語やアクションを通じても安全に応答するためには、言語クエリが対応する視覚的コンテキスト内での安全性への影響を評価する必要があることが多い。 我々は,現在のMLLMの状況安全性能を評価するためのマルチモーダル状況安全ベンチマーク(MSSBench)を開発した。
  論文  参考訳（メタデータ） (2024-10-08T16:16:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。