論文の概要: SafeMT: Multi-turn Safety for Multimodal Language Models

• arxiv url: http://arxiv.org/abs/2510.12133v1
• Date: Tue, 14 Oct 2025 04:24:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.187003
• Title: SafeMT: Multi-turn Safety for Multimodal Language Models
• Title（参考訳）: SafeMT:マルチモーダル言語モデルのマルチターン安全性
• Authors: Han Zhu, Juntao Dai, Jiaming Ji, Haoran Li, Chengkun Cai, Pengcheng Wen, Chi-Min Chan, Boyuan Chen, Yaodong Yang, Sirui Han, Yike Guo,
• Abstract要約: 画像に付随する有害なクエリから発生する様々な長さの対話を特徴付けるベンチマークであるSafeMTを紹介する。 このベンチマークは合計1万のサンプルで構成されており、17の異なるシナリオと4つのjailbreakメソッドを含んでいる。 このベンチマークを用いて17種類のモデルの安全性を評価し、有害な対話のターン数が増加するにつれて、これらのモデルに対する攻撃が成功するリスクが増加することを明らかにする。 本稿では,会話中に隠された悪意のある意図を検知し,MLLMに関連する安全ポリシーを提供する対話安全モデレータを提案する。
• 参考スコア（独自算出の注目度）: 42.59582247058264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the widespread use of multi-modal Large Language models (MLLMs), safety issues have become a growing concern. Multi-turn dialogues, which are more common in everyday interactions, pose a greater risk than single prompts; however, existing benchmarks do not adequately consider this situation. To encourage the community to focus on the safety issues of these models in multi-turn dialogues, we introduce SafeMT, a benchmark that features dialogues of varying lengths generated from harmful queries accompanied by images. This benchmark consists of 10,000 samples in total, encompassing 17 different scenarios and four jailbreak methods. Additionally, we propose Safety Index (SI) to evaluate the general safety of MLLMs during conversations. We assess the safety of 17 models using this benchmark and discover that the risk of successful attacks on these models increases as the number of turns in harmful dialogues rises. This observation indicates that the safety mechanisms of these models are inadequate for recognizing the hazard in dialogue interactions. We propose a dialogue safety moderator capable of detecting malicious intent concealed within conversations and providing MLLMs with relevant safety policies. Experimental results from several open-source models indicate that this moderator is more effective in reducing multi-turn ASR compared to existed guard models.
• Abstract（参考訳）: MLLM(Multi-modal Large Language Model)が広く使われるようになると、安全性の問題が懸念されている。 日常の対話において一般的であるマルチターン対話は、シングルプロンプトよりもリスクが高いが、既存のベンチマークでは、この状況を適切に考慮していない。 画像に付随する有害なクエリから発生する様々な長さの対話を特徴付けるベンチマークであるSafeMTを導入する。 このベンチマークは合計1万のサンプルで構成されており、17の異なるシナリオと4つのjailbreakメソッドを含んでいる。 また,会話中のMLLMの安全性を評価するための安全指標(SI)を提案する。 このベンチマークを用いて17種類のモデルの安全性を評価し、有害な対話のターン数が増加するにつれて、これらのモデルに対する攻撃が成功するリスクが増加することを明らかにする。 この観察から,これらのモデルの安全性メカニズムは,対話の危険性を認識するには不十分であることが示唆された。 本稿では,会話中に隠された悪意のある意図を検知し,MLLMに関連する安全ポリシーを提供する対話安全モデレータを提案する。 いくつかのオープンソースモデルによる実験結果から、このモデレータは既存のガードモデルに比べてマルチターンASRの低減に有効であることが示された。

関連論文リスト

• MTMCS-Bench: Evaluating Contextual Safety of Multimodal Large Language Models in Multi-Turn Dialogues [39.24594135913578]
  実写画像とマルチターン会話のベンチマークであるMulti-Turn Multimodal Contextual Safety Benchmark (MTMCS-Bench)を紹介する。 MTMCS-Benchは、構造化された評価を伴うペアセーフとアンセーフの対話を提供する。 我々は、段階的なリスクを逃すか、良心的な対話を過度に排除する傾向にあるモデルで、文脈的安全性と実用性の間の永続的なトレードオフを観察する。
  論文  参考訳（メタデータ） (2026-01-11T03:10:56Z)
• When Helpers Become Hazards: A Benchmark for Analyzing Multimodal LLM-Powered Safety in Daily Life [36.244977974241245]
  本研究では,マルチモーダル大規模言語モデル(MLLM)が日常生活における人間の行動に与える影響を調査・評価する。 実世界の画像テキストサンプル2,013点を含むマルチモーダル安全ベンチマークSaLADを紹介する。 18のMLLMの結果、最高性能のモデルは安全でないクエリで57.2%しか応答しないことがわかった。
  論文  参考訳（メタデータ） (2026-01-07T15:59:07Z)
• OutSafe-Bench: A Benchmark for Multimodal Offensive Content Detection in Large Language Models [54.80460603255789]
  マルチモーダル時代に設計された,最も包括的なコンテンツ安全性評価テストスイートであるOutSafe-Benchを紹介する。 OutSafe-Benchには、4つのモダリティにまたがる大規模なデータセットが含まれており、18,000以上のバイリンガル(中国語と英語)テキストプロンプト、4500のイメージ、450のオーディオクリップ、450のビデオが9つの重要なコンテンツリスクカテゴリで体系的に注釈付けされている。 このデータセットに加えて,多次元クロスリスクスコア(Multidimensional Cross Risk Score, MCRS)も導入した。
  論文  参考訳（メタデータ） (2025-11-13T13:18:27Z)
• LLaVAShield: Safeguarding Multimodal Multi-Turn Dialogues in Vision-Language Models [1.4923957493548121]
  悪意のある意図は、マルチモーダル・マルチトゥル(MMT)ダイアログにおいて、ターンとイメージに分散することができる。 MMT対話の安全性に関する最初の体系的定義と研究について述べる。 我々は、MMDSのための安全でないマルチターン対話を生成するために、自動マルチモーダル・マルチターン・リピート・フレームワークを開発した。 ユーザ入力とアシスタント応答のリスクを共同で検出し,評価する強力なツールであるLLaVAShieldを提案する。
  論文  参考訳（メタデータ） (2025-09-30T07:42:23Z)
• Automating Steering for Safe Multimodal Large Language Models [58.36932318051907]
  基礎モデルの微調整を必要とせず,モジュール型かつ適応型推論時間介入技術であるAutoSteerを導入する。 AutoSteerは,(1)モデル内部層間の最も安全性に関連のある識別を自動的に行う新しい安全意識スコア(SAS),(2)中間表現から有害な出力の可能性を推定するために訓練された適応安全プローバ,(3)安全性のリスクが検出された場合に生成を選択的に介入する軽量な拒絶ヘッドの3つのコアコンポーネントを組み込んだ。
  論文  参考訳（メタデータ） (2025-07-17T16:04:55Z)
• Can't See the Forest for the Trees: Benchmarking Multimodal Safety Awareness for Multimodal LLMs [56.440345471966666]
  MLLM(Multimodal Large Language Models)は、テキストと画像の両方を通して対話を可能にすることで、従来の言語モデルの能力を拡大した。 MMSafeAwareは,安全シナリオ29のMLLMを評価するために設計された,初の総合的マルチモーダル安全意識ベンチマークである。 MMSafeAwareには安全でないサブセットと安全でないサブセットの両方が含まれており、安全でないコンテンツを正しく識別するモデルの評価と、有用性を阻害する過敏性を回避することができる。
  論文  参考訳（メタデータ） (2025-02-16T16:12:40Z)
• SafeDialBench: A Fine-Grained Safety Benchmark for Large Language Models in Multi-Turn Dialogues with Diverse Jailbreak Attacks [46.25325034315104]
  大規模言語モデル(LLM)の安全性を評価するための詳細なベンチマーク SafeDialBench を提案する。 具体的には,6つの安全次元を考慮した2階層型階層型安全分類法を設計し,22の対話シナリオの下で中国語と英語の双方で4000以上のマルチターン対話を生成する。 特に,LLMの革新的なアセスメントフレームワークを構築し,安全でない情報を検出し,処理し,ジェイルブレイク攻撃時の一貫性を維持する。
  論文  参考訳（メタデータ） (2025-02-16T12:08:08Z)
• Multimodal Situational Safety [73.63981779844916]
  マルチモーダル・シチュエーション・セーフティ(Multimodal situational Safety)と呼ばれる新しい安全課題の評価と分析を行う。 MLLMが言語やアクションを通じても安全に応答するためには、言語クエリが対応する視覚的コンテキスト内での安全性への影響を評価する必要があることが多い。 我々は,現在のMLLMの状況安全性能を評価するためのマルチモーダル状況安全ベンチマーク(MSSBench)を開発した。
  論文  参考訳（メタデータ） (2024-10-08T16:16:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。