論文の概要: MTMCS-Bench: Evaluating Contextual Safety of Multimodal Large Language Models in Multi-Turn Dialogues

• arxiv url: http://arxiv.org/abs/2601.06757v1
• Date: Sun, 11 Jan 2026 03:10:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:00.967542
• Title: MTMCS-Bench: Evaluating Contextual Safety of Multimodal Large Language Models in Multi-Turn Dialogues
• Title（参考訳）: MTMCS-Bench:多言語対話におけるマルチモーダル大言語モデルの文脈的安全性の評価
• Authors: Zheyuan Liu, Dongwhi Kim, Yixin Wan, Xiangchi Yuan, Zhaoxuan Tan, Fengran Mo, Meng Jiang,
• Abstract要約: 実写画像とマルチターン会話のベンチマークであるMulti-Turn Multimodal Contextual Safety Benchmark (MTMCS-Bench)を紹介する。 MTMCS-Benchは、構造化された評価を伴うペアセーフとアンセーフの対話を提供する。 我々は、段階的なリスクを逃すか、良心的な対話を過度に排除する傾向にあるモデルで、文脈的安全性と実用性の間の永続的なトレードオフを観察する。
• 参考スコア（独自算出の注目度）: 39.24594135913578
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Multimodal large language models (MLLMs) are increasingly deployed as assistants that interact through text and images, making it crucial to evaluate contextual safety when risk depends on both the visual scene and the evolving dialogue. Existing contextual safety benchmarks are mostly single-turn and often miss how malicious intent can emerge gradually or how the same scene can support both benign and exploitative goals. We introduce the Multi-Turn Multimodal Contextual Safety Benchmark (MTMCS-Bench), a benchmark of realistic images and multi-turn conversations that evaluates contextual safety in MLLMs under two complementary settings, escalation-based risk and context-switch risk. MTMCS-Bench offers paired safe and unsafe dialogues with structured evaluation. It contains over 30 thousand multimodal (image+text) and unimodal (text-only) samples, with metrics that separately measure contextual intent recognition, safety-awareness on unsafe cases, and helpfulness on benign ones. Across eight open-source and seven proprietary MLLMs, we observe persistent trade-offs between contextual safety and utility, with models tending to either miss gradual risks or over-refuse benign dialogues. Finally, we evaluate five current guardrails and find that they mitigate some failures but do not fully resolve multi-turn contextual risks.
• Abstract（参考訳）: マルチモーダルな大言語モデル(MLLM)は、テキストや画像を介して対話するアシスタントとしてますます多くデプロイされており、リスクが視覚シーンと進化する対話の両方に依存する場合、文脈的安全性を評価することが重要である。 既存のコンテキストセーフティベンチマークは、主にシングルターンであり、悪意のある意図が徐々に現れるか、同じシーンが良心的目標と搾取的目標の両方をサポートするかを見逃すことが多い。 我々は,MLLMのコンテキスト安全性を,エスカレーションに基づくリスクとコンテキストスウィッチリスクの2つの相補的な設定の下で評価する,現実的な画像とマルチターン会話のベンチマークであるMTMCS-Bench(Multi-Turn Multimodal Contextual Safety Benchmark)を紹介する。 MTMCS-Benchは、構造化された評価を伴うペアセーフとアンセーフの対話を提供する。 3万以上のマルチモーダル(画像+テキスト)とアンモダル(テキストのみ)のサンプルが含まれており、文脈的意図認識、安全でないケースの安全性認識、良質なケースの助けとなるメトリクスを別々に測定する。 8つのオープンソースと7つのプロプライエタリなMLLMで、段階的なリスクを逃すか、過度に曖昧な対話を行う傾向のあるモデルを用いて、文脈的安全性と実用性の間の永続的なトレードオフを観察する。 最後に、現在の5つのガードレールを評価し、いくつかの障害を緩和するが、マルチターンのコンテキストリスクを完全に解決できないことを発見した。

関連論文リスト

• OutSafe-Bench: A Benchmark for Multimodal Offensive Content Detection in Large Language Models [54.80460603255789]
  マルチモーダル時代に設計された,最も包括的なコンテンツ安全性評価テストスイートであるOutSafe-Benchを紹介する。 OutSafe-Benchには、4つのモダリティにまたがる大規模なデータセットが含まれており、18,000以上のバイリンガル(中国語と英語)テキストプロンプト、4500のイメージ、450のオーディオクリップ、450のビデオが9つの重要なコンテンツリスクカテゴリで体系的に注釈付けされている。 このデータセットに加えて,多次元クロスリスクスコア(Multidimensional Cross Risk Score, MCRS)も導入した。
  論文  参考訳（メタデータ） (2025-11-13T13:18:27Z)
• SafeMT: Multi-turn Safety for Multimodal Language Models [42.59582247058264]
  画像に付随する有害なクエリから発生する様々な長さの対話を特徴付けるベンチマークであるSafeMTを紹介する。 このベンチマークは合計1万のサンプルで構成されており、17の異なるシナリオと4つのjailbreakメソッドを含んでいる。 このベンチマークを用いて17種類のモデルの安全性を評価し、有害な対話のターン数が増加するにつれて、これらのモデルに対する攻撃が成功するリスクが増加することを明らかにする。 本稿では,会話中に隠された悪意のある意図を検知し,MLLMに関連する安全ポリシーを提供する対話安全モデレータを提案する。
  論文  参考訳（メタデータ） (2025-10-14T04:24:07Z)
• LLaVAShield: Safeguarding Multimodal Multi-Turn Dialogues in Vision-Language Models [1.4923957493548121]
  悪意のある意図は、マルチモーダル・マルチトゥル(MMT)ダイアログにおいて、ターンとイメージに分散することができる。 MMT対話の安全性に関する最初の体系的定義と研究について述べる。 我々は、MMDSのための安全でないマルチターン対話を生成するために、自動マルチモーダル・マルチターン・リピート・フレームワークを開発した。 ユーザ入力とアシスタント応答のリスクを共同で検出し,評価する強力なツールであるLLaVAShieldを提案する。
  論文  参考訳（メタデータ） (2025-09-30T07:42:23Z)
• Multimodal Situational Safety [73.63981779844916]
  マルチモーダル・シチュエーション・セーフティ(Multimodal situational Safety)と呼ばれる新しい安全課題の評価と分析を行う。 MLLMが言語やアクションを通じても安全に応答するためには、言語クエリが対応する視覚的コンテキスト内での安全性への影響を評価する必要があることが多い。 我々は,現在のMLLMの状況安全性能を評価するためのマルチモーダル状況安全ベンチマーク(MSSBench)を開発した。
  論文  参考訳（メタデータ） (2024-10-08T16:16:07Z)
• MultiTrust: A Comprehensive Benchmark Towards Trustworthy Multimodal Large Language Models [51.19622266249408]
  MultiTrustはMLLMの信頼性に関する最初の総合的で統一されたベンチマークである。 我々のベンチマークでは、マルチモーダルリスクとクロスモーダルインパクトの両方に対処する厳格な評価戦略を採用している。 21の近代MLLMによる大規模な実験は、これまで調査されなかった信頼性の問題とリスクを明らかにしている。
  論文  参考訳（メタデータ） (2024-06-11T08:38:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。