論文の概要: LLaVAShield: Safeguarding Multimodal Multi-Turn Dialogues in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2509.25896v2
• Date: Wed, 01 Oct 2025 21:07:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 12:04:55.869199
• Title: LLaVAShield: Safeguarding Multimodal Multi-Turn Dialogues in Vision-Language Models
• Title（参考訳）: LLaVAShield:視覚言語モデルにおけるマルチモーダル多言語対話の保護
• Authors: Guolei Huang, Qinzhi Peng, Gan Xu, Yuxuan Lu, Yongjun Shen,
• Abstract要約: 悪意のある意図は、マルチモーダル・マルチトゥル(MMT)ダイアログにおいて、ターンとイメージに分散することができる。 MMT対話の安全性に関する最初の体系的定義と研究について述べる。 我々は、MMDSのための安全でないマルチターン対話を生成するために、自動マルチモーダル・マルチターン・リピート・フレームワークを開発した。 ユーザ入力とアシスタント応答のリスクを共同で検出し,評価する強力なツールであるLLaVAShieldを提案する。
• 参考スコア（独自算出の注目度）: 1.4923957493548121
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Vision-Language Models (VLMs) move into interactive, multi-turn use, new safety risks arise that single-turn or single-modality moderation misses. In Multimodal Multi-Turn (MMT) dialogues, malicious intent can be spread across turns and images, while context-sensitive replies may still advance harmful content. To address this challenge, we present the first systematic definition and study of MMT dialogue safety. Building on this formulation, we introduce the Multimodal Multi-turn Dialogue Safety (MMDS) dataset. We further develop an automated multimodal multi-turn red-teaming framework based on Monte Carlo Tree Search (MCTS) to generate unsafe multimodal multi-turn dialogues for MMDS. MMDS contains 4,484 annotated multimodal dialogue samples with fine-grained safety ratings, policy dimension labels, and evidence-based rationales for both users and assistants. Leveraging MMDS, we present LLaVAShield, a powerful tool that jointly detects and assesses risk in user inputs and assistant responses. Across comprehensive experiments, LLaVAShield consistently outperforms strong baselines on MMT content moderation tasks and under dynamic policy configurations, establishing new state-of-the-art results. We will publicly release the dataset and model to support future research.
• Abstract（参考訳）: VLM(Vision-Language Models)がインタラクティブでマルチターンな利用へと移行するにつれ、単一ターンまたは単一モードのモデレーションが欠落する新たな安全性リスクが生じる。 MMT(Multimodal Multi-Turn)ダイアログでは、悪意のある意図はターンやイメージに分散し、文脈に敏感な応答は有害なコンテンツを前進させる可能性がある。 この課題に対処するために,MMT対話の安全性に関する最初の体系的定義と研究を提案する。 この定式化に基づいて,Multimodal Multi-turn Dialogue Safety (MMDS)データセットを導入する。 さらに,モンテカルロ木探索(MCTS)に基づくマルチモーダル・マルチモーダル・マルチターン・リピート・フレームワークを開発し,MMDSのための安全でないマルチモーダル・マルチターン・ダイアログを生成する。 MMDSには4,484個の注釈付きマルチモーダル対話サンプルがあり、詳細な安全性評価、ポリシーディメンションラベル、ユーザとアシスタントの両方に対するエビデンスに基づく理論的根拠がある。 MMDSを活用することで,ユーザ入力やアシスタント応答のリスクを共同で検出し,評価する強力なツールであるLLaVAShieldを提案する。 総合的な実験を通じて、LLaVAShieldはMMTのコンテンツモデレーションタスクと動的ポリシー構成の基線を一貫して上回り、新しい最先端の結果を確立している。 将来の研究をサポートするために、データセットとモデルを公開します。

関連論文リスト

• From Sparse Decisions to Dense Reasoning: A Multi-attribute Trajectory Paradigm for Multimodal Moderation [59.27094165576015]
  疎度な意思決定から高密度な推論トレースへ移行する新しい学習パラダイム(UniMod)を提案する。 モノリシックな意思決定タスクを多次元境界学習プロセスに再構成し,エビデンス,モダリティ評価,リスクマッピング,政策決定,応答生成を含む構造化軌道を構築する。 タスク固有のパラメータを分離し、トレーニングダイナミクスを再バランスさせ、マルチタスク学習における多様な目的間の干渉を効果的に解消する、特別な最適化戦略を導入する。
  論文  参考訳（メタデータ） (2026-01-28T09:29:40Z)
• MTMCS-Bench: Evaluating Contextual Safety of Multimodal Large Language Models in Multi-Turn Dialogues [39.24594135913578]
  実写画像とマルチターン会話のベンチマークであるMulti-Turn Multimodal Contextual Safety Benchmark (MTMCS-Bench)を紹介する。 MTMCS-Benchは、構造化された評価を伴うペアセーフとアンセーフの対話を提供する。 我々は、段階的なリスクを逃すか、良心的な対話を過度に排除する傾向にあるモデルで、文脈的安全性と実用性の間の永続的なトレードオフを観察する。
  論文  参考訳（メタデータ） (2026-01-11T03:10:56Z)
• AM$^3$Safety: Towards Data Efficient Alignment of Multi-modal Multi-turn Safety for MLLMs [30.026306656765314]
  提案するInterSafe-Vは,11,270件の対話と500件の特別設計のVQAサンプルを含む,オープンソースのマルチモーダル対話データセットである。 我々は,グループ相対的政策最適化とコールドスタートの拒絶フェーズを組み合わせたフレームワークAM$3$Safetyを提案する。 Qwen2.5-VL-7BとLLaVA-NeXT-7Bの実験では、攻撃成功率が10%以上低下した。
  論文  参考訳（メタデータ） (2026-01-08T08:57:05Z)
• OutSafe-Bench: A Benchmark for Multimodal Offensive Content Detection in Large Language Models [54.80460603255789]
  マルチモーダル時代に設計された,最も包括的なコンテンツ安全性評価テストスイートであるOutSafe-Benchを紹介する。 OutSafe-Benchには、4つのモダリティにまたがる大規模なデータセットが含まれており、18,000以上のバイリンガル(中国語と英語)テキストプロンプト、4500のイメージ、450のオーディオクリップ、450のビデオが9つの重要なコンテンツリスクカテゴリで体系的に注釈付けされている。 このデータセットに加えて,多次元クロスリスクスコア(Multidimensional Cross Risk Score, MCRS)も導入した。
  論文  参考訳（メタデータ） (2025-11-13T13:18:27Z)
• SafeMT: Multi-turn Safety for Multimodal Language Models [42.59582247058264]
  画像に付随する有害なクエリから発生する様々な長さの対話を特徴付けるベンチマークであるSafeMTを紹介する。 このベンチマークは合計1万のサンプルで構成されており、17の異なるシナリオと4つのjailbreakメソッドを含んでいる。 このベンチマークを用いて17種類のモデルの安全性を評価し、有害な対話のターン数が増加するにつれて、これらのモデルに対する攻撃が成功するリスクが増加することを明らかにする。 本稿では,会話中に隠された悪意のある意図を検知し,MLLMに関連する安全ポリシーを提供する対話安全モデレータを提案する。
  論文  参考訳（メタデータ） (2025-10-14T04:24:07Z)
• Automating Steering for Safe Multimodal Large Language Models [58.36932318051907]
  基礎モデルの微調整を必要とせず,モジュール型かつ適応型推論時間介入技術であるAutoSteerを導入する。 AutoSteerは,(1)モデル内部層間の最も安全性に関連のある識別を自動的に行う新しい安全意識スコア(SAS),(2)中間表現から有害な出力の可能性を推定するために訓練された適応安全プローバ,(3)安全性のリスクが検出された場合に生成を選択的に介入する軽量な拒絶ヘッドの3つのコアコンポーネントを組み込んだ。
  論文  参考訳（メタデータ） (2025-07-17T16:04:55Z)
• ShieldVLM: Safeguarding the Multimodal Implicit Toxicity via Deliberative Reasoning with LVLMs [72.8646625127485]
  マルチモーダルな暗黙の毒性は、社会プラットフォームにおける形式的なステートメントとしてだけでなく、有害なダイアログにつながる可能性がある。 単調なテキストや画像のモデレーションの成功にもかかわらず、多モーダルな内容、特に多モーダルな暗黙的な毒性に対する毒性の検出は未発見のままである。 マルチモーダルな暗黙的毒性の検出を促進するために,多モーダルな文,プロンプト,ダイアログにおける暗黙的な毒性を認識するモデルであるShieldVLMを構築した。
  論文  参考訳（メタデータ） (2025-05-20T07:31:17Z)
• IDEA: Inverted Text with Cooperative Deformable Aggregation for Multi-modal Object Re-Identification [60.38841251693781]
  本稿では,ロバストなマルチモーダルオブジェクトReIDを生成する新しいフレームワークを提案する。 我々のフレームワークは、多モーダル情報と逆テキストからのセマンティックガイダンスを統合するために、Modal PrefixesとInverseNetを使用している。 3つのマルチモーダルオブジェクトReIDベンチマーク実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2025-03-13T13:00:31Z)
• Benchmarking Retrieval-Augmented Generation in Multi-Modal Contexts [56.7225771305861]
  本稿では,マルチモーダル大規模言語モデルの有効性を評価するためのベンチマークであるMulti-Modal Retrieval-Augmented Generation (M$2$RAG)を紹介する。 このベンチマークは、イメージキャプション、マルチモーダル質問応答、マルチモーダル事実検証、イメージリランクの4つのタスクで構成されている。 MLLMのコンテキスト利用能力を高めるため,マルチモーダル検索型インストラクションチューニング(MM-RAIT)も導入する。
  論文  参考訳（メタデータ） (2025-02-24T16:25:25Z)
• CUE-M: Contextual Understanding and Enhanced Search with Multimodal Large Language Model [9.224965304457708]
  本稿では,新しいマルチモーダル検索フレームワークであるMLLM (CUE-M) について述べる。 画像コンテキストの強化、インテントの洗練、コンテキストクエリ生成、外部APIの統合、関連ベースのフィルタリングなどが含まれている。 知識に基づくVQAと安全性に関する実単語データセットと公開ベンチマークの実験は、CUE-Mがベースラインを上回り、新しい最先端の結果を確立することを示した。
  論文  参考訳（メタデータ） (2024-11-19T07:16:48Z)
• Adapting Segment Anything Model to Multi-modal Salient Object Detection with Semantic Feature Fusion Guidance [15.435695491233982]
  マルチモーダル・サリアン・オブジェクト検出(SOD)のためのSegment Anything Model(SAM)の強力な特徴表現とゼロショット一般化能力を探求し活用するための新しいフレームワークを提案する。 アンダーラインSAMとサブラインマンティックファウンダリナールファウンダリナールグダンクンダリナール(サマン)を併用して開発する。 画像エンコーダでは,マルチモーダルSAMをマルチモーダル情報に適用するためのマルチモーダルアダプタが提案されている。
  論文  参考訳（メタデータ） (2024-08-27T13:47:31Z)
• Mixture-of-Prompt-Experts for Multi-modal Semantic Understanding [7.329728566839757]
  ブロック認識型prompt Fusion (MoPE-BAF) を用いたMixture-of-prompt-Expertsを提案する。 MoPE-BAFは、統合視覚言語モデル(VLM)に基づく、新しいマルチモーダルソフトプロンプトフレームワークである。
  論文  参考訳（メタデータ） (2024-03-17T19:12:26Z)
• Large AI Model Empowered Multimodal Semantic Communications [48.73159237649128]
  本稿では,Large AI Model-based Multimodal SC (LAMMSC) フレームワークを提案する。 まず、条件付きマルチモーダルアライメント(MMA)を提案し、マルチモーダルデータと非モーダルデータ間の変換を可能にする。 次に、パーソナライズされたLLMベースの知識ベース(LKB)を提案し、ユーザがパーソナライズされたセマンティック抽出やリカバリを行うことができる。 最後に,CGE(Generative Adversarial Network-based Channel Estimation)を用いて,無線チャネルの状態情報を推定する。
  論文  参考訳（メタデータ） (2023-09-03T19:24:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。