論文の概要: VLSBench: Unveiling Visual Leakage in Multimodal Safety

• arxiv url: http://arxiv.org/abs/2411.19939v1
• Date: Fri, 29 Nov 2024 18:56:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:23:25.450182
• Title: VLSBench: Unveiling Visual Leakage in Multimodal Safety
• Title（参考訳）: VLSBench:マルチモーダル・セーフティで視覚漏れを発生させる
• Authors: Xuhao Hu, Dongrui Liu, Hao Li, Xuanjing Huang, Jing Shao,
• Abstract要約: これまでの研究では、MLLMの整列にテキストアンラーニングを用いることで、画像とテキストのペアで訓練されたMLLMと同等の安全性を実現することが示されている。 このような直感的現象を説明するため、既存のマルチモーダル安全ベンチマークにおいて、視覚的安全情報漏洩(VSIL)問題を発見した。 マルチモーダル画像リークレス安全性ベンチマーク (VLSBench) を構築し,2.4k画像テキストペアによる画像からテキストへの視覚的安全性リークを防止する。
• 参考スコア（独自算出の注目度）: 39.344623032631475
• License:
• Abstract: Safety concerns of Multimodal large language models (MLLMs) have gradually become an important problem in various applications. Surprisingly, previous works indicate a counter-intuitive phenomenon that using textual unlearning to align MLLMs achieves comparable safety performances with MLLMs trained with image-text pairs. To explain such a counter-intuitive phenomenon, we discover a visual safety information leakage (VSIL) problem in existing multimodal safety benchmarks, i.e., the potentially risky and sensitive content in the image has been revealed in the textual query. In this way, MLLMs can easily refuse these sensitive text-image queries according to textual queries. However, image-text pairs without VSIL are common in real-world scenarios and are overlooked by existing multimodal safety benchmarks. To this end, we construct multimodal visual leakless safety benchmark (VLSBench) preventing visual safety leakage from image to textual query with 2.4k image-text pairs. Experimental results indicate that VLSBench poses a significant challenge to both open-source and close-source MLLMs, including LLaVA, Qwen2-VL, Llama3.2-Vision, and GPT-4o. This study demonstrates that textual alignment is enough for multimodal safety scenarios with VSIL, while multimodal alignment is a more promising solution for multimodal safety scenarios without VSIL. Please see our code and data at: http://hxhcreate.github.io/VLSBench
• Abstract（参考訳）: MLLM(Multimodal large language model)の安全性に関する懸念は、様々なアプリケーションにおいて徐々に重要な問題となっている。 意外なことに、以前の研究は、テキストアンラーニングを使ってMLLMを整列させることで、画像とテキストのペアで訓練されたMLLMと同等の安全性を実現するという、直感に反する現象を示している。 このような直感的現象を説明するため、既存のマルチモーダル安全ベンチマークにおいて、画像内の潜在的危険でセンシティブなコンテンツがテキストクエリで明らかになった視覚的安全情報漏洩(VSIL)問題を発見した。 このようにして、MLLMはこれらのセンシティブなテキストイメージクエリをテキストクエリに従って簡単に拒否することができる。 しかし、VSILのない画像テキストペアは現実のシナリオでは一般的であり、既存のマルチモーダル安全性ベンチマークでは見過ごされている。 そこで本稿では,VLSBench (Multimodal visual leakless safety benchmark) を構築し,2.4kの画像テキストペアによる画像からテキストへの視覚的安全性の漏洩を防止する。 実験の結果、VLSBenchはLLaVA、Qwen2-VL、Llama3.2-Vision、GPT-4oなど、オープンソースとオープンソース両方のMLLMにとって大きな課題であることが示された。 本研究では、テキストアライメントがVSILのマルチモーダルセーフティシナリオに十分であることを示す一方、マルチモーダルアライメントはVSILなしでのマルチモーダルセーフティシナリオに対してより有望なソリューションであることを示す。 コードとデータをご覧ください。 http://hxhcreate.github.io/VLSBench

関連論文リスト

• Seeing is Deceiving: Exploitation of Visual Pathways in Multi-Modal Language Models [0.0]
  MLLM(Multi-Modal Language Models)は、視覚データとテキストデータを組み合わせた人工知能である。 攻撃者は視覚的またはテキスト的な入力を操作するか、あるいは両方を操作して、意図しないあるいは有害な応答をモデルに生成させる。 本稿では,MLLMの視覚的入力が様々な攻撃戦略によってどのように活用できるかを概説する。
  論文  参考訳（メタデータ） (2024-11-07T16:21:18Z)
• Multimodal Situational Safety [73.63981779844916]
  マルチモーダル・シチュエーション・セーフティ(Multimodal situational Safety)と呼ばれる新しい安全課題の評価と分析を行う。 MLLMが言語やアクションを通じても安全に応答するためには、言語クエリが対応する視覚的コンテキスト内での安全性への影響を評価する必要があることが多い。 我々は,現在のMLLMの状況安全性能を評価するためのマルチモーダル状況安全ベンチマーク(MSSBench)を開発した。
  論文  参考訳（メタデータ） (2024-10-08T16:16:07Z)
• TrojVLM: Backdoor Attack Against Vision Language Models [50.87239635292717]
  本研究では、視覚言語モデル(VLM)を対象としたバックドアアタックの最初の調査であるTrojVLMを紹介する。 TrojVLMは、有毒な画像に遭遇したとき、所定のターゲットテキストを出力テキストに挿入する。 画像内容のセマンティックな整合性を確保するために,新たなセマンティック保存損失を提案する。
  論文  参考訳（メタデータ） (2024-09-28T04:37:09Z)
• CoCA: Regaining Safety-awareness of Multimodal Large Language Models with Constitutional Calibration [90.36429361299807]
  マルチモーダルな大言語モデル (MLLM) は、視覚的な入力を含む会話への関与において顕著な成功を収めている。 視覚的モダリティの統合は、MLLMが悪意のある視覚的入力に影響を受けやすいという、ユニークな脆弱性を導入している。 本稿では,出力分布を校正することでMLLMの安全性を向上するCoCA技術を紹介する。
  論文  参考訳（メタデータ） (2024-09-17T17:14:41Z)
• AIM: Let Any Multi-modal Large Language Models Embrace Efficient In-Context Learning [15.770849688170477]
  インコンテキスト学習(ICL)は、数十億のパラメータを更新することなく、下流タスクに創発的な能力を示す大規模言語モデルを容易にする。 ほとんどのMLLMはシングルイメージのデータセットでのみトレーニングされているため、マルチモーダルなデモンストレーションは読めない。 textbfAggregating textbf Image information of textbfMultimodal demonstrations to the dense latent space of the corresponding language part。
  論文  参考訳（メタデータ） (2024-06-11T08:12:43Z)
• AVIBench: Towards Evaluating the Robustness of Large Vision-Language Model on Adversarial Visual-Instructions [52.9787902653558]
  LVLM(Large Vision-Language Models)は、視覚的インストラクションに対するユーザからの対応において、大きな進歩を見せている。 LVLMのこのような脅威に対する堅牢性の重要性にもかかわらず、この分野の現在の研究は限られている。 AVIBenchは、様々な対向的な視覚的命令に直面した場合のLVLMの堅牢性を分析するために設計されたフレームワークである。
  論文  参考訳（メタデータ） (2024-03-14T12:51:07Z)
• MM-SafetyBench: A Benchmark for Safety Evaluation of Multimodal Large Language Models [41.708401515627784]
  我々は,Multimodal Large Language Models (MLLM) がクエリ関連画像によって容易に損なわれることを観察した。 画像ベース操作に対するMLLMの安全性クリティカルな評価を行うためのフレームワークであるMM-SafetyBenchを紹介する。 我々の研究は、潜在的に悪意のある悪用に対して、オープンソースのMLLMの安全性対策を強化し、強化するための協力的な努力の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-11-29T12:49:45Z)
• LION : Empowering Multimodal Large Language Model with Dual-Level Visual Knowledge [58.82222646803248]
  MLLM(Multimodal Large Language Models)は、マルチモーダル信号の知覚と理解が可能なLLMを提供する。 既存のMLLMの多くは、大まかに整列された画像テキストペアで事前訓練された視覚エンコーダを採用しており、視覚知識の抽出と推論が不十分である。 本稿では,2段階の視覚的知識を注入することによってMLLMを増強する,デュアルレベルvIsual knedgeOwl eNhanced Multimodal Large Language Model (LION)を提案する。
  論文  参考訳（メタデータ） (2023-11-20T15:56:44Z)
• FigStep: Jailbreaking Large Vision-language Models via Typographic Visual Prompts [14.948652267916149]
  大規模視覚言語モデル(VLM)に対するジェイルブレイクアルゴリズムであるFigStepを提案する。 FigStepはテキストに有害な指示を直接送る代わりに、タイポグラフィーによって有害なコンテンツを画像に変換する。 FigStepは10のトピックで500の有害なクエリに対して平均82.50%の攻撃成功率を達成することができる。
  論文  参考訳（メタデータ） (2023-11-09T18:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。