論文の概要: B-AVIBench: Towards Evaluating the Robustness of Large Vision-Language Model on Black-box Adversarial Visual-Instructions

• arxiv url: http://arxiv.org/abs/2403.09346v2
• Date: Sat, 28 Dec 2024 07:32:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 22:07:02.220869
• Title: B-AVIBench: Towards Evaluating the Robustness of Large Vision-Language Model on Black-box Adversarial Visual-Instructions
• Title（参考訳）: B-AVIBench:ブラックボックスの対角的視覚教育における大規模視覚言語モデルのロバスト性評価に向けて
• Authors: Hao Zhang, Wenqi Shao, Hong Liu, Yongqiang Ma, Ping Luo, Yu Qiao, Nanning Zheng, Kaipeng Zhang,
• Abstract要約: LVLM(Large Vision-Language Models)は、ユーザからの視覚的指示に応答する上で、大きな進歩を見せている。 画像とテキストを含むこれらの命令は、意図的および意図しない攻撃の両方に影響を受けやすい。 B-AVIBenchは,様々なブラックボックス・アドミラル・ビジュアル・インストラクションに直面する場合のLVLMのロバスト性を解析するためのフレームワークである。
• 参考スコア（独自算出の注目度）: 73.97665608366447
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Vision-Language Models (LVLMs) have shown significant progress in responding well to visual-instructions from users. However, these instructions, encompassing images and text, are susceptible to both intentional and inadvertent attacks. Despite the critical importance of LVLMs' robustness against such threats, current research in this area remains limited. To bridge this gap, we introduce B-AVIBench, a framework designed to analyze the robustness of LVLMs when facing various Black-box Adversarial Visual-Instructions (B-AVIs), including four types of image-based B-AVIs, ten types of text-based B-AVIs, and nine types of content bias B-AVIs (such as gender, violence, cultural, and racial biases, among others). We generate 316K B-AVIs encompassing five categories of multimodal capabilities (ten tasks) and content bias. We then conduct a comprehensive evaluation involving 14 open-source LVLMs to assess their performance. B-AVIBench also serves as a convenient tool for practitioners to evaluate the robustness of LVLMs against B-AVIs. Our findings and extensive experimental results shed light on the vulnerabilities of LVLMs, and highlight that inherent biases exist even in advanced closed-source LVLMs like GeminiProVision and GPT-4V. This underscores the importance of enhancing the robustness, security, and fairness of LVLMs. The source code and benchmark are available at https://github.com/zhanghao5201/B-AVIBench.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、ユーザからの視覚的指示に応答する上で、大きな進歩を見せている。 しかしながら、画像やテキストを含むこれらの命令は、意図的および意図しない攻撃の両方に影響を受けやすい。 LVLMのこのような脅威に対する堅牢性の重要性にもかかわらず、この分野の現在の研究は限られている。 このギャップを埋めるために,B-AVIBenchは,4種類の画像ベースB-AVI,10種類のテキストベースB-AVI,9種類のコンテンツバイアスB-AVI(性別,暴力,文化的,人種的偏見など)を含む,様々なブラックボックス・アドバイザリ・ビジュアル・インストラクション(B-AVI)に直面するLVLMの堅牢性を分析するために設計されたフレームワークである。 マルチモーダル機能(10タスク)とコンテンツバイアスの5つのカテゴリを含む316KのB-AVIを生成する。 次に、14のオープンソースLVLMを包括的に評価し、その性能を評価する。 B-AVIBenchは、B-AVIに対するLVLMの堅牢性を評価するための便利なツールでもある。 以上の結果から,GeminiProVision や GPT-4V といった先進的なクローズドソース LVLM においても,固有のバイアスが存在することが明らかとなった。 このことは、LVLMの堅牢性、セキュリティ、公正性を高めることの重要性を浮き彫りにしている。 ソースコードとベンチマークはhttps://github.com/zhanghao5201/B-AVIBench.comで公開されている。

関連論文リスト

• Benchmarking Large Vision-Language Models on Fine-Grained Image Tasks: A Comprehensive Evaluation [53.84282335629258]
  我々は349万の質問と332万の画像からなる総合的なきめ細かい評価ベンチマーク、すなわちFG-BMKを導入する。 本評価では,人間指向と機械指向の両方の観点からLVLMを体系的に検討する。 トレーニングパラダイム,モダリティアライメント,摂動感受性,および細粒度カテゴリー推論がタスクパフォーマンスに与える影響について,重要な知見を明らかにした。
  論文  参考訳（メタデータ） (2025-04-21T09:30:41Z)
• Can LVLMs and Automatic Metrics Capture Underlying Preferences of Blind and Low-Vision Individuals for Navigational Aid? [16.31494394717809]
  Blind and Low-Vision (BLV) の人々は周囲、特に馴染みの無い環境での理解を支援する必要がある。 LVLM(Large Vision-Language Models)の多様なタイプやスタイルの応答に対するBLVユーザの嗜好についてはまだ研究されていない。 最初にEye4Bデータセットを構築し,人間による評価1.1kの屋外/屋内シーンと,シーン毎に5～10の関連要求を処理した。 次に,8人のBLVユーザによる詳細なユーザスタディを行い,6つのLVLM(Afraidness, Nonactionability, Sufficiency, Conciseness)の視点で好みを評価する。
  論文  参考訳（メタデータ） (2025-02-15T10:17:52Z)
• Retention Score: Quantifying Jailbreak Risks for Vision Language Models [60.48306899271866]
  VLM(Vision-Language Models)はLarge Language Models (LLM)と統合され、マルチモーダル機械学習機能を強化する。 本研究の目的は, モデル安全コンプライアンスを損なう可能性のある脱獄攻撃に対するVLMのレジリエンスを評価し, 有害な出力をもたらすことにある。 逆入力摂動に対するVLMの頑健性を評価するために,textbfRetention Scoreと呼ばれる新しい指標を提案する。
  論文  参考訳（メタデータ） (2024-12-23T13:05:51Z)
• A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends [78.3201480023907]
  LVLM(Large Vision-Language Models)は、多モーダルな理解と推論タスクにまたがる顕著な能力を示す。 LVLMの脆弱性は比較的過小評価されており、日々の使用において潜在的なセキュリティリスクを生じさせる。 本稿では,既存のLVLM攻撃の様々な形態について概説する。
  論文  参考訳（メタデータ） (2024-07-10T06:57:58Z)
• WildVision: Evaluating Vision-Language Models in the Wild with Human Preferences [122.87483437694706]
  WildVision-Arena(WV-Arena)は、人間の好みを収集して視覚言語モデル(VLM)を評価するオンラインプラットフォームです。 WV-ベンチは、それぞれのVLMとClaude-3-Sonnetを比較し、WV-Arena Eloの0.94のスピアマン相関を達成している。 実世界の20万件のインタラクションを包括的に分析した結果,トップパフォーマンスのVLMの障害事例に対する重要な洞察が得られた。
  論文  参考訳（メタデータ） (2024-06-16T20:53:25Z)
• Safety Alignment for Vision Language Models [21.441662865727448]
  安全モジュールの追加により視覚言語モデル(VLM)の視覚的モダリティ安全アライメントを強化する。 提案手法は使いやすさ,高い柔軟性,強力な制御性を備え,モデル全体の性能に最小限の影響を与えながら安全性を向上させる。
  論文  参考訳（メタデータ） (2024-05-22T12:21:27Z)
• Finer: Investigating and Enhancing Fine-Grained Visual Concept Recognition in Large Vision Language Models [57.95366341738857]
  詳細な分析では、命令調整されたLVLMはモダリティギャップを示し、同じ概念に対応するテキスト入力と視覚入力の相違を示す。 我々は,LVLMの細粒度視覚理解能力を評価するために,複数の属性中心評価ベンチマークであるFinerを提案し,説明可能性を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-26T05:43:51Z)
• Safety Fine-Tuning at (Almost) No Cost: A Baseline for Vision Large Language Models [39.56233272612982]
  現在の視覚大言語モデル(VLLM)は、有害なコンテンツを生成する傾向があり、ジェイルブレイク攻撃に弱い。 最初の分析では、視覚言語指導の微調整中に有害なデータが存在することが原因であることが判明した。 この問題に対処するために、まず、様々な有害なカテゴリをカバーする視覚言語安全な命令追従データセットVLGuardをキュレートする。
  論文  参考訳（メタデータ） (2024-02-03T16:43:42Z)
• How Many Unicorns Are in This Image? A Safety Evaluation Benchmark for Vision LLMs [55.91371032213854]
  本研究は視覚的推論におけるビジョンLLM(VLLM)の可能性に焦点を当てる。 本稿では、アウト・オブ・ディストリビューション(OOD)の一般化と敵の堅牢性の両方をカバーする包括的安全性評価スイートを紹介する。
  論文  参考訳（メタデータ） (2023-11-27T18:59:42Z)
• FigStep: Jailbreaking Large Vision-language Models via Typographic Visual Prompts [14.948652267916149]
  大規模視覚言語モデル(VLM)に対するジェイルブレイクアルゴリズムであるFigStepを提案する。 FigStepはテキストに有害な指示を直接送る代わりに、タイポグラフィーによって有害なコンテンツを画像に変換する。 FigStepは10のトピックで500の有害なクエリに対して平均82.50%の攻撃成功率を達成することができる。
  論文  参考訳（メタデータ） (2023-11-09T18:59:11Z)
• On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
  大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。 特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。 これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T13:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。