論文の概要: MLLMGuard: A Multi-dimensional Safety Evaluation Suite for Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2406.07594v2
• Date: Thu, 13 Jun 2024 11:22:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 13:45:10.073174
• Title: MLLMGuard: A Multi-dimensional Safety Evaluation Suite for Multimodal Large Language Models
• Title（参考訳）: MLLMGuard:マルチモーダル大言語モデルのための多次元安全評価スイート
• Authors: Tianle Gu, Zeyang Zhou, Kexin Huang, Dandan Liang, Yixu Wang, Haiquan Zhao, Yuanqi Yao, Xingge Qiao, Keqing Wang, Yujiu Yang, Yan Teng, Yu Qiao, Yingchun Wang,
• Abstract要約: 本稿では,MLLMの多次元安全性評価スイートであるMLLMGuardを紹介する。 バイリンガル画像テキスト評価データセット、推論ユーティリティ、軽量評価器が含まれている。 13種類の先進モデルに対する評価結果は,MLLMが安全かつ責任を負うことができるまでには,まだかなりの道のりを歩んでいることを示唆している。
• 参考スコア（独自算出の注目度）: 39.97454990633856
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Powered by remarkable advancements in Large Language Models (LLMs), Multimodal Large Language Models (MLLMs) demonstrate impressive capabilities in manifold tasks. However, the practical application scenarios of MLLMs are intricate, exposing them to potential malicious instructions and thereby posing safety risks. While current benchmarks do incorporate certain safety considerations, they often lack comprehensive coverage and fail to exhibit the necessary rigor and robustness. For instance, the common practice of employing GPT-4V as both the evaluator and a model to be evaluated lacks credibility, as it tends to exhibit a bias toward its own responses. In this paper, we present MLLMGuard, a multidimensional safety evaluation suite for MLLMs, including a bilingual image-text evaluation dataset, inference utilities, and a lightweight evaluator. MLLMGuard's assessment comprehensively covers two languages (English and Chinese) and five important safety dimensions (Privacy, Bias, Toxicity, Truthfulness, and Legality), each with corresponding rich subtasks. Focusing on these dimensions, our evaluation dataset is primarily sourced from platforms such as social media, and it integrates text-based and image-based red teaming techniques with meticulous annotation by human experts. This can prevent inaccurate evaluation caused by data leakage when using open-source datasets and ensures the quality and challenging nature of our benchmark. Additionally, a fully automated lightweight evaluator termed GuardRank is developed, which achieves significantly higher evaluation accuracy than GPT-4. Our evaluation results across 13 advanced models indicate that MLLMs still have a substantial journey ahead before they can be considered safe and responsible.
• Abstract（参考訳）: LLM(Large Language Models)やMLLM(Multimodal Large Language Models)の顕著な進歩によって、多様体のタスクにおける印象的な能力が示される。 しかし、MLLMの実践的な応用シナリオは複雑であり、悪意のある命令に晒され、それによって安全性のリスクが生じる。 現在のベンチマークには特定の安全性の考慮事項が含まれているが、包括的なカバレッジが欠如しており、必要な厳密さと堅牢性を示すことができないことが多い。 例えば、評価対象と評価対象のモデルの両方にGPT-4Vを用いるという一般的な実践は、自分自身の反応に偏りを示す傾向があるため、信頼性に欠ける。 本稿では,MLLMの多次元安全性評価スイートであるMLLMGuardについて述べる。 MLLMGuardの評価は、2つの言語(英語と中国語)と5つの重要な安全次元(Privacy, Bias, Toxicity, Truthfulness, Legality)を包括的にカバーしている。 これらの次元に着目して、評価データセットは主にソーシャルメディアなどのプラットフォームから作成されており、テキストベースおよび画像ベースのレッドチーム技術と、人間の専門家による巧妙なアノテーションを統合している。 これにより、オープンソースのデータセットを使用する際のデータ漏洩による不正確な評価が防止され、ベンチマークの品質と課題の性質が保証される。 さらに、完全に自動化された軽量評価器であるGuardRankが開発され、GPT-4よりも高い評価精度を実現している。 13種類の先進モデルに対する評価結果は,MLLMが安全かつ責任を負うことができるまでには,まだかなりの道のりを歩んでいることを示唆している。

関連論文リスト

• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal Behaviors [64.9938658716425]
  安全でないユーザリクエストを認識して拒否する、大規模な言語モデル(LLM)の既存の評価は、3つの制限に直面している。 まず、既存の手法では、安全でないトピックの粗い粒度を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。 第3に、既存の評価は大きなLCMに頼っているため、コストがかかる可能性がある。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• Benchmarking Trustworthiness of Multimodal Large Language Models: A Comprehensive Study [51.19622266249408]
  MultiTrustはMLLMの信頼性に関する最初の総合的で統一されたベンチマークである。 我々のベンチマークでは、マルチモーダルリスクとクロスモーダルインパクトの両方に対処する厳格な評価戦略を採用している。 21の近代MLLMによる大規模な実験は、これまで調査されなかった信頼性の問題とリスクを明らかにしている。
  論文  参考訳（メタデータ） (2024-06-11T08:38:13Z)
• MM-SafetyBench: A Benchmark for Safety Evaluation of Multimodal Large Language Models [41.708401515627784]
  我々は,Multimodal Large Language Models (MLLM) がクエリ関連画像によって容易に損なわれることを観察した。 画像ベース操作に対するMLLMの安全性クリティカルな評価を行うためのフレームワークであるMM-SafetyBenchを紹介する。 我々の研究は、潜在的に悪意のある悪用に対して、オープンソースのMLLMの安全性対策を強化し、強化するための協力的な努力の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-11-29T12:49:45Z)
• Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
  本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。 我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
  論文  参考訳（メタデータ） (2023-08-25T14:02:12Z)
• Safety Assessment of Chinese Large Language Models [51.83369778259149]
  大規模言語モデル(LLM)は、侮辱や差別的なコンテンツを生成し、誤った社会的価値を反映し、悪意のある目的のために使用されることがある。 安全で責任があり倫理的なAIの展開を促進するため、LLMによる100万の強化プロンプトとレスポンスを含むセーフティプロンプトをリリースする。
  論文  参考訳（メタデータ） (2023-04-20T16:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。