論文の概要: Safety of Multimodal Large Language Models on Images and Text
- arxiv url: http://arxiv.org/abs/2402.00357v2
- Date: Sun, 25 Feb 2024 03:20:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 23:57:57.685489
- Title: Safety of Multimodal Large Language Models on Images and Text
- Title(参考訳): 画像とテキストによるマルチモーダル大言語モデルの安全性
- Authors: Xin Liu, Yichen Zhu, Yunshi Lan, Chao Yang, Yu Qiao
- Abstract要約: 本稿では,MLLMの安全性の評価,攻撃,防衛に関する現在の取り組みを,画像やテキスト上で体系的に調査する。
MLLMの安全性を評価するための評価データセットと指標について概説する。
次に,MLLMの安全性に関する攻撃・防御技術について概説する。
- 参考スコア(独自算出の注目度): 36.44982556551557
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Attracted by the impressive power of Multimodal Large Language Models
(MLLMs), the public is increasingly utilizing them to improve the efficiency of
daily work. Nonetheless, the vulnerabilities of MLLMs to unsafe instructions
bring huge safety risks when these models are deployed in real-world scenarios.
In this paper, we systematically survey current efforts on the evaluation,
attack, and defense of MLLMs' safety on images and text. We begin with
introducing the overview of MLLMs on images and text and understanding of
safety, which helps researchers know the detailed scope of our survey. Then, we
review the evaluation datasets and metrics for measuring the safety of MLLMs.
Next, we comprehensively present attack and defense techniques related to
MLLMs' safety. Finally, we analyze several unsolved issues and discuss
promising research directions. The latest papers are continually collected at
https://github.com/isXinLiu/MLLM-Safety-Collection.
- Abstract(参考訳): MLLM(Multimodal Large Language Models)の印象的なパワーに魅了され、日々の作業の効率を改善するために、その活用がますます進んでいる。
それでも、安全でない命令に対するmllmの脆弱性は、これらのモデルが現実世界のシナリオにデプロイされると、大きな安全性リスクをもたらす。
本稿では,MLLMの安全性の評価,攻撃,防衛に関する現在の取り組みを,画像やテキスト上で体系的に調査する。
まず、画像とテキストに関するMLLMの概要と安全性の理解から始め、研究者が調査の詳細な範囲を知るのに役立ちます。
次に,MLLMの安全性を評価するための評価データセットと指標について検討する。
次に,MLLMの安全性に関する攻撃・防御技術について概説する。
最後に,未解決問題を分析し,今後の研究方針について考察する。
最新の論文はhttps://github.com/isXinLiu/MLLM-Safety-Collectionで継続的に収集されている。
関連論文リスト
- Eyes Closed, Safety On: Protecting Multimodal LLMs via Image-to-Text Transformation [98.02846901473697]
MLLMの安全性を意識した新しいトレーニング不要保護手法ECSO(Eyes Closed, Safety On, Eyes Closed, Safety On)を提案する。
ECSOは、安全でない画像をテキストに適応的に変換することで、より安全な応答を生成し、あらかじめ整列されたLCMの本質的な安全性メカニズムを活性化する。
論文 参考訳(メタデータ) (2024-03-14T17:03:04Z) - ShieldLM: Empowering LLMs as Aligned, Customizable and Explainable
Safety Detectors [93.43498570530565]
ShieldLMはLarge Language Models (LLMs) の安全検知装置であり、一般的な人間の安全基準に適合する。
ShieldLMは4つのテストセットにまたがる強力なベースラインを超えており、優れたカスタマイズ性と説明可能性を示している。
論文 参考訳(メタデータ) (2024-02-26T09:43:02Z) - The Art of Defending: A Systematic Evaluation and Analysis of LLM
Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。
本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
論文 参考訳(メタデータ) (2023-12-30T17:37:06Z) - MM-SafetyBench: A Benchmark for Safety Evaluation of Multimodal Large
Language Models [44.1948821279342]
我々は,Multimodal Large Language Models (MLLM) がクエリ関連画像によって容易に損なわれることを観察した。
画像ベース操作に対するMLLMの安全性クリティカルな評価を行うためのフレームワークであるMM-SafetyBenchを紹介する。
我々の研究は、潜在的に悪意のある悪用に対して、オープンソースのMLLMの安全性対策を強化し、強化するための協力的な努力の必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-11-29T12:49:45Z) - SafetyBench: Evaluating the Safety of Large Language Models with
Multiple Choice Questions [56.70459851230943]
SafetyBenchは、大規模言語モデル(LLM)の安全性を評価するための包括的なベンチマークである。
11,435 の多様な選択質問が 7 つの異なるカテゴリーの安全問題にまたがっている。
ゼロショット設定と少数ショット設定の両方で、中国語と英語のLLMを25回以上テストしたところ、GPT-4よりも大幅にパフォーマンス上の優位性を示しました。
論文 参考訳(メタデータ) (2023-09-13T15:56:50Z) - Safety Assessment of Chinese Large Language Models [51.83369778259149]
大規模言語モデル(LLM)は、侮辱や差別的なコンテンツを生成し、誤った社会的価値を反映し、悪意のある目的のために使用されることがある。
安全で責任があり倫理的なAIの展開を促進するため、LLMによる100万の強化プロンプトとレスポンスを含むセーフティプロンプトをリリースする。
論文 参考訳(メタデータ) (2023-04-20T16:27:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。