論文の概要: A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends

• arxiv url: http://arxiv.org/abs/2407.07403v2
• Date: Fri, 12 Jul 2024 03:58:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 03:58:18.377131
• Title: A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends
• Title（参考訳）: 大規模視線モデルに対する攻撃調査:資源・進歩・今後の動向
• Authors: Daizong Liu, Mingyu Yang, Xiaoye Qu, Pan Zhou, Yu Cheng, Wei Hu,
• Abstract要約: LVLM(Large Vision-Language Models)は、多モーダルな理解と推論タスクにまたがる顕著な能力を示す。 LVLMの脆弱性は比較的過小評価されており、日々の使用において潜在的なセキュリティリスクを生じさせる。 本稿では,既存のLVLM攻撃の様々な形態について概説する。
• 参考スコア（独自算出の注目度）: 78.3201480023907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the significant development of large models in recent years, Large Vision-Language Models (LVLMs) have demonstrated remarkable capabilities across a wide range of multimodal understanding and reasoning tasks. Compared to traditional Large Language Models (LLMs), LVLMs present great potential and challenges due to its closer proximity to the multi-resource real-world applications and the complexity of multi-modal processing. However, the vulnerability of LVLMs is relatively underexplored, posing potential security risks in daily usage. In this paper, we provide a comprehensive review of the various forms of existing LVLM attacks. Specifically, we first introduce the background of attacks targeting LVLMs, including the attack preliminary, attack challenges, and attack resources. Then, we systematically review the development of LVLM attack methods, such as adversarial attacks that manipulate model outputs, jailbreak attacks that exploit model vulnerabilities for unauthorized actions, prompt injection attacks that engineer the prompt type and pattern, and data poisoning that affects model training. Finally, we discuss promising research directions in the future. We believe that our survey provides insights into the current landscape of LVLM vulnerabilities, inspiring more researchers to explore and mitigate potential safety issues in LVLM developments. The latest papers on LVLM attacks are continuously collected in https://github.com/liudaizong/Awesome-LVLM-Attack.
• Abstract（参考訳）: 近年の大規模モデルの発展に伴い、LVLM(Large Vision-Language Models)は多モード理解と推論タスクの幅広い分野において顕著な機能を示した。 LVLMは従来のLarge Language Models (LLMs)と比較して、マルチリソースの現実世界アプリケーションに近づき、マルチモーダル処理の複雑さのため、大きな可能性と課題を示す。 しかし、LVLMsの脆弱性は比較的過小評価されており、日々の使用において潜在的なセキュリティリスクを生じさせている。 本稿では,既存のLVLM攻撃の様々な形態について概説する。 具体的には、まず、攻撃予備、攻撃課題、攻撃資源を含むLVLMをターゲットにした攻撃の背景を紹介する。 次に,モデル出力を操作する敵攻撃,不正行為のモデル脆弱性を悪用するジェイルブレイク攻撃,プロンプト型とパターンを設計するインジェクション攻撃,モデルトレーニングに影響を与えるデータ中毒など,LVLM攻撃手法の開発を体系的に検討する。 最後に,将来的な研究の方向性について論じる。 我々の調査は、LVLMの脆弱性の現在の状況に関する洞察を提供し、より多くの研究者がLVLM開発における潜在的な安全性問題を探求し緩和するよう促していると信じています。 LVLM攻撃に関する最新の論文は、https://github.com/liudaizong/Awesome-LVLM-Attack.comで継続的に収集されている。

関連論文リスト

• Defending Large Language Models Against Attacks With Residual Stream Activation Analysis [0.0]
  大規模言語モデル(LLM)は敵の脅威に対して脆弱である。 本稿では, LLM へのホワイトボックスアクセスを前提とした, 革新的な防御戦略を提案する。 そこで本研究では,アタックプロンプト分類のための残差ストリームの固有なアクティベーションパターンを解析するための新しい手法を適用した。
  論文  参考訳（メタデータ） (2024-06-05T13:06:33Z)
• Investigating the prompt leakage effect and black-box defenses for multi-turn LLM interactions [125.21418304558948]
  大きな言語モデル(LLM)の漏洩は、セキュリティとプライバシの重大な脅威を引き起こす。 マルチターンLDM相互作用の漏洩と緩和戦略は、標準化された方法では研究されていない。 本稿では,4つの異なるドメインと10のクローズドおよびオープンソース LLM にまたがる急激なリークに対するLSM 脆弱性について検討する。
  論文  参考訳（メタデータ） (2024-04-24T23:39:58Z)
• Breaking Down the Defenses: A Comparative Survey of Attacks on Large Language Models [18.624280305864804]
  大規模言語モデル(LLM)は自然言語処理(NLP)分野の基盤となっている。 本稿では,LSMを標的とした様々な攻撃形態の包括的調査を行う。 モデルアウトプットを操作するための敵攻撃、モデルトレーニングに影響を与えるデータ中毒、データエクスプロイトのトレーニングに関連するプライバシー上の懸念などについて調べる。
  論文  参考訳（メタデータ） (2024-03-03T04:46:21Z)
• A Comprehensive Survey of Attack Techniques, Implementation, and Mitigation Strategies in Large Language Models [0.0]
  この記事では、モデル自体に対する攻撃と、モデルアプリケーションに対する攻撃という2つの攻撃カテゴリについて説明する。 前者は専門知識、モデルデータへのアクセス、重要な実装時間が必要です。 後者は攻撃者にはよりアクセスしやすく、注目されている。
  論文  参考訳（メタデータ） (2023-12-18T07:07:32Z)
• Attack Prompt Generation for Red Teaming and Defending Large Language Models [70.157691818224]
  大規模言語モデル (LLM) は、有害なコンテンツを生成するためにLSMを誘導するレッド・チーム・アタックの影響を受けやすい。 本稿では、手動と自動の手法を組み合わせて、高品質な攻撃プロンプトを経済的に生成する統合的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-19T06:15:05Z)
• PoisonPrompt: Backdoor Attack on Prompt-based Large Language Models [11.693095252994482]
  硬質および軟質のプロンプトベースのLLMを両立させる新しいバックドアアタックであるPOISONPROMPTを提案する。 本研究は,プロンプトをベースとしたLSMに対するバックドア攻撃によるセキュリティの脅威を浮き彫りにし,さらなる研究の必要性を強調した。
  論文  参考訳（メタデータ） (2023-10-19T03:25:28Z)
• Privacy in Large Language Models: Attacks, Defenses and Future Directions [46.30861174408193]
  大規模言語モデル(LLM)を対象とした現在のプライバシ攻撃を分析し、敵の想定能力に応じて分類する。 本稿では、これらのプライバシー攻撃に対抗するために開発された防衛戦略について概説する。
  論文  参考訳（メタデータ） (2023-10-16T13:23:54Z)
• Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
  視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。 我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。 本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
  論文  参考訳（メタデータ） (2023-06-22T22:13:03Z)
• On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
  大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。 特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。 これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T13:49:44Z)
• On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
  本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。 本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
  論文  参考訳（メタデータ） (2023-05-23T04:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。