論文の概要: A Survey of Safety on Large Vision-Language Models: Attacks, Defenses and Evaluations

• arxiv url: http://arxiv.org/abs/2502.14881v1
• Date: Fri, 14 Feb 2025 08:42:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 02:51:34.637254
• Title: A Survey of Safety on Large Vision-Language Models: Attacks, Defenses and Evaluations
• Title（参考訳）: 大規模ビジョンランゲージモデルの安全性に関する調査--攻撃・防衛・評価
• Authors: Mang Ye, Xuankun Rong, Wenke Huang, Bo Du, Nenghai Yu, Dacheng Tao,
• Abstract要約: この調査はLVLMの安全性を包括的に分析し、攻撃、防御、評価方法などの重要な側面をカバーする。 我々はこれらの相互関連コンポーネントを統合する統一フレームワークを導入し、LVLMの脆弱性を概観する。 我々は,最新のLVLMであるDeepseek Janus-Pro上で一連の安全性評価を行い,その結果を理論的に分析する。
• 参考スコア（独自算出の注目度）: 127.52707312573791
• License:
• Abstract: With the rapid advancement of Large Vision-Language Models (LVLMs), ensuring their safety has emerged as a crucial area of research. This survey provides a comprehensive analysis of LVLM safety, covering key aspects such as attacks, defenses, and evaluation methods. We introduce a unified framework that integrates these interrelated components, offering a holistic perspective on the vulnerabilities of LVLMs and the corresponding mitigation strategies. Through an analysis of the LVLM lifecycle, we introduce a classification framework that distinguishes between inference and training phases, with further subcategories to provide deeper insights. Furthermore, we highlight limitations in existing research and outline future directions aimed at strengthening the robustness of LVLMs. As part of our research, we conduct a set of safety evaluations on the latest LVLM, Deepseek Janus-Pro, and provide a theoretical analysis of the results. Our findings provide strategic recommendations for advancing LVLM safety and ensuring their secure and reliable deployment in high-stakes, real-world applications. This survey aims to serve as a cornerstone for future research, facilitating the development of models that not only push the boundaries of multimodal intelligence but also adhere to the highest standards of security and ethical integrity. Furthermore, to aid the growing research in this field, we have created a public repository to continuously compile and update the latest work on LVLM safety: https://github.com/XuankunRong/Awesome-LVLM-Safety .
• Abstract（参考訳）: LVLM(Large Vision-Language Models)の急速な進歩により、その安全性が重要な研究領域として浮上した。 この調査はLVLMの安全性を包括的に分析し、攻撃、防御、評価方法などの重要な側面をカバーする。 我々はこれらの相互関連コンポーネントを統合する統一フレームワークを導入し、LVLMの脆弱性とそれに対応する緩和戦略の全体像を提供する。 LVLMライフサイクルの分析を通じて、推論とトレーニングフェーズを区別する分類フレームワークを導入し、より深い洞察を提供する。 さらに,LVLMのロバスト性を高めることを目的とした,既存研究の限界を強調し,今後の方向性を概説する。 本研究の一環として, 最新のLVLMであるDeepseek Janus-Proの安全性評価を行い, 結果の理論的解析を行った。 本研究は,LVLMの安全性を向上し,その安全性と信頼性を確保するための戦略的勧告である。 この調査は将来の研究の基盤となることを目的としており、マルチモーダルインテリジェンスの境界を推し進めるだけでなく、セキュリティと倫理的整合性の最高基準に準拠したモデルの開発を促進する。 さらに、この分野のさらなる研究を支援するために、LVLMの安全性に関する最新の作業を継続的にコンパイルし、更新するパブリックリポジトリを作成しました。

関連論文リスト

• When Data Manipulation Meets Attack Goals: An In-depth Survey of Attacks for VLMs [15.74045364570382]
  VLM(Vision-Language Models)に適した攻撃戦略を詳細に調査する。 我々はこれらの攻撃をその根底にある目的に基づいて分類する。 これらの脆弱性を軽減するために提案されている防衛機構について概説する。
  論文  参考訳（メタデータ） (2025-02-10T12:20:08Z)
• Large Language Model Safety: A Holistic Survey [35.42419096859496]
  大規模言語モデル(LLM)の急速な開発と展開により、人工知能の新たなフロンティアが導入された。 この調査は、LLMの安全性の現在の状況の概要を包括的に紹介し、価値のミスアライメント、敵の攻撃に対する堅牢性、誤用、自律的なAIリスクの4つの主要なカテゴリをカバーしている。
  論文  参考訳（メタデータ） (2024-12-23T16:11:27Z)
• A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends [78.3201480023907]
  LVLM(Large Vision-Language Models)は、多モーダルな理解と推論タスクにまたがる顕著な能力を示す。 LVLMの脆弱性は比較的過小評価されており、日々の使用において潜在的なセキュリティリスクを生じさせる。 本稿では,既存のLVLM攻撃の様々な形態について概説する。
  論文  参考訳（メタデータ） (2024-07-10T06:57:58Z)
• AI Safety in Generative AI Large Language Models: A Survey [14.737084887928408]
  生成的AI能力を示す大規模言語モデル(LLM)は、採用とイノベーションの加速に直面している。 生成AI(GAI)は、これらのモデルに関連するリスクと安全性に関する懸念を必然的に高める。 本稿では,コンピュータ科学者の視点からAI安全研究の最新の動向について報告する。
  論文  参考訳（メタデータ） (2024-07-06T09:00:18Z)
• Online Safety Analysis for LLMs: a Benchmark, an Assessment, and a Path Forward [9.218557081971708]
  大規模言語モデル(LLM)は多くの分野にまたがって広く応用されている。 その限定的な解釈可能性によって、複数の側面からの安全な操作が懸念される。 近年,LLMの品質保証手法の開発が進められている。
  論文  参考訳（メタデータ） (2024-04-12T14:55:16Z)
• SALAD-Bench: A Hierarchical and Comprehensive Safety Benchmark for Large Language Models [107.82336341926134]
  SALAD-Benchは、大規模言語モデル(LLM)を評価するために特別に設計された安全ベンチマークである。 それは、その大規模な、豊富な多様性、三つのレベルにまたがる複雑な分類、多目的機能を通じて、従来のベンチマークを超越している。
  論文  参考訳（メタデータ） (2024-02-07T17:33:54Z)
• The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
  大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。 本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:37:06Z)
• Safety Assessment of Chinese Large Language Models [51.83369778259149]
  大規模言語モデル(LLM)は、侮辱や差別的なコンテンツを生成し、誤った社会的価値を反映し、悪意のある目的のために使用されることがある。 安全で責任があり倫理的なAIの展開を促進するため、LLMによる100万の強化プロンプトとレスポンスを含むセーフティプロンプトをリリースする。
  論文  参考訳（メタデータ） (2023-04-20T16:27:35Z)
• Towards Safer Generative Language Models: A Survey on Safety Risks, Evaluations, and Improvements [76.80453043969209]
  本調査では,大規模モデルに関する安全研究の枠組みについて述べる。 まず、広範囲にわたる安全問題を導入し、その後、大型モデルの安全性評価手法を掘り下げる。 トレーニングからデプロイメントまで,大規模なモデルの安全性を高めるための戦略について検討する。
  論文  参考訳（メタデータ） (2023-02-18T09:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。