論文の概要: Safety at Scale: A Comprehensive Survey of Large Model Safety

• arxiv url: http://arxiv.org/abs/2502.05206v2
• Date: Wed, 12 Feb 2025 06:16:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:47:32.672715
• Title: Safety at Scale: A Comprehensive Survey of Large Model Safety
• Title（参考訳）: 大規模モデル安全性に関する総合的な調査
• Authors: Xingjun Ma, Yifeng Gao, Yixu Wang, Ruofan Wang, Xin Wang, Ye Sun, Yifan Ding, Hengyuan Xu, Yunhao Chen, Yunhan Zhao, Hanxun Huang, Yige Li, Jiaming Zhang, Xiang Zheng, Yang Bai, Zuxuan Wu, Xipeng Qiu, Jingfeng Zhang, Yiming Li, Jun Sun, Cong Wang, Jindong Gu, Baoyuan Wu, Siheng Chen, Tianwei Zhang, Yang Liu, Mingming Gong, Tongliang Liu, Shirui Pan, Cihang Xie, Tianyu Pang, Yinpeng Dong, Ruoxi Jia, Yang Zhang, Shiqing Ma, Xiangyu Zhang, Neil Gong, Chaowei Xiao, Sarah Erfani, Bo Li, Masashi Sugiyama, Dacheng Tao, James Bailey, Yu-Gang Jiang,
• Abstract要約: 我々は、敵攻撃、データ中毒、バックドア攻撃、ジェイルブレイクとプロンプトインジェクション攻撃、エネルギー遅延攻撃、データとモデル抽出攻撃、出現するエージェント固有の脅威を含む、大規模なモデルに対する安全脅威の包括的分類を提示する。 我々は、大規模なモデル安全性におけるオープンな課題を特定し、議論し、包括的な安全性評価、スケーラブルで効果的な防御機構、持続可能なデータプラクティスの必要性を強調します。
• 参考スコア（独自算出の注目度）: 299.801463557549
• License:
• Abstract: The rapid advancement of large models, driven by their exceptional abilities in learning and generalization through large-scale pre-training, has reshaped the landscape of Artificial Intelligence (AI). These models are now foundational to a wide range of applications, including conversational AI, recommendation systems, autonomous driving, content generation, medical diagnostics, and scientific discovery. However, their widespread deployment also exposes them to significant safety risks, raising concerns about robustness, reliability, and ethical implications. This survey provides a systematic review of current safety research on large models, covering Vision Foundation Models (VFMs), Large Language Models (LLMs), Vision-Language Pre-training (VLP) models, Vision-Language Models (VLMs), Diffusion Models (DMs), and large-model-based Agents. Our contributions are summarized as follows: (1) We present a comprehensive taxonomy of safety threats to these models, including adversarial attacks, data poisoning, backdoor attacks, jailbreak and prompt injection attacks, energy-latency attacks, data and model extraction attacks, and emerging agent-specific threats. (2) We review defense strategies proposed for each type of attacks if available and summarize the commonly used datasets and benchmarks for safety research. (3) Building on this, we identify and discuss the open challenges in large model safety, emphasizing the need for comprehensive safety evaluations, scalable and effective defense mechanisms, and sustainable data practices. More importantly, we highlight the necessity of collective efforts from the research community and international collaboration. Our work can serve as a useful reference for researchers and practitioners, fostering the ongoing development of comprehensive defense systems and platforms to safeguard AI models.
• Abstract（参考訳）: 大規模モデルの急速な進歩は、大規模な事前学習を通じて学習と一般化の異常な能力によって、人工知能(AI)の風景を形作っている。 これらのモデルは、会話型AI、レコメンデーションシステム、自律運転、コンテンツ生成、医療診断、科学的発見など、幅広い応用の基礎となっている。 しかし、彼らの広範な展開は、それらが重大な安全リスクに晒され、堅牢性、信頼性、倫理的影響に対する懸念も高めている。 この調査は、ビジョン基礎モデル(VFM)、大型言語モデル(LLM)、ビジョン言語事前訓練(VLP)モデル、ビジョン言語モデル(VLM)、拡散モデル(DM)、大型モデルベースエージェントなど、大規模なモデルに関する現在の安全性研究の体系的なレビューを提供する。 本研究は,(1)敵攻撃,データ中毒,バックドア攻撃,ジェイルブレイク・インジェクション攻撃,エネルギー遅延攻撃,データとモデル抽出攻撃,およびエージェント固有の脅威を含む,これらのモデルに対する安全脅威の包括的分類を提示する。 2) 攻撃の種類ごとに提案した防衛戦略を概説し, 安全研究に広く用いられているデータセットとベンチマークを要約する。 (3) これに基づいて, 大規模モデル安全性におけるオープンな課題を特定し議論し, 包括的安全性評価, スケーラブルで効果的な防御機構, 持続可能なデータプラクティスの必要性を強調した。 さらに,研究コミュニティからの集合的努力と国際協力の必要性を強調した。 私たちの研究は、研究者や実践者にとって有用な参考となり、AIモデルを保護するための総合的な防衛システムとプラットフォームの開発が進行中であることを後押しします。

関連論文リスト

• New Emerged Security and Privacy of Pre-trained Model: a Survey and Outlook [54.24701201956833]
  セキュリティとプライバシーの問題は、事前訓練されたモデルに対するユーザーの信頼を損なう。 現在の文献は、事前訓練されたモデルに対する攻撃と防御の明確な分類を欠いている。 この分類法は、攻撃と防御をNo-Change、Input-Change、Model-Changeアプローチに分類する。
  論文  参考訳（メタデータ） (2024-11-12T10:15:33Z)
• Recent Advances in Attack and Defense Approaches of Large Language Models [27.271665614205034]
  大規模言語モデル(LLM)は、高度なテキスト処理と生成機能を通じて、人工知能と機械学習に革命をもたらした。 彼らの広範な展開は、重大な安全性と信頼性の懸念を引き起こした。 本稿は,LLMの脆弱性と脅威に関する最近の研究をレビューし,現代防衛機構の有効性を評価する。
  論文  参考訳（メタデータ） (2024-09-05T06:31:37Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• Breaking Down the Defenses: A Comparative Survey of Attacks on Large Language Models [18.624280305864804]
  大規模言語モデル(LLM)は自然言語処理(NLP)分野の基盤となっている。 本稿では,LSMを標的とした様々な攻撃形態の包括的調査を行う。 モデルアウトプットを操作するための敵攻撃、モデルトレーニングに影響を与えるデータ中毒、データエクスプロイトのトレーニングに関連するプライバシー上の懸念などについて調べる。
  論文  参考訳（メタデータ） (2024-03-03T04:46:21Z)
• A Comprehensive Survey of Attack Techniques, Implementation, and Mitigation Strategies in Large Language Models [0.0]
  この記事では、モデル自体に対する攻撃と、モデルアプリケーションに対する攻撃という2つの攻撃カテゴリについて説明する。 前者は専門知識、モデルデータへのアクセス、重要な実装時間が必要です。 後者は攻撃者にはよりアクセスしやすく、注目されている。
  論文  参考訳（メタデータ） (2023-12-18T07:07:32Z)
• SecurityNet: Assessing Machine Learning Vulnerabilities on Public Models [74.58014281829946]
  本研究では, モデル盗難攻撃, メンバーシップ推論攻撃, パブリックモデルにおけるバックドア検出など, いくつかの代表的な攻撃・防御の有効性を解析する。 実験により,これらの攻撃・防御性能は,自己学習モデルと比較して,公共モデルによって大きく異なることが示された。
  論文  参考訳（メタデータ） (2023-10-19T11:49:22Z)
• Towards Safer Generative Language Models: A Survey on Safety Risks, Evaluations, and Improvements [76.80453043969209]
  本調査では,大規模モデルに関する安全研究の枠組みについて述べる。 まず、広範囲にわたる安全問題を導入し、その後、大型モデルの安全性評価手法を掘り下げる。 トレーニングからデプロイメントまで,大規模なモデルの安全性を高めるための戦略について検討する。
  論文  参考訳（メタデータ） (2023-02-18T09:32:55Z)
• Holistic Adversarial Robustness of Deep Learning Models [91.34155889052786]
  敵対的堅牢性は、安全性と信頼性を確保するために、機械学習モデルの最悪のケースパフォーマンスを研究する。 本稿では,深層学習モデルの対角的ロバスト性に関する研究課題の概要と研究手法の基礎原則について概説する。
  論文  参考訳（メタデータ） (2022-02-15T05:30:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。