論文の概要: Attack and defense techniques in large language models: A survey and new perspectives

• arxiv url: http://arxiv.org/abs/2505.00976v1
• Date: Fri, 02 May 2025 03:37:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-05 17:21:19.892618
• Title: Attack and defense techniques in large language models: A survey and new perspectives
• Title（参考訳）: 大規模言語モデルにおける攻撃・防御技術:調査と新たな視点
• Authors: Zhiyu Liao, Kang Chen, Yuanguo Lin, Kangkang Li, Yunxuan Liu, Hefeng Chen, Xingwang Huang, Yuanhui Yu,
• Abstract要約: 大規模言語モデル(LLM)は多くの自然言語処理タスクの中心となっているが、その脆弱性はセキュリティと倫理的課題を呈している。 この体系的な調査は、LLMにおける攻撃と防御技術の進化の展望を探求する。
• 参考スコア（独自算出の注目度）: 5.600972861188751
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have become central to numerous natural language processing tasks, but their vulnerabilities present significant security and ethical challenges. This systematic survey explores the evolving landscape of attack and defense techniques in LLMs. We classify attacks into adversarial prompt attack, optimized attacks, model theft, as well as attacks on application of LLMs, detailing their mechanisms and implications. Consequently, we analyze defense strategies, including prevention-based and detection-based defense methods. Although advances have been made, challenges remain to adapt to the dynamic threat landscape, balance usability with robustness, and address resource constraints in defense implementation. We highlight open problems, including the need for adaptive scalable defenses, explainable security techniques, and standardized evaluation frameworks. This survey provides actionable insights and directions for developing secure and resilient LLMs, emphasizing the importance of interdisciplinary collaboration and ethical considerations to mitigate risks in real-world applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多くの自然言語処理タスクの中心となっているが、その脆弱性は重大なセキュリティと倫理的課題を呈している。 この体系的な調査は、LLMにおける攻撃と防御技術の進化の展望を探求する。 我々は攻撃を敵の攻撃、最適化された攻撃、モデル盗難、LSMの適用に対する攻撃に分類し、そのメカニズムと意味を詳述する。 その結果,予防および検出に基づく防衛方法を含む防衛戦略を解析した。 進展はあったものの、動的な脅威の状況に適応し、堅牢性とユーザビリティのバランスを保ち、防御実装におけるリソース制約に対処する上で、依然として課題が残されている。 適応的なスケーラブルな防御の必要性、説明可能なセキュリティ技術、標準化された評価フレームワークなど、オープンな問題を強調します。 この調査は、現実のアプリケーションにおけるリスクを軽減するために、学際的なコラボレーションと倫理的考察の重要性を強調し、安全でレジリエントなLCMを開発するための実用的な洞察と方向性を提供する。

関連論文リスト

• LLM Security: Vulnerabilities, Attacks, Defenses, and Countermeasures [49.1574468325115]
  本調査は,大規模言語モデル(LLM)を対象とした各種攻撃を定義し,分類することを目的とする。 これらの攻撃を徹底的に分析し、そのような脅威を軽減するために設計された防御機構を探索する。
  論文  参考訳（メタデータ） (2025-05-02T10:35:26Z)
• Tit-for-Tat: Safeguarding Large Vision-Language Models Against Jailbreak Attacks via Adversarial Defense [90.71884758066042]
  大きな視覚言語モデル(LVLM)は、視覚入力による悪意のある攻撃に対する感受性という、ユニークな脆弱性を導入している。 本稿では,脆弱性発生源からアクティブ防衛機構へ視覚空間を変換するための新しい手法であるESIIIを提案する。
  論文  参考訳（メタデータ） (2025-03-14T17:39:45Z)
• A Survey of Model Extraction Attacks and Defenses in Distributed Computing Environments [55.60375624503877]
  モデル抽出攻撃(MEA)は、敵がモデルを盗み、知的財産と訓練データを公開することによって、現代の機械学習システムを脅かす。 この調査は、クラウド、エッジ、フェデレーションのユニークな特性がどのように攻撃ベクトルや防御要件を形作るのかを、緊急に理解する必要に起因している。 本研究は, 自動運転車, 医療, 金融サービスといった重要な分野において, 環境要因がセキュリティ戦略にどう影響するかを実証し, 攻撃手法と防衛機構の進化を系統的に検討する。
  論文  参考訳（メタデータ） (2025-02-22T03:46:50Z)
• Safety at Scale: A Comprehensive Survey of Large Model Safety [298.05093528230753]
  我々は、敵攻撃、データ中毒、バックドア攻撃、ジェイルブレイクとプロンプトインジェクション攻撃、エネルギー遅延攻撃、データとモデル抽出攻撃、出現するエージェント固有の脅威を含む、大規模なモデルに対する安全脅威の包括的分類を提示する。 我々は、大規模なモデル安全性におけるオープンな課題を特定し、議論し、包括的な安全性評価、スケーラブルで効果的な防御機構、持続可能なデータプラクティスの必要性を強調します。
  論文  参考訳（メタデータ） (2025-02-02T05:14:22Z)
• Jailbreaking and Mitigation of Vulnerabilities in Large Language Models [4.564507064383306]
  大規模言語モデル(LLM)は、自然言語の理解と生成を前進させることで、人工知能を変革した。 これらの進歩にもかかわらず、LSMは、特に注射と脱獄攻撃を急ぐために、かなりの脆弱性を示してきた。 このレビューでは、これらの脆弱性についての研究状況を分析し、利用可能な防衛戦略を提示する。
  論文  参考訳（メタデータ） (2024-10-20T00:00:56Z)
• Recent advancements in LLM Red-Teaming: Techniques, Defenses, and Ethical Considerations [0.0]
  大規模言語モデル(LLM)は自然言語処理タスクにおいて顕著な機能を示しているが、Jailbreak攻撃に対する脆弱性は重大なセキュリティリスクをもたらす。 本稿では,Large Language Model (LLM) のレッドチームにおける攻撃戦略と防御機構の最近の進歩を包括的に分析する。
  論文  参考訳（メタデータ） (2024-10-09T01:35:38Z)
• Recent Advances in Attack and Defense Approaches of Large Language Models [27.271665614205034]
  大規模言語モデル(LLM)は、高度なテキスト処理と生成機能を通じて、人工知能と機械学習に革命をもたらした。 彼らの広範な展開は、重大な安全性と信頼性の懸念を引き起こした。 本稿は,LLMの脆弱性と脅威に関する最近の研究をレビューし,現代防衛機構の有効性を評価する。
  論文  参考訳（メタデータ） (2024-09-05T06:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。