論文の概要: Exploring Vulnerabilities and Protections in Large Language Models: A Survey

• arxiv url: http://arxiv.org/abs/2406.00240v1
• Date: Sat, 1 Jun 2024 00:11:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 08:04:10.316689
• Title: Exploring Vulnerabilities and Protections in Large Language Models: A Survey
• Title（参考訳）: 大規模言語モデルにおける脆弱性と保護の探索:調査
• Authors: Frank Weizhen Liu, Chenhui Hu,
• Abstract要約: 本稿では,Large Language Models (LLMs) のセキュリティ課題について検討する。 Prompt HackingとAdversarial Attacksの2つの主要分野に焦点を当てている。 これらのセキュリティ問題の詳細を明らかにすることで、この調査はレジリエントなAIシステム構築に関する広範な議論に貢献する。
• 参考スコア（独自算出の注目度）: 1.6179784294541053
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Large Language Models (LLMs) increasingly become key components in various AI applications, understanding their security vulnerabilities and the effectiveness of defense mechanisms is crucial. This survey examines the security challenges of LLMs, focusing on two main areas: Prompt Hacking and Adversarial Attacks, each with specific types of threats. Under Prompt Hacking, we explore Prompt Injection and Jailbreaking Attacks, discussing how they work, their potential impacts, and ways to mitigate them. Similarly, we analyze Adversarial Attacks, breaking them down into Data Poisoning Attacks and Backdoor Attacks. This structured examination helps us understand the relationships between these vulnerabilities and the defense strategies that can be implemented. The survey highlights these security challenges and discusses robust defensive frameworks to protect LLMs against these threats. By detailing these security issues, the survey contributes to the broader discussion on creating resilient AI systems that can resist sophisticated attacks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、さまざまなAIアプリケーションにおいて、ますます重要なコンポーネントになりつつあるため、セキュリティ上の脆弱性と防御メカニズムの有効性を理解することが不可欠である。 本調査では, LLM のセキュリティ上の課題について検討し, プロンプトハッキングとアタックの2つの主要な分野に注目した。 Prompt Hackingの下で、私たちはPrompt InjectionとJailbreaking Attacksを調査し、それらがどのように機能するか、その潜在的な影響、そしてそれらを緩和する方法について議論する。 同様に、敵攻撃を分析し、それらをデータポジショニングアタックとバックドアアタックに分解する。 この構造化された検査は、これらの脆弱性と実装可能な防衛戦略との関係を理解するのに役立ちます。 この調査では、これらのセキュリティ上の課題を強調し、これらの脅威からLLMを保護するための堅牢な防御フレームワークについて論じている。 これらのセキュリティ問題の詳細を明らかにすることで、この調査は高度な攻撃に耐えられるレジリエントなAIシステム構築に関する広範な議論に貢献する。

関連論文リスト

• Jailbreaking and Mitigation of Vulnerabilities in Large Language Models [4.564507064383306]
  大規模言語モデル(LLM)は、自然言語の理解と生成を前進させることで、人工知能を変革した。 これらの進歩にもかかわらず、LSMは、特に注射と脱獄攻撃を急ぐために、かなりの脆弱性を示してきた。 このレビューでは、これらの脆弱性についての研究状況を分析し、利用可能な防衛戦略を提示する。
  論文  参考訳（メタデータ） (2024-10-20T00:00:56Z)
• Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
  生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。 新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。 レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。 この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2024-09-23T10:18:10Z)
• Recent Advances in Attack and Defense Approaches of Large Language Models [27.271665614205034]
  大規模言語モデル(LLM)は、高度なテキスト処理と生成機能を通じて、人工知能と機械学習に革命をもたらした。 彼らの広範な展開は、重大な安全性と信頼性の懸念を引き起こした。 本稿は,LLMの脆弱性と脅威に関する最近の研究をレビューし,現代防衛機構の有効性を評価する。
  論文  参考訳（メタデータ） (2024-09-05T06:31:37Z)
• Purple-teaming LLMs with Adversarial Defender Training [57.535241000787416]
  本稿では,PAD(Adversarial Defender Training)を用いたPurple-teaming LLMを提案する。 PADは、赤チーム(アタック)技術と青チーム(セーフティトレーニング)技術を新たに取り入れることで、LSMを保護するために設計されたパイプラインである。 PADは、効果的な攻撃と堅牢な安全ガードレールの確立の両方において、既存のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2024-07-01T23:25:30Z)
• A Comprehensive Survey of Attack Techniques, Implementation, and Mitigation Strategies in Large Language Models [0.0]
  この記事では、モデル自体に対する攻撃と、モデルアプリケーションに対する攻撃という2つの攻撃カテゴリについて説明する。 前者は専門知識、モデルデータへのアクセス、重要な実装時間が必要です。 後者は攻撃者にはよりアクセスしやすく、注目されている。
  論文  参考訳（メタデータ） (2023-12-18T07:07:32Z)
• Baseline Defenses for Adversarial Attacks Against Aligned Language Models [109.75753454188705]
  最近の研究は、テキストのモデレーションが防御をバイパスするジェイルブレイクのプロンプトを生み出すことを示している。 検出(複雑度に基づく)、入力前処理(言い換えと再帰化)、対人訓練の3種類の防衛について検討する。 テキストに対する既存の離散化の弱点と比較的高いコストの最適化が組み合わさって、標準適応攻撃をより困難にしていることがわかった。
  論文  参考訳（メタデータ） (2023-09-01T17:59:44Z)
• Evaluating the Vulnerabilities in ML systems in terms of adversarial attacks [0.0]
  新たな敵攻撃手法は、現在のディープラーニングサイバー防衛システムに課題をもたらす可能性がある。 著者はAIシステムにおける脆弱性の結果を探求する。 テストフェーズにあるAIシステムを適切にトレーニングし、より広範な使用に備えることが重要です。
  論文  参考訳（メタデータ） (2023-08-24T16:46:01Z)
• On the Security Risks of Knowledge Graph Reasoning [71.64027889145261]
  我々は、敵の目標、知識、攻撃ベクトルに応じて、KGRに対するセキュリティ脅威を体系化する。 我々は、このような脅威をインスタンス化する新しいタイプの攻撃であるROARを提示する。 ROARに対する潜在的な対策として,潜在的に有毒な知識のフィルタリングや,対向的な拡張クエリによるトレーニングについて検討する。
  論文  参考訳（メタデータ） (2023-05-03T18:47:42Z)
• Adversarial Patch Attacks and Defences in Vision-Based Tasks: A Survey [1.0323063834827415]
  近年、AIモデルのセキュリティと堅牢性に対する信頼の欠如により、ディープラーニングモデル、特に安全クリティカルなシステムに対する敵対的攻撃がますます注目を集めている。 しかし、より原始的な敵攻撃は物理的に実現不可能な場合や、パッチ攻撃の発端となったトレーニングデータのようなアクセスが難しいリソースを必要とする場合もあります。 本調査では,既存の敵パッチ攻撃のテクニックを包括的に概説し,研究者がこの分野の進展に素早く追いつくのに役立つことを目的としている。
  論文  参考訳（メタデータ） (2022-06-16T17:06:47Z)
• Fixed Points in Cyber Space: Rethinking Optimal Evasion Attacks in the Age of AI-NIDS [70.60975663021952]
  ネットワーク分類器に対するブラックボックス攻撃について検討する。 我々は、アタッカー・ディフェンダーの固定点がそれ自体、複雑な位相遷移を持つ一般サムゲームであると主張する。 攻撃防御力学の研究には連続的な学習手法が必要であることを示す。
  論文  参考訳（メタデータ） (2021-11-23T23:42:16Z)
• Adversarial Machine Learning Attacks and Defense Methods in the Cyber Security Domain [58.30296637276011]
  本稿では,機械学習技術に基づくセキュリティソリューションに対する敵攻撃に関する最新の研究を要約する。 サイバーセキュリティドメインでエンドツーエンドの敵攻撃を実装するという、ユニークな課題を議論するのは、これが初めてである。
  論文  参考訳（メタデータ） (2020-07-05T18:22:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。