論文の概要: Trust No AI: Prompt Injection Along The CIA Security Triad

• arxiv url: http://arxiv.org/abs/2412.06090v1
• Date: Sun, 08 Dec 2024 22:46:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:58:30.755713
• Title: Trust No AI: Prompt Injection Along The CIA Security Triad
• Title（参考訳）: AIを信頼しない - CIAのセキュリティ戦略に賛同するプロンプトインジェクション
• Authors: Johann Rehberger,
• Abstract要約: 本稿では,著者が実施・公表した研究に基づいて,実世界の活用事例と概念実証事例をまとめた。 これは、即時注射がCIAのトリアドを損なうことを示し、サイバーセキュリティとAIシステム全般に継続的なリスクをもたらしている。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The CIA security triad - Confidentiality, Integrity, and Availability - is a cornerstone of data and cybersecurity. With the emergence of large language model (LLM) applications, a new class of threat, known as prompt injection, was first identified in 2022. Since then, numerous real-world vulnerabilities and exploits have been documented in production LLM systems, including those from leading vendors like OpenAI, Microsoft, Anthropic and Google. This paper compiles real-world exploits and proof-of concept examples, based on the research conducted and publicly documented by the author, demonstrating how prompt injection undermines the CIA triad and poses ongoing risks to cybersecurity and AI systems at large.
• Abstract（参考訳）: CIAのセキュリティ・トリアド(機密性、統合性、可用性)は、データとサイバーセキュリティの基盤だ。 大規模言語モデル(LLM)の出現に伴い、2022年にプロンプトインジェクションと呼ばれる新しい種類の脅威が最初に特定された。 それ以来、実世界の脆弱性やエクスプロイトは、OpenAI、Microsoft、Anthropic、Googleといった主要なベンダーのLLMシステムで記録されている。 本稿では、著者が実施し、公表した研究に基づいて、現実のエクスプロイトと概念実証の例をコンパイルし、迅速なインジェクションがCIAのトリアドを損なうことを実証し、サイバーセキュリティとAIシステム全般に継続的なリスクを課していることを示す。

関連論文リスト

• Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks [88.84977282952602]
  最近のMLセキュリティ文献は、整列型大規模言語モデル(LLM)に対する攻撃に焦点を当てている。 本稿では,LLMエージェントに特有のセキュリティとプライバシの脆弱性を分析する。 我々は、人気のあるオープンソースおよび商用エージェントに対する一連の実証的な攻撃を行い、その脆弱性の即時的な影響を実証した。
  論文  参考訳（メタデータ） (2025-02-12T17:19:36Z)
• Fundamental Risks in the Current Deployment of General-Purpose AI Models: What Have We (Not) Learnt From Cybersecurity? [60.629883024152576]
  大規模言語モデル(LLM)は、幅広いユースケースで急速にデプロイされている。 OpenAIs Alteraは、自律性の向上、データアクセス、実行機能の一例に過ぎない。 これらの方法には、さまざまなサイバーセキュリティ上の課題が伴う。
  論文  参考訳（メタデータ） (2024-12-19T14:44:41Z)
• Preventing Jailbreak Prompts as Malicious Tools for Cybercriminals: A Cyber Defense Perspective [1.083674643223243]
  ジェイルブレイクのプロンプトは、大規模な言語モデルにおける倫理的保護を回避しようとしているため、AIとサイバーセキュリティに重大な脅威をもたらす。 本稿では、サイバー防衛の観点からジェイルブレイクプロンプトを分析し、プロンプトインジェクションやコンテキスト操作のような手法を探索する。 我々は,AIのレジリエンスを強化するために,高度なプロンプト解析,動的安全プロトコル,連続モデル微調整を含む戦略を提案する。
  論文  参考訳（メタデータ） (2024-11-25T18:23:58Z)
• Transforming Computer Security and Public Trust Through the Exploration of Fine-Tuning Large Language Models [0.0]
  Mallasは、大きな言語モデル(LLM)を悪用する悪意のあるサービスである。 本稿では,様々な事前学習言語モデルとその効率と脆弱性を検証し,Mallasの増殖について考察する。
  論文  参考訳（メタデータ） (2024-06-02T06:10:31Z)
• Artificial Intelligence as the New Hacker: Developing Agents for Offensive Security [0.0]
  本稿では,人工知能(AI)の攻撃的サイバーセキュリティへの統合について検討する。 サイバー攻撃をシミュレートし実行するために設計された、自律的なAIエージェントであるReaperAIを開発している。 ReaperAIは、セキュリティ脆弱性を自律的に識別し、悪用し、分析する可能性を実証する。
  論文  参考訳（メタデータ） (2024-05-09T18:15:12Z)
• AIJack: Let's Hijack AI! Security and Privacy Risk Simulator for Machine Learning [0.0]
  AIJackは、機械学習モデルのトレーニングとデプロイに関連するセキュリティとプライバシのリスクを評価するために設計された、オープンソースのライブラリである。 統一されたAPIを通じて、様々な攻撃および防御方法のライブラリを提供する。
  論文  参考訳（メタデータ） (2023-12-29T16:10:30Z)
• Towards more Practical Threat Models in Artificial Intelligence Security [66.67624011455423]
  最近の研究で、人工知能のセキュリティの研究と実践のギャップが特定されている。 我々は、AIセキュリティ研究で最も研究されている6つの攻撃の脅威モデルを再検討し、実際にAIの使用と一致させる。
  論文  参考訳（メタデータ） (2023-11-16T16:09:44Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)
• Proceedings of the Artificial Intelligence for Cyber Security (AICS) Workshop at AAAI 2022 [55.573187938617636]
  ワークショップは、サイバーセキュリティの問題へのAIの適用に焦点を当てる。 サイバーシステムは大量のデータを生成し、これを効果的に活用することは人間の能力を超えます。
  論文  参考訳（メタデータ） (2022-02-28T18:27:41Z)
• Adversarial Machine Learning Attacks and Defense Methods in the Cyber Security Domain [58.30296637276011]
  本稿では,機械学習技術に基づくセキュリティソリューションに対する敵攻撃に関する最新の研究を要約する。 サイバーセキュリティドメインでエンドツーエンドの敵攻撃を実装するという、ユニークな課題を議論するのは、これが初めてである。
  論文  参考訳（メタデータ） (2020-07-05T18:22:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。