論文の概要: Attacks on Third-Party APIs of Large Language Models

• arxiv url: http://arxiv.org/abs/2404.16891v1
• Date: Wed, 24 Apr 2024 19:27:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-29 15:03:56.070350
• Title: Attacks on Third-Party APIs of Large Language Models
• Title（参考訳）: 大規模言語モデルのサードパーティAPIに対する攻撃
• Authors: Wanru Zhao, Vidit Khazanchi, Haodi Xing, Xuanli He, Qiongkai Xu, Nicholas Donald Lane,
• Abstract要約: 大規模言語モデル(LLM)サービスは最近、サードパーティのAPIサービスと対話するプラグインエコシステムの提供を開始した。 このイノベーションはLLMの能力を高めるが、リスクも導入する。 本稿では,サードパーティサービスを含むLDMプラットフォームにおけるセキュリティと安全性の脆弱性を調査する新たな攻撃フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 15.823694509708302
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) services have recently begun offering a plugin ecosystem to interact with third-party API services. This innovation enhances the capabilities of LLMs, but it also introduces risks, as these plugins developed by various third parties cannot be easily trusted. This paper proposes a new attacking framework to examine security and safety vulnerabilities within LLM platforms that incorporate third-party services. Applying our framework specifically to widely used LLMs, we identify real-world malicious attacks across various domains on third-party APIs that can imperceptibly modify LLM outputs. The paper discusses the unique challenges posed by third-party API integration and offers strategic possibilities to improve the security and safety of LLM ecosystems moving forward. Our code is released at https://github.com/vk0812/Third-Party-Attacks-on-LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)サービスは最近、サードパーティのAPIサービスと対話するプラグインエコシステムの提供を開始した。 このイノベーションはLLMの能力を高めるが、様々なサードパーティが開発したプラグインが容易に信頼できないため、リスクも伴う。 本稿では,サードパーティサービスを含むLDMプラットフォームにおけるセキュリティと安全性の脆弱性を調査する新たな攻撃フレームワークを提案する。 フレームワークを広く使われているLLMに適用し、LLM出力を許容不能に修正可能なサードパーティAPI上で、さまざまなドメインにわたる現実世界の悪意のある攻撃を識別する。 本稿は,サードパーティのAPI統合によって引き起こされるユニークな課題について論じ,今後のLCMエコシステムのセキュリティと安全性を改善するための戦略的可能性を提供する。 私たちのコードは、https://github.com/vk0812/Third-Party-Attacks-on-LLMsでリリースされています。

関連論文リスト

• Large Language Model Supply Chain: Open Problems From the Security Perspective [25.320736806895976]
  大規模言語モデル(LLM)はソフトウェア開発パラダイムを変えつつあり、学術と産業の両方から大きな注目を集めています。 各コンポーネントの潜在的なセキュリティリスクとLCM SCのコンポーネント間の統合について議論する第一歩を踏み出します。
  論文  参考訳（メタデータ） (2024-11-03T15:20:21Z)
• AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
  textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。 我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
  論文  参考訳（メタデータ） (2024-03-14T15:57:13Z)
• SecGPT: An Execution Isolation Architecture for LLM-Based Systems [37.47068167748932]
  SecGPTは、サードパーティアプリの実行に伴うセキュリティとプライバシの問題を軽減することを目的としている。 我々はSecGPTをいくつかのケーススタディアタックに対して評価し、多くのセキュリティ、プライバシ、安全性の問題から保護されていることを実証する。
  論文  参考訳（メタデータ） (2024-03-08T00:02:30Z)
• A New Era in LLM Security: Exploring Security Concerns in Real-World LLM-based Systems [47.18371401090435]
  我々は,LLMではなく,Large Language Model(LLM)システムのセキュリティを分析する。 我々は,多層・多段階のアプローチを提案し,これを最先端のOpenAI GPT4に適用する。 OpenAI GPT4は安全機能を改善するために多くの安全制約を設計しているが、これらの安全制約は攻撃者に対して脆弱である。
  論文  参考訳（メタデータ） (2024-02-28T19:00:12Z)
• Can LLMs Patch Security Issues? [1.3299507495084417]
  LLM(Large Language Models)は、コード生成に優れた習熟度を示している。 LLMは人間と弱点を共有している。 我々は、LLMが生成した脆弱性のあるコードを自動的に洗練するフィードバック駆動セキュリティパッチング(FDSP)を提案する。
  論文  参考訳（メタデータ） (2023-11-13T08:54:37Z)
• Attack Prompt Generation for Red Teaming and Defending Large Language Models [70.157691818224]
  大規模言語モデル (LLM) は、有害なコンテンツを生成するためにLSMを誘導するレッド・チーム・アタックの影響を受けやすい。 本稿では、手動と自動の手法を組み合わせて、高品質な攻撃プロンプトを経済的に生成する統合的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-19T06:15:05Z)
• Privacy in Large Language Models: Attacks, Defenses and Future Directions [84.73301039987128]
  大規模言語モデル(LLM)を対象とした現在のプライバシ攻撃を分析し、敵の想定能力に応じて分類する。 本稿では、これらのプライバシー攻撃に対抗するために開発された防衛戦略について概説する。
  論文  参考訳（メタデータ） (2023-10-16T13:23:54Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)
• LLM Platform Security: Applying a Systematic Evaluation Framework to OpenAI's ChatGPT Plugins [31.678328189420483]
  大規模言語モデル(LLM)プラットフォームは先頃,インターネット上のサードパーティサービスとインターフェースするアプリエコシステムの提供を開始した。 これらのアプリはLLMプラットフォームの機能を拡張しているが、任意のサードパーティによって開発されており、暗黙的に信頼できない。 LLMプラットフォーム設計者のための基盤を築き,現在および将来のサードパーティのLDMプラットフォームのセキュリティ,プライバシ,安全性を解析し,改善するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-19T02:20:10Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。