論文の概要: Whispers in the Machine: Confidentiality in LLM-integrated Systems

• arxiv url: http://arxiv.org/abs/2402.06922v2
• Date: Mon, 04 Nov 2024 11:42:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:41:24.175016
• Title: Whispers in the Machine: Confidentiality in LLM-integrated Systems
• Title（参考訳）: 機械のウィスパー:LLM統合システムにおける信頼性
• Authors: Jonathan Evertz, Merlin Chlosta, Lea Schönherr, Thorsten Eisenhofer,
• Abstract要約: 大規模言語モデル(LLM)は、外部ツールや商用サービスをLLM統合システムに拡張する傾向にある。 操作された統合はモデルを悪用し、他のインターフェースを通じてアクセスされた機密データを侵害することができる。 LLM統合システムにおける機密性リスクを評価するための体系的アプローチを提案する。
• 参考スコア（独自算出の注目度）: 7.893457690926516
• License:
• Abstract: Large Language Models (LLMs) are increasingly augmented with external tools and commercial services into LLM-integrated systems. While these interfaces can significantly enhance the capabilities of the models, they also introduce a new attack surface. Manipulated integrations, for example, can exploit the model and compromise sensitive data accessed through other interfaces. While previous work primarily focused on attacks targeting a model's alignment or the leakage of training data, the security of data that is only available during inference has escaped scrutiny so far. In this work, we demonstrate the vulnerabilities associated with external components and introduce a systematic approach to evaluate confidentiality risks in LLM-integrated systems. We identify two specific attack scenarios unique to these systems and formalize these into a tool-robustness framework designed to measure a model's ability to protect sensitive information. Our findings show that all examined models are highly vulnerable to confidentiality attacks, with the risk increasing significantly when models are used together with external tools.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、外部ツールや商用サービスをLLM統合システムに拡張する傾向にある。 これらのインターフェースはモデルの能力を大幅に向上させるが、新たな攻撃面も導入する。 例えば、操作された統合は、モデルを悪用し、他のインターフェイスを通してアクセスされた機密データを侵害することができる。 これまでの研究は、主にモデルのアライメントやトレーニングデータの漏洩を標的とした攻撃に重点を置いていたが、推論時にのみ利用できるデータのセキュリティは、これまで精査を免れた。 本研究では、外部コンポーネントに関連する脆弱性を実証し、LLM統合システムにおける機密性リスクを評価するための体系的なアプローチを導入する。 これらのシステムに特有の2つの特定の攻撃シナリオを特定し、機密情報を保護するモデルの能力を測定するために設計されたツール・ロバストネス・フレームワークに形式化する。 以上の結果から, 調査対象のモデルはすべて, 機密性攻撃に対して極めて脆弱であり, 外部ツールと併用した場合のリスクは著しく増大することがわかった。

関連論文リスト

• "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
  Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される 本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
  論文  参考訳（メタデータ） (2024-06-26T05:36:23Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• A Blackbox Model Is All You Need to Breach Privacy: Smart Grid Forecasting Models as a Use Case [0.7714988183435832]
  LSTMモデルへのブラックボックスアクセスは、データ自体へのアクセスに匹敵する膨大な量の情報を明らかにすることができることを示す。 これは、データと同じレベルで予測モデルを保護することの重要性を強調します。
  論文  参考訳（メタデータ） (2023-09-04T11:07:37Z)
• On the Evaluation of User Privacy in Deep Neural Networks using Timing Side Channel [14.350301915592027]
  我々は,Deep Learning (DL) の実装において,新たなデータ依存型タイミング側チャネルリーク(クラスリーク)を特定し,報告する。 ユーザ特権とハードラベルのブラックボックスアクセスを持つ敵が、クラスリークを悪用できる、実用的な推論時攻撃を実証する。 我々は,クラスリークを緩和する定時分岐操作を行うことにより,実装が容易な対策を開発する。
  論文  参考訳（メタデータ） (2022-08-01T19:38:16Z)
• ML-Doctor: Holistic Risk Assessment of Inference Attacks Against Machine Learning Models [64.03398193325572]
  機械学習(ML)モデルに対する推論攻撃により、敵はトレーニングデータやモデルパラメータなどを学ぶことができる。 私たちは、メンバシップ推論、モデル反転、属性推論、モデル盗難の4つの攻撃に集中しています。 私たちの分析では、MLモデルオーナがモデルをデプロイするリスクを評価することができる、モジュール化された再使用可能なソフトウェアであるML-Doctorに依存しています。
  論文  参考訳（メタデータ） (2021-02-04T11:35:13Z)
• Dataset Security for Machine Learning: Data Poisoning, Backdoor Attacks, and Defenses [150.64470864162556]
  この作業は体系的に分類され、幅広いデータセット脆弱性とエクスプロイトを議論する。 様々な毒とバックドアの脅威モデルとそれらの関係を記述することに加えて,それらの統一分類法を展開する。
  論文  参考訳（メタデータ） (2020-12-18T22:38:47Z)
• Risk Management Framework for Machine Learning Security [7.678455181587705]
  機械学習モデルに対する敵意攻撃は、学界と産業の両方で非常に研究されているトピックとなっている。 本稿では,機械学習モデルに依存する組織に対して,リスク管理プロセスを導くための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2020-12-09T06:21:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。