論文の概要: Remote Timing Attacks on Efficient Language Model Inference

• arxiv url: http://arxiv.org/abs/2410.17175v1
• Date: Tue, 22 Oct 2024 16:51:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:29:15.253609
• Title: Remote Timing Attacks on Efficient Language Model Inference
• Title（参考訳）: 効率的な言語モデル推論におけるリモートタイミングアタック
• Authors: Nicholas Carlini, Milad Nasr,
• Abstract要約: タイミング差を利用してタイミングアタックをマウントできることが示される。 90%以上の精度でユーザの会話の話題を学習することができるかを示す。 相手はブースティング攻撃を利用して、オープンソースのシステム用のメッセージに置かれたPIIを回復することができる。
• 参考スコア（独自算出の注目度）: 63.79839291641793
• License:
• Abstract: Scaling up language models has significantly increased their capabilities. But larger models are slower models, and so there is now an extensive body of work (e.g., speculative sampling or parallel decoding) that improves the (average case) efficiency of language model generation. But these techniques introduce data-dependent timing characteristics. We show it is possible to exploit these timing differences to mount a timing attack. By monitoring the (encrypted) network traffic between a victim user and a remote language model, we can learn information about the content of messages by noting when responses are faster or slower. With complete black-box access, on open source systems we show how it is possible to learn the topic of a user's conversation (e.g., medical advice vs. coding assistance) with 90%+ precision, and on production systems like OpenAI's ChatGPT and Anthropic's Claude we can distinguish between specific messages or infer the user's language. We further show that an active adversary can leverage a boosting attack to recover PII placed in messages (e.g., phone numbers or credit card numbers) for open source systems. We conclude with potential defenses and directions for future work.
• Abstract（参考訳）: 言語モデルのスケールアップは、その能力を大幅に向上しました。 しかし、より大きなモデルは遅いモデルであるため、言語モデル生成の(平均の場合)効率を改善する広範囲な作業(投機的サンプリングや並列デコーディングなど)がある。 しかし、これらの手法はデータ依存のタイミング特性を導入している。 これらのタイミング差を利用してタイミングアタックをマウントできることが示される。 被害者のユーザとリモート言語モデル間の(暗号化された)ネットワークトラフィックを監視することで、応答が速いか遅いかを通知することで、メッセージの内容に関する情報を学習することができる。 完全なブラックボックスアクセスによって、オープンソースシステムでは、90%以上の精度でユーザの会話(例えば、医療アドバイスとコーディングアシスト)のトピックを学ぶことができ、OpenAIのChatGPTやAnthropicのCludeのようなプロダクションシステムでは、特定のメッセージの区別や、ユーザの言語を推測することができます。 さらに、アクティブな敵は、オープンソースのシステムに対してメッセージ(電話番号、クレジットカード番号など)に配置されたPIIを回復するために、強化攻撃を利用することができることを示す。 我々は、将来の仕事の潜在的な防衛と方向性で締めくくります。

関連論文リスト

• CLEFT: Language-Image Contrastive Learning with Efficient Large Language Model and Prompt Fine-Tuning [4.004641316826348]
  効率的な大言語モデルとファインチューニング(CLEFT)を併用した新しい言語画像コントラスト学習手法を提案する。 複数の胸部X線およびマンモグラフィーデータセットの最先端性能を示す。 提案手法は,既存のBERTエンコーダと比較して,トレーニング可能なモデル全体のサイズを39%削減し,トレーニング可能な言語モデルを4%に削減する。
  論文  参考訳（メタデータ） (2024-07-30T17:57:32Z)
• Traces of Memorisation in Large Language Models for Code [16.125924759649106]
  コードのための大規模な言語モデルは、一般にインターネットから取り除かれた大量のソースコードコーパスで訓練される。 記憶の速度を、自然言語で訓練された大きな言語モデルと比較する。 コードのための大きな言語モデルは、自然言語のようなデータ抽出攻撃に弱いことが分かりました。
  論文  参考訳（メタデータ） (2023-12-18T19:12:58Z)
• Reverse-Engineering Decoding Strategies Given Blackbox Access to a Language Generation System [73.52878118434147]
  テキスト生成に使用する復号法をリバースエンジニアリングする手法を提案する。 どのようなデコード戦略が使われたかを検出する能力は、生成されたテキストを検出することに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-09-09T18:19:47Z)
• Diffusion Language Models Can Perform Many Tasks with Scaling and Instruction-Finetuning [56.03057119008865]
  拡散言語モデルを拡張することで、強力な言語学習者が効果的に学習できることが示される。 大規模データから知識を最初に取得することで,大規模に有能な拡散言語モデルを構築する。 実験により、拡散言語モデルのスケーリングは、下流言語タスクにおけるパフォーマンスを一貫して改善することが示された。
  論文  参考訳（メタデータ） (2023-08-23T16:01:12Z)
• TextMI: Textualize Multimodal Information for Integrating Non-verbal Cues in Pre-trained Language Models [5.668457303716451]
  マルチモーダルな行動分析タスクのための汎用的,競争的なベースラインとして,TextMIを提案する。 我々のアプローチは、モデルの複雑さを著しく減らし、モデルの判断に解釈可能性を追加し、様々なタスクに適用できます。
  論文  参考訳（メタデータ） (2023-03-27T17:54:32Z)
• A New Generation of Perspective API: Efficient Multilingual Character-level Transformers [66.9176610388952]
  Google JigsawのAspective APIの次期バージョンの基礎を提示する。 このアプローチの中心は、単一の多言語トークンフリーなCharformerモデルである。 静的な語彙を強制することで、さまざまな設定で柔軟性が得られます。
  論文  参考訳（メタデータ） (2022-02-22T20:55:31Z)
• Paraphrastic Representations at Scale [134.41025103489224]
  私たちは、英語、アラビア語、ドイツ語、フランス語、スペイン語、ロシア語、トルコ語、中国語の訓練されたモデルをリリースします。 我々はこれらのモデルを大量のデータでトレーニングし、元の論文から大幅に性能を向上した。
  論文  参考訳（メタデータ） (2021-04-30T16:55:28Z)
• Extracting Training Data from Large Language Models [78.3839333127544]
  本論文では,言語モデルに問い合わせることで,学習データ抽出攻撃を実行して個々のトレーニング例を回復できることを実証する。 我々は,公開インターネットのスクレイプ上で訓練された言語モデルgpt-2に対する攻撃を実証し,モデルのトレーニングデータから数百の動詞のテキストシーケンスを抽出することができることを示した。
  論文  参考訳（メタデータ） (2020-12-14T18:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。