論文の概要: Time Will Tell: Timing Side Channels via Output Token Count in Large Language Models

• arxiv url: http://arxiv.org/abs/2412.15431v1
• Date: Thu, 19 Dec 2024 22:29:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:24:29.996869
• Title: Time Will Tell: Timing Side Channels via Output Token Count in Large Language Models
• Title（参考訳）: 時が告げる:大規模言語モデルにおける出力トーケン数によるサイドチャネルのタイミング
• Authors: Tianchen Zhang, Gururaj Saileshwar, David Lie,
• Abstract要約: 本稿では,大規模言語モデル(LLM)における推論入力に関する機密情報を敵が抽出できる新しいサイドチャネルを示す。 我々は,このサイドチャネルを用いた攻撃を,機械翻訳タスクのターゲット言語を復元し,分類タスクの出力クラスを復元する2つの共通LLMタスクで構築する。 実験の結果,3つの異なるモデルに対して75%以上の精度で,翻訳タスクの出力言語を学習できることが判明した。
• 参考スコア（独自算出の注目度）: 7.686540586889241
• License:
• Abstract: This paper demonstrates a new side-channel that enables an adversary to extract sensitive information about inference inputs in large language models (LLMs) based on the number of output tokens in the LLM response. We construct attacks using this side-channel in two common LLM tasks: recovering the target language in machine translation tasks and recovering the output class in classification tasks. In addition, due to the auto-regressive generation mechanism in LLMs, an adversary can recover the output token count reliably using a timing channel, even over the network against a popular closed-source commercial LLM. Our experiments show that an adversary can learn the output language in translation tasks with more than 75% precision across three different models (Tower, M2M100, MBart50). Using this side-channel, we also show the input class in text classification tasks can be leaked out with more than 70% precision from open-source LLMs like Llama-3.1, Llama-3.2, Gemma2, and production models like GPT-4o. Finally, we propose tokenizer-, system-, and prompt-based mitigations against the output token count side-channel.
• Abstract（参考訳）: 本稿では,LLM応答における出力トークンの数に基づいて,大規模言語モデル(LLM)における推論入力に関する機密情報を抽出できる新しいサイドチャネルを提案する。 我々は,このサイドチャネルを用いた攻撃を,機械翻訳タスクのターゲット言語を復元し,分類タスクの出力クラスを復元する2つの共通LLMタスクで構築する。 また、LDMの自己回帰生成機構により、人気のあるクローズドソース商用LCMに対してネットワーク上でも、タイミングチャネルを用いて出力トークン数を確実に回収することができる。 実験の結果,3つのモデル (Tower, M2M100, MBart50) で75%以上の精度で, 翻訳タスクの出力言語を学習できることが判明した。 また、このサイドチャネルを用いて、Llama-3.1、Llama-3.2、Gemma2、GPT-4oといったオープンソースのLCMから70%以上の精度でテキスト分類タスクの入力クラスを漏洩させることができることを示した。 最後に、出力トークンカウントサイドチャネルに対するトークン化器、システム、およびプロンプトに基づく緩和を提案する。

関連論文リスト

• Idiosyncrasies in Large Language Models [54.26923012617675]
  大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキスト上に既存のテキスト埋め込みモデルを微調整することで、優れた分類精度が得られることが判明した。 我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
  論文  参考訳（メタデータ） (2025-02-17T18:59:02Z)
• An Engorgio Prompt Makes Large Language Model Babble on [25.148096060828397]
  自動回帰型大規模言語モデル (LLM) は多くの実世界のタスクにおいて顕著な性能を発揮している。 本稿では,悪質なユーザがEngorgioのプロンプトを作らなければならないような,コスト・アタックを推論する脆弱性について検討する。 本研究では,新たな手法であるEngorgioを設計し,敵のEngorgioプロンプトを効率的に生成し,LLMのサービス可用性に影響を与える。
  論文  参考訳（メタデータ） (2024-12-27T01:00:23Z)
• Leveraging Open-Source Large Language Models for Native Language Identification [1.6267479602370543]
  ネイティブ言語識別(NLI)は、法医学、マーケティング、第二言語習得に応用されている。 本研究では,オープンソース生成型大規模言語モデル(LLM)をNLIに適用する可能性について検討する。
  論文  参考訳（メタデータ） (2024-09-15T08:14:18Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• Tokenization Matters! Degrading Large Language Models through Challenging Their Tokenization [12.885866125783618]
  大規模言語モデル(LLM)は、特定のクエリに対する不正確な応答を生成する傾向がある。 我々は, LLMのトークン化に挑戦するために, $textbfADT (TokenizerのAdrial dataset)$という逆データセットを構築した。 GPT-4o, Llama-3, Qwen2.5-maxなど, 先進LLMのトークン化に挑戦する上で, 当社のADTは極めて有効であることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-27T11:39:59Z)
• Speech Translation with Large Language Models: An Industrial Practice [64.5419534101104]
  LLM-STは,事前学習型大言語モデル(LLM)に基づいて構築された,新規で効果的な音声翻訳モデルである。 大規模言語モデル(LLM)を音声エンコーダと統合し、マルチタスクの命令チューニングを利用することで、LLM-STは正確なタイムスタンプと翻訳を生成することができる。 英語と中国語のデータセットの厳密な実験を通じて,LLM-STの異常な性能を示す。
  論文  参考訳（メタデータ） (2023-12-21T05:32:49Z)
• Take One Step at a Time to Know Incremental Utility of Demonstration: An Analysis on Reranking for Few-Shot In-Context Learning [23.932500424117244]
  In-Context Learning (ICL)は大規模言語モデル(LLM)の創発的能力である 従来の研究では、ラベルとしてLLMの出力を使用することが、デモを選択するためのトレーニングモデルに有効であることが示されている。 本稿では,LLMの出力確率に着目して,異なるユーティリティ関数の解析を行う。
  論文  参考訳（メタデータ） (2023-11-16T07:03:54Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• Transcormer: Transformer for Sentence Scoring with Sliding Language Modeling [95.9542389945259]
  文スコアリングは文の可能性を測ることを目的としており、多くの自然言語処理シナリオで広く使われている。 文スコアリングのための新しいテキストスライディング言語モデリング(SLM)を備えたトランスフォーマーモデルであるtextitTranscormerを提案する。
  論文  参考訳（メタデータ） (2022-05-25T18:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。