論文の概要: FragToken: Amplifying LLM Inference Costs through Noncanonical Token Generation

• arxiv url: http://arxiv.org/abs/2609.31552v1
• Date: Fri, 25 Sep 2026 17:20:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.516716
• Title: FragToken: Amplifying LLM Inference Costs through Noncanonical Token Generation
• Title（参考訳）: FragToken: ノンカノニカルなトークン生成によるLCM推論コストの増幅
• Abstract要約: 既存の攻撃は、攻撃者が制御またはトリガした要求に対して異常に長いまたは繰り返し出力を誘導することでコストを増幅する。 本稿では,FragTokenを提案する。FragTokenは,ソースモデルによる自己蒸留,キャパシティ・アウェア・フィルタリング,予算処理を組み合わせた学習時間フレームワークで,通常のプロンプト下でのフラグメント生成を誘導するBPEアラインドマージングを提案する。
• 参考スコア（独自算出の注目度）: 35.25104697449625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language model (LLM) inference becomes increasingly expensive, resource-consumption attacks pose a growing threat to model providers. Existing attacks typically amplify cost by inducing abnormally long or repetitive outputs on attacker-controlled or triggered requests, making them easier to detect and limiting their deployment-wide impact when benign traffic dominates. In this work, we uncover a previously overlooked token-level attack surface arising from the many-to-one mapping from token sequences to decoded text. Although standard LLMs predominantly generate the canonical token sequences induced by their tokenizers, the same text can also be represented by substantially longer non-canonical sequences. This representational flexibility exposes a new avenue for resource-consumption attacks: an attacker can train the model to favor such sequences, systematically increasing the number of autoregressive decoding steps without a proportional increase in visible response length. However, we empirically find that directly maximizing token fragmentation substantially degrades model utility, producing conspicuous answer-quality failures that undermine attack stealthiness. To address this challenge, we propose FragToken, a training-time framework that combines source-model self-distillation, capacity-aware filtering and budgeting, and BPE-Aligned Merging to induce fragmented generation under ordinary prompts while largely preserving model utility. We evaluate FragToken on four LLMs across three benchmarks. Across the four models, FragToken achieves a three-benchmark average token inflation ratio (TIR) ranging from 1.99 to 2.46, while causing only minor degradation in model utility. Our work reveals a covert LLM supply-chain threat that increases inference cost without requiring large volumes of attack requests while largely preserving utility.
• Abstract（参考訳）: 大規模言語モデル(LLM)推論がますます高価になるにつれて、リソース消費攻撃はモデル提供者に対して脅威を増す。 既存の攻撃は、攻撃者が制御またはトリガした要求に対して異常に長いまたは繰り返し出力を誘導することでコストを増幅する。 本研究では,トークンシーケンスから復号化テキストへの多対一マッピングから生じる,これまで見過ごされていたトークンレベルの攻撃面を明らかにする。 標準的なLCMは、トークン化剤によって誘導される標準トークン配列を主に生成するが、同じテキストは、かなり長い非標準シーケンスで表すこともできる。 この表現の柔軟性は、リソース消費攻撃の新たな手段を明らかにする。攻撃者は、そのようなシーケンスを優先するようにモデルを訓練することができ、可視応答長の比例的な増加を伴わずに、体系的に自己回帰的復号ステップの数を増やすことができる。 しかし、トークンのフラグメンテーションを直接最大化することはモデルの有用性を著しく低下させ、攻撃の秘密性を損なう顕著な応答品質の失敗を生み出すことを実証的に見出した。 この課題に対処するために,FragTokenを提案する。FragTokenは,ソースモデル自己蒸留,キャパシティ対応フィルタリング,予算処理,BPE対応マージを組み合わせた,モデルユーティリティを大半保存しつつ,通常のプロンプトの下でフラグメント生成を誘導する訓練時間フレームワークである。 我々はFragTokenを3つのベンチマークで4つのLSMで評価した。 4つのモデル全体で、FragTokenは1.99から2.46までの3ベンチマーク平均トークンインフレーション比(TIR)を達成した。 我々の研究はLLMサプライチェーンの脅威を隠蔽し、大量のアタック要求を必要とせず、大半は実用性を維持しながら推論コストを増大させる。

関連論文リスト

• Groundhog Bit-Flip Attack: Seeding Infinite Generation Loops in Mixture-of-Experts LLMs through Bit Flips [14.320164432739881]
  我々は,最初のビットフリップベースのテクストである textbfGroundhog Bit-Flip Attack (GBFA) を,MoEベースの言語モデルに対するDenial-of-Walletアベイラビリティアタックとして提示する。 関連する専門家アクティベーションに関連するルーティング層ビットを同定し、フリップすることで、GBFAはデコードトークンの使用を大幅に拡張することを示した。 4つの主要な現実世界のMoEベースのLCMは、textbf4のエキスパートよりも手動で非活性化され、平均出力インフレーションは$mathbf5912%に上昇し、大多数がそれである。
  論文  参考訳（メタデータ） (2026-08-26T01:23:01Z)
• TwinGate: Stateful Defense against Decompositional Jailbreaks in Untraceable Traffic via Asymmetric Contrastive Learning [60.68349524623048]
  分解されたジェイルブレイクは、大きな言語モデルにとって重大な脅威となる。 我々はステートフルなデュアルエンコーダ防御フレームワークであるTwinGateを紹介する。 我々は、8600の異なる悪意のある意図にまたがる360万以上の命令の包括的なデータセットを構築した。
  論文  参考訳（メタデータ） (2026-04-30T13:44:01Z)
• Rethinking Latency Denial-of-Service: Attacking the LLM Serving Framework, Not the Model [12.046157489400457]
  大規模言語モデルは、レイテンシーアタックとして知られる、新しくて重要な脅威に直面します。 推論は本質的に高価であるため、控えめなスローダウンでさえ、相当な運用コストと深刻な可用性リスクに変換される可能性がある。 本研究では,スケジューラの状態遷移をターゲットとした新たなFill and Squeeze攻撃戦略を提案する。
  論文  参考訳（メタデータ） (2026-02-08T09:05:54Z)
• Behavior-Equivalent Token: Single-Token Replacement for Long Prompts in LLMs [55.827877498548965]
  単一プロンプト固有の振る舞い等価トークン([BE])を学習する軽量なトレーニングフレームワークを提案する。 フレームワークはまず[BE]に、元のシステムプロンプトの自然言語内容を再構成してエンコードし、その後、プロンプトの下流の振る舞いをこの単一のトークンに蒸留するように訓練する。 3つのデータセットに対する実証的な評価は、1つの[BE]トークンが3000倍の高速化を実現し、元のシステムの下流性能の約98%を維持していることを示している。
  論文  参考訳（メタデータ） (2025-11-28T15:22:52Z)
• One Token Embedding Is Enough to Deadlock Your Large Reasoning Model [91.48868589442837]
  我々は, LRMの生成制御フローをハイジャックする資源枯渇手法であるDeadlock Attackを提案する。 提案手法は4つの先進LEMにおいて100%の攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-10-12T07:42:57Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• Spill The Beans: Exploiting CPU Cache Side-Channels to Leak Tokens from Large Language Models [4.5987419425784966]
  LLM(Large Language Models)によって生成されるトークンをリークするキャッシュサイドチャネルの新しいアプリケーションであるSpill The Beansを紹介します。 重要な課題はLLMの大規模化であり、計算集約的な操作の性質上、キャッシュからベクターを埋め込むことがすぐになくなる。 より多くのトークンの監視は語彙リークの可能性を増大させるが、消去によってキャッシュがヒットする可能性を高める。 LLMの展開には新たな脆弱性があり、高度なモデルでさえ従来のサイドチャネル攻撃の影響を受けやすいことが判明した。
  論文  参考訳（メタデータ） (2025-05-01T19:18:56Z)
• A Generative Approach to LLM Harmfulness Mitigation with Red Flag Tokens [26.119521867045616]
  モデルの語彙を特別な赤いフラグトークンで拡張することを提案する。 有害なコンテンツが生成または差し迫ったときに、このトークンを挿入するようにモデルをトレーニングします。 このアプローチは,既存の安全技術と補完するものだ。
  論文  参考訳（メタデータ） (2025-02-22T21:48:48Z)
• An Interpretable N-gram Perplexity Threat Model for Large Language Model Jailbreaks [87.64278063236847]
  本研究では,ジェイルブレイク攻撃の原理的比較のための統一的脅威モデルを提案する。 私たちの脅威モデルは、あるジェイルブレイクがテキストの配布で起こりそうなかどうかをチェックします。 私たちはこの脅威モデルに人気のある攻撃を適応させ、これらの攻撃を同等の足場でベンチマークしました。
  論文  参考訳（メタデータ） (2024-10-21T17:27:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。