論文の概要: BitHydra: Towards Bit-flip Inference Cost Attack against Large Language Models

• arxiv url: http://arxiv.org/abs/2505.16670v3
• Date: Mon, 29 Sep 2025 04:08:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 17:47:08.965783
• Title: BitHydra: Towards Bit-flip Inference Cost Attack against Large Language Models
• Title（参考訳）: BitHydra: 大規模言語モデルに対するビットフリップ推論コスト攻撃を目指す
• Authors: Xiaobei Yan, Yiming Li, Hao Wang, Han Qiu, Tianwei Zhang,
• Abstract要約: モデル重みを直接修正し,漏洩したLLMの全ユーザに対して持続的オーバーヘッドを誘発する,最初のビットフリップ推論コスト攻撃を導入する。 この攻撃パラダイムをBitHydraでインスタンス化し、(1)シーケンス終端トークン(EOS)を抑制する損失を最小限に抑え、(2)EOS埋め込みベクトルに焦点をあてた効率的かつ効果的なクリティカルビット探索を利用する。
• 参考スコア（独自算出の注目度）: 22.695878922889715
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are widely deployed, but their growing compute demands expose them to inference cost attacks that maximize output length. We reveal that prior attacks are fundamentally self-targeting because they rely on crafted inputs, so the added cost accrues to the attacker's own queries and scales poorly in practice. In this work, we introduce the first bit-flip inference cost attack that directly modifies model weights to induce persistent overhead for all users of a compromised LLM. Such attacks are stealthy yet realistic in practice: for instance, in shared MLaaS environments, co-located tenants can exploit hardware-level faults (e.g., Rowhammer) to flip memory bits storing model parameters. We instantiate this attack paradigm with BitHydra, which (1) minimizes a loss that suppresses the end-of-sequence token (i.e., EOS) and (2) employs an efficient yet effective critical-bit search focused on the EOS embedding vector, sharply reducing the search space while preserving benign-looking outputs. We evaluate across 11 LLMs (1.5B-14B) under int8 and float16, demonstrating that our method efficiently achieves scalable cost inflation with only a few bit flips, while remaining effective even against potential defenses.
• Abstract（参考訳）: 大規模言語モデル(LLM)は広くデプロイされているが、その増大する計算要求は、出力長を最大化するコスト攻撃を推論する。 先程の攻撃が基本的に自己目標であることは明らかです。なぜなら,攻撃者自身のクエリに追加のコストがかかり,実際にはあまりスケールしないからです。 本研究では,LLMの利用者に対して,モデル重みを直接修正し,持続的なオーバーヘッドを生じさせる,最初のビットフリップ推論コスト攻撃を提案する。 例えば、共有MLaaS環境では、同じ場所にいるテナントがハードウェアレベルの障害(例えばRowhammer)を利用して、モデルパラメータを格納したメモリビットを反転させることができる。 この攻撃パラダイムをBitHydraでインスタンス化し、(1)シーケンス終端トークン(EOS)を抑制する損失を最小限に抑え、(2)EOS埋め込みベクトルに焦点をあてた効率的かつ効果的なクリティカルビット探索を用い、良質な出力を維持しながら検索空間を激減する。 Int8およびfloat16の11 LLM (1.5B-14B) に対して, 本手法は数ビットのフリップで効率よく拡張コストのインフレーションを達成し, 防御にも有効であることを実証した。

関連論文リスト

• Is Your Prompt Safe? Investigating Prompt Injection Attacks Against Open-Source LLMs [28.75283403986172]
  大規模言語モデル(LLM)は、プロンプトベースの攻撃に対して脆弱であり、有害なコンテンツや機密情報を生成する。 本稿では,5 つの攻撃ベンチマークにおいて,$mathbf14$ のオープンソース LLM に対する効果的なインジェクション攻撃について検討する。
  論文  参考訳（メタデータ） (2025-05-20T13:50:43Z)
• No Query, No Access [50.18709429731724]
  被害者のテキストのみを使用して動作する textbfVictim Data-based Adrial Attack (VDBA) を導入する。 被害者モデルへのアクセスを防止するため、公開されている事前トレーニングモデルとクラスタリングメソッドを備えたシャドウデータセットを作成します。 EmotionとSST5データセットの実験によると、VDBAは最先端の手法より優れており、ASRの改善は52.08%である。
  論文  参考訳（メタデータ） (2025-05-12T06:19:59Z)
• ELBA-Bench: An Efficient Learning Backdoor Attacks Benchmark for Large Language Models [55.93380086403591]
  生成可能な大規模言語モデルは、バックドアアタックに対して脆弱である。 $textitELBA-Bench$は、パラメータを効率的に微調整することで攻撃者がバックドアを注入できるようにする。 $textitELBA-Bench$は1300以上の実験を提供する。
  論文  参考訳（メタデータ） (2025-02-22T12:55:28Z)
• GenBFA: An Evolutionary Optimization Approach to Bit-Flip Attacks on LLMs [3.967858172081495]
  大規模言語モデル (LLM) は自然言語処理 (NLP) に革命をもたらした。 ミッションクリティカルなアプリケーションの採用が増えると、ハードウェアベースの脅威、特にビットフリップ攻撃(BFA)に対する懸念が高まる。
  論文  参考訳（メタデータ） (2024-11-21T00:01:51Z)
• Target-driven Attack for Large Language Models [14.784132523066567]
  クリーンテキストと攻撃テキストの条件付き確率のKL差を最大化するターゲット駆動型ブラックボックス攻撃法を提案する。 複数の大規模言語モデルとデータセットの実験結果から,攻撃手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-11-09T15:59:59Z)
• Denial-of-Service Poisoning Attacks against Large Language Models [64.77355353440691]
  LLMはDenial-of-Service(DoS)攻撃に対して脆弱で、スペルエラーや非意味的なプロンプトが[EOS]トークンを生成することなく、無限のアウトプットをトリガーする。 本研究では, LLM に対する毒素を用いた DoS 攻撃について提案し, 1 つの毒素を注入することで, 出力長の限界を破ることができることを示した。
  論文  参考訳（メタデータ） (2024-10-14T17:39:31Z)
• Goal-guided Generative Prompt Injection Attack on Large Language Models [6.175969971471705]
  大規模言語モデル(LLM)は、大規模ユーザ指向自然言語タスクの強力な基盤を提供する。 多数のユーザは、ユーザインターフェースを通じて、逆テキストや命令を容易に注入することができる。 これらの戦略が攻撃の成功率とどのように関係し、モデルセキュリティを効果的に改善するかは不明である。
  論文  参考訳（メタデータ） (2024-04-06T06:17:10Z)
• DALA: A Distribution-Aware LoRA-Based Adversarial Attack against Language Models [64.79319733514266]
  敵攻撃は入力データに微妙な摂動をもたらす可能性がある。 最近の攻撃方法は比較的高い攻撃成功率(ASR)を達成することができる。 そこで本研究では,分散ロラをベースとしたDALA(Adversarial Attack)手法を提案する。
  論文  参考訳（メタデータ） (2023-11-14T23:43:47Z)
• Versatile Weight Attack via Flipping Limited Bits [68.45224286690932]
  本研究では,展開段階におけるモデルパラメータを変更する新たな攻撃パラダイムについて検討する。 有効性とステルスネスの目標を考慮し、ビットフリップに基づく重み攻撃を行うための一般的な定式化を提供する。 SSA(Single sample attack)とTSA(Singr sample attack)の2例を報告した。
  論文  参考訳（メタデータ） (2022-07-25T03:24:58Z)
• Targeted Attack against Deep Neural Networks via Flipping Limited Weight Bits [55.740716446995805]
  我々は,悪質な目的で展開段階におけるモデルパラメータを修飾する新しい攻撃パラダイムについて検討する。 私たちのゴールは、特定のサンプルをサンプル修正なしでターゲットクラスに誤分類することです。 整数プログラミングにおける最新の手法を利用することで、このBIP問題を連続最適化問題として等価に再構成する。
  論文  参考訳（メタデータ） (2021-02-21T03:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。