論文の概要: Groundhog Bit-Flip Attack: Seeding Infinite Generation Loops in Mixture-of-Experts LLMs through Bit Flips
- arxiv url: http://arxiv.org/abs/2608.25276v1
- Date: Wed, 26 Aug 2026 01:23:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.521181
- Title: Groundhog Bit-Flip Attack: Seeding Infinite Generation Loops in Mixture-of-Experts LLMs through Bit Flips
- Title(参考訳): グラウンホッグ・ビット・フリップ・アタック:ビット・フリップによる実験用LLMの無限生成ループの探索
- Abstract要約: 我々は,最初のビットフリップベースのテクストである textbfGroundhog Bit-Flip Attack (GBFA) を,MoEベースの言語モデルに対するDenial-of-Walletアベイラビリティアタックとして提示する。
関連する専門家アクティベーションに関連するルーティング層ビットを同定し、フリップすることで、GBFAはデコードトークンの使用を大幅に拡張することを示した。
4つの主要な現実世界のMoEベースのLCMは、textbf4のエキスパートよりも手動で非活性化され、平均出力インフレーションは$mathbf5912%に上昇し、大多数がそれである。
- 参考スコア(独自算出の注目度): 14.320164432739881
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixture-of-Experts (MoE) architectures enable scalable and efficient large language models (LLMs) by selectively activating expert sub-networks through a routing mechanism. However, this adaptive design introduces a new attack surface: specific experts become disproportionately correlated with certain tokens (e.g., end-of-sequence), allowing adversaries to manipulate model behavior via lightweight perturbations. In this work, we present \textbf{Groundhog Bit-Flip Attack (GBFA)}, the first bit-flip-based \textit{ Denial-of-Wallet availability attack} against MoE-based LLMs. By identifying and flipping routing-layer bits associated with related expert activations, we demonstrate that GBFA substantially extends the decoding token usage across three different LLM modes: conversational, reasoning, and agentic tasks, while largely preserving semantic fidelity. Across four main real-world MoE-based LLMs, manually deactivating on average fewer than \textbf{4 experts} drives average output inflation to $\mathbf{5912\%}$, with the majority of test samples reaching max tokens. These results reveal a robustness vulnerability of MoE architectures to bit flip, and highlight the potential of GBFA as an availability attack against LLMs.
- Abstract(参考訳): Mixture-of-Experts (MoE)アーキテクチャは、ルーティング機構を通じて専門家のサブネットワークを選択的に活性化することにより、スケーラブルで効率的な大規模言語モデル(LLM)を可能にする。
しかし、この適応設計では新たな攻撃面が導入された: 特定の専門家は特定のトークン(例えば、シーケンスの終了)と不均等に相関し、敵は軽量な摂動によってモデル動作を操作できる。
そこで本研究では,最初のビットフリップベースの \textit{ Denial-of-Wallet Availability attack} である \textbf{Groundhog Bit-Flip Attack (GBFA) を,MoE ベースの LLM に対して提示する。
関連する専門家アクティベーションに関連するルーティング層ビットを同定し、フリップすることで、GBFAは3つのLLMモード(会話、推論、エージェントタスク)でデコードトークンの使用を著しく拡張し、セマンティックな忠実さを保っていることを実証する。
4つの主要な現実世界の MoE ベースの LLM は、平均で \textbf{4 experts} より少ない値で手動で非活性化し、平均出力インフレーションを $\mathbf{5912\%}$ に駆動する。
これらの結果から,GBFA が LLM に対するアベイラビリティ攻撃の可能性を浮き彫りにした MoE アーキテクチャの堅牢性脆弱性が明らかになった。
関連論文リスト
- Decision-Level Hijacking: Injecting Cognitive Bias into Large Language Models via Bit-Flip Attacks [45.528190718580724]
Bit-Flip攻撃は、決定レベルのハイジャックを誘導するアタックベクターとして機能する。
CogBiasは、大規模言語モデルのための認知バイアス注入フレームワークである。
論文 参考訳(メタデータ) (2026-07-28T02:59:32Z) - MaskForge: Structure-Aware Adaptive Attacks for Jailbreaking Diffusion Large Language Models [53.05463623673949]
MaskForgeは完全にブラックボックス対応の攻撃で、構造パターンのライブラリを最適化した検索としてdLLMのレッドチームを実行する。
攻撃成功率は79.3%であり、最強のdLLMベースラインよりも17.6%向上している。
論文 参考訳(メタデータ) (2026-06-01T18:10:21Z) - SimSD: Simple Speculative Decoding in Diffusion Language Models [61.33773959352141]
拡散大言語モデル (dLLMs) は、並列またはブロックワイド復号による高速な推論を提供する。
彼らのマスク付き言語モデリングの定式化は、標準的なトークンレベルの投機的復号法とは相容れないままである。
我々は,dLLMに時間的に有効なトークンレベルのコンテキストを付与する,SimSDと呼ばれるdLLMの投機的復号アルゴリズムを提案する。
提案手法は,平均生成品質を維持しつつ,最大7.46倍高い復号スループットを実現する。
論文 参考訳(メタデータ) (2026-06-01T17:46:46Z) - TFL: Targeted Bit-Flip Attack on Large Language Model [16.379863498328955]
大規模言語モデル(LLM)は、安全およびセキュリティクリティカルなアプリケーションにますます多くデプロイされている。
本稿では,新規なビットフリップ攻撃フレームワークであるTFLを紹介する。
TFLフレームワーク内では,生成出力における攻撃者特定ターゲットトークンの促進を目的とした,キーワードに着目した新たな攻撃損失を提案する。
論文 参考訳(メタデータ) (2026-02-19T20:59:47Z) - FlipLLM: Efficient Bit-Flip Attacks on Multimodal LLMs using Reinforcement Learning [0.0]
FlipLLMは、BFA発見をシーケンシャルな意思決定問題として定式化するフレームワークである。
FlipLLMは、SOTA法よりも2.5倍高速なBFAに対して脆弱な臨界ビットを識別できることを示す。
ECC SECDEDなどの標準的なハードウェア保護機構をFlipLLMで識別されたビット位置に適用することで、BFAの影響を完全に緩和する。
論文 参考訳(メタデータ) (2025-12-10T17:58:18Z) - SBFA: Single Sneaky Bit Flip Attack to Break Large Language Models [16.379863498328955]
Bit-Flip攻撃はディープニューラルネットワーク(DNN)を著しく損なう
SBFA(Sneaky Bit-Flip Attack)を提案する。
パラメータ感度の基準であるImpactScoreを用いて、反復的な検索とランキングによって達成される。
論文 参考訳(メタデータ) (2025-09-26T04:03:53Z) - Towards Label-Only Membership Inference Attack against Pre-trained Large Language Models [34.39913818362284]
メンバーシップ推論攻撃(MIA)は、データサンプルがモデルのトレーニングセットに属しているかどうかを予測することを目的としている。
textbfPETAL: textbfPEr-textbfToken semtextbfAntic simitextbfLLに基づくラベルのみのメンバシップ推論攻撃を提案する。
論文 参考訳(メタデータ) (2025-02-26T08:47:19Z) - Bridge the Points: Graph-based Few-shot Segment Anything Semantically [79.1519244940518]
プレトレーニング技術の最近の進歩により、視覚基礎モデルの能力が向上した。
最近の研究はSAMをFew-shot Semantic segmentation (FSS)に拡張している。
本稿では,グラフ解析に基づく簡易かつ効果的な手法を提案する。
論文 参考訳(メタデータ) (2024-10-09T15:02:28Z) - FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。
発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。
本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
論文 参考訳(メタデータ) (2024-04-05T02:35:43Z) - SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。
敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
論文 参考訳(メタデータ) (2023-10-05T17:01:53Z) - One-bit Flip is All You Need: When Bit-flip Attack Meets Model Training [54.622474306336635]
メモリフォールトインジェクション技術を利用したビットフリップ攻撃(BFA)と呼ばれる新たな重み修正攻撃が提案された。
本稿では,高リスクモデルを構築するための訓練段階に敵が関与する,訓練支援ビットフリップ攻撃を提案する。
論文 参考訳(メタデータ) (2023-08-12T09:34:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。