論文の概要: Not All Tokens Are Created Equal: Query-Efficient Jailbreak Fuzzing for LLMs
- arxiv url: http://arxiv.org/abs/2603.23269v1
- Date: Tue, 24 Mar 2026 14:33:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-25 19:53:37.535417
- Title: Not All Tokens Are Created Equal: Query-Efficient Jailbreak Fuzzing for LLMs
- Title(参考訳): LLMのためのクエリ効率の良いジェイルブレイクファズリング
- Authors: Wenyu Chen, Xiangtao Meng, Chuanchao Zang, Li Wang, Xinyu Gao, Jianing Wang, Peng Zhan, Zheng Li, Shanqing Guo,
- Abstract要約: 大規模言語モデル(LLM)は広くデプロイされているが、ポリシー違反の出力を誘発するジェイルブレイクプロンプトに対して脆弱である。
本稿では,トークン対応のジェイルブレイクファジィフレームワークであるTriageFuzzを提案する。
- 参考スコア(独自算出の注目度): 21.149128115340996
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models(LLMs) are widely deployed, yet are vulnerable to jailbreak prompts that elicit policy-violating outputs. Although prior studies have uncovered these risks, they typically treat all tokens as equally important during prompt mutation, overlooking the varying contributions of individual tokens to triggering model refusals. Consequently, these attacks introduce substantial redundant searching under query-constrained scenarios, reducing attack efficiency and hindering comprehensive vulnerability assessment. In this work, we conduct a token-level analysis of refusal behavior and observe that token contributions are highly skewed rather than uniform. Moreover, we find strong cross-model consistency in refusal tendencies, enabling the use of a surrogate model to estimate token-level contributions to the target model's refusals. Motivated by these findings, we propose TriageFuzz, a token-aware jailbreak fuzzing framework that adapts the fuzz testing approach with a series of customized designs. TriageFuzz leverages a surrogate model to estimate the contribution of individual tokens to refusal behaviors, enabling the identification of sensitive regions within the prompt. Furthermore, it incorporates a refusal-guided evolutionary strategy that adaptively weights candidate prompts with a lightweight scorer to steer the evolution toward bypassing safety constraints. Extensive experiments on six open-source LLMs and three commercial APIs demonstrate that TriageFuzz achieves comparable attack success rates (ASR) with significantly reduced query costs. Notably, it attains a 90% ASR with over 70% fewer queries compared to baselines. Even under an extremely restrictive budget of 25 queries, TriageFuzz outperforms existing methods, improving ASR by 20-40%.
- Abstract(参考訳): 大規模言語モデル(LLM)は広くデプロイされているが、ポリシー違反の出力を誘発するjailbreakプロンプトに対して脆弱である。
以前の研究でこれらのリスクが明らかになったが、通常は全てのトークンを即時突然変異の間、モデル拒絶を引き起こすための個々のトークンの様々な貢献を見越して、同様に重要なものとして扱う。
その結果、これらの攻撃はクエリ制約のあるシナリオ下でかなりの冗長な検索を導入し、攻撃効率を低下させ、包括的な脆弱性評価を妨げる。
本研究では,拒否行動のトークンレベル解析を行い,トークンの寄与が均一ではなく高度に歪められていることを観察する。
さらに、リフレクション傾向において強いクロスモデル一貫性が得られ、サロゲートモデルを用いることで、ターゲットモデルのリフレクションに対するトークンレベルのコントリビューションを推定できる。
これらの知見に触発されたTriageFuzzは,ファジテストのアプローチをカスタマイズした一連の設計で適応するトークン対応のジェイルブレイクファジリングフレームワークである。
TriageFuzzは代理モデルを活用して、個々のトークンが動作を拒否する要因を推定し、プロンプト内の機密領域を識別する。
さらに、安全制約を回避して進化を推し進めるために、軽量スコアラーで候補を適応的に重み付けする拒絶誘導進化戦略も組み込まれている。
6つのオープンソースLLMと3つの商用APIに関する大規模な実験は、TriageFuzzがクエリコストを大幅に削減して、同等の攻撃成功率(ASR)を達成したことを示している。
特に、ベースラインよりも70%以上少ないクエリで90%のASRを実現している。
25クエリの極めて制限的な予算の下でも、TriageFuzzは既存のメソッドよりも優れ、ASRを20-40%改善している。
関連論文リスト
- Reward Under Attack: Analyzing the Robustness and Hackability of Process Reward Models [68.45272703833209]
現状のPRMは、逆最適化圧力下で体系的に利用可能であることを示す。
これらの脆弱性を定量化するために、敵の圧力を増大させる3段階の診断フレームワークを導入する。
我々は、PRM-BiasBenchと診断ツールキットをリリースし、デプロイ前にロバストネスの評価を可能にする。
論文 参考訳(メタデータ) (2026-02-20T23:38:03Z) - ReasoningBomb: A Stealthy Denial-of-Service Attack by Inducing Pathologically Long Reasoning in Large Reasoning Models [67.15960154375131]
大規模推論モデル(LRM)は、多段階推論トレースを明示した大規模言語モデルを拡張する。
この能力は、推論の高い計算コストを生かした、新しいタイプのプロンプト誘発推論時間拒否攻撃(PI-DoS)を導入している。
本稿では,強化学習に基づくPI-DoSフレームワークであるReasoningBombについて紹介する。
論文 参考訳(メタデータ) (2026-01-29T18:53:01Z) - EvasionBench: Detecting Evasive Answers in Financial Q&A via Multi-Model Consensus and LLM-as-Judge [8.50639201265868]
EvasionBenchを紹介します。3万のトレーニングサンプルと1,000人の人手によるテストサンプルで構成されています。
2つの強いアノテータが衝突し、審査員がラベルを解消する境界ケースを抽出する。
トレーニングされたモデルEva-4B(4Bパラメータ)は81.3%の精度でベースを25ポイント上回っている。
論文 参考訳(メタデータ) (2026-01-14T04:26:43Z) - Few Tokens Matter: Entropy Guided Attacks on Vision-Language Models [22.510259484720212]
視覚言語モデル(VLM)は優れた性能を発揮するが、敵の攻撃に弱いままである。
自己回帰生成における重要な決定点である高エントロピートークンのごく一部が、出力軌跡を不均等に支配していることを示す。
有害な変換を伴う競合攻撃成功率(93-95%)を達成するエントロピーバンク誘導アドリアック(EGA)を提案する。
論文 参考訳(メタデータ) (2025-12-26T01:01:25Z) - Quantifying the Risk of Transferred Black Box Attacks [0.0]
ニューラルネットワークは、セキュリティ関連製品など、さまざまなアプリケーションに広く普及している。
本稿では,移動攻撃に対するレジリエンステストの複雑さについて検討する。
本稿では,CKA(Centered Kernel Alignment)の類似性に基づいて戦略的に選択された代理モデルを用いたレジリエンステストフレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-07T09:34:43Z) - One Token Embedding Is Enough to Deadlock Your Large Reasoning Model [91.48868589442837]
我々は, LRMの生成制御フローをハイジャックする資源枯渇手法であるDeadlock Attackを提案する。
提案手法は4つの先進LEMにおいて100%の攻撃成功率を達成する。
論文 参考訳(メタデータ) (2025-10-12T07:42:57Z) - Additive Distributionally Robust Ranking and Selection [0.8283940114367679]
そこで本研究では,$k + m - 1$の事前仮説クリティカルシナリオのみをサンプリングすることを目的とした,単純な加算割当(AA)手順を提案する。
AAが一貫したものであり、驚くべきことに、最も強い意味で付加性を達成することを証明します。
結果は、DRR&Sの加法構造に対する新しい、そして反直観的な洞察を与える。
論文 参考訳(メタデータ) (2025-09-07T17:36:29Z) - Chain-of-Code Collapse: Reasoning Failures in LLMs via Adversarial Prompting in Code Generation [0.3495246564946556]
大規模言語モデル(LLM)は複雑な推論を必要とするタスクにおいて顕著な成功を収めた。
これらのモデルは本当に理由があるのか、それとも浅い統計パターンを利用するだけなのか?
ここでは、意味論的に忠実だが逆向きに構造化された急激な摂動のスイートを導入することで、LCMの推論の堅牢性について検討する。
論文 参考訳(メタデータ) (2025-06-08T02:43:46Z) - REINFORCE Adversarial Attacks on Large Language Models: An Adaptive, Distributional, and Semantic Objective [57.57786477441956]
応答の個体群に対する適応的・意味的最適化問題を提案する。
我々の目標は、Llama3の攻撃成功率(ASR)を2倍にし、サーキットブレーカー防御でASRを2%から50%に向上させることである。
論文 参考訳(メタデータ) (2025-02-24T15:34:48Z) - STBA: Towards Evaluating the Robustness of DNNs for Query-Limited Black-box Scenario [50.37501379058119]
本研究では,クエリ制限シナリオにおいて,悪意のある逆の例を作成するために,空間変換ブラックボックス攻撃(STBA)を提案する。
そこで本研究では,STBAが対向例の認識不能性を効果的に改善し,クエリ制限条件下での攻撃成功率を大幅に向上できることを示す。
論文 参考訳(メタデータ) (2024-03-30T13:28:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。