論文の概要: Controlled Decoding Attacks on Black-Box LLMs
- arxiv url: http://arxiv.org/abs/2609.36956v1
- Date: Tue, 29 Sep 2026 07:58:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.307427
- Title: Controlled Decoding Attacks on Black-Box LLMs
- Title(参考訳): ブラックボックスLDMにおける制御復号化攻撃
- Abstract要約: Methodは、繰り返しサンプリングとアシスタント-継続を可能にする、テキストのみの継続インターフェイスを通じてジェイルブレイクを行うためのフレームワークである。
Risk-Gated Residual Controlは、進化する応答プレフィックスを使用して、配布の再構築と修正をいつ行うかを決定する。
Speculative Multi-Token Executionは、介入を必要としないドラフトプレフィックスの検証と受け入れによって、さらにターゲットコールを償却する。
- 参考スコア(独自算出の注目度): 68.46062477706256
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Manipulating next-token probabilities during generation can bypass the safety alignment of large language models. Existing approaches, however, rely on access to model weights or numerical token probabilities and therefore do not apply to interfaces that return only sampled text. Reconstructing probabilities from sampled outputs offers a possible alternative, but finite sampling produces sparse and noisy estimates, while repeating this process at every generation step incurs substantial query costs. Our empirical observations suggest that large distributional changes along successful jailbreak trajectories are concentrated at a small subset of positions, motivating selective control. We introduce \method{}, a framework for jailbreaking through text-only continuation interfaces that permit repeated sampling and assistant-prefix continuation. Sample-Based Distribution Reconstruction combines sampled outputs with a prior over unobserved actions to obtain a usable control signal. Risk-Gated Residual Control uses the evolving response prefix to decide when to reconstruct and modify the distribution, concentrating sampling costs at selected positions. Speculative Multi-Token Execution further amortizes target calls by verifying and accepting draft prefixes that require no intervention. Across four target endpoints and three benchmarks, \method{} achieves the highest mean score most comparisons against baselines.
- Abstract(参考訳): 生成中の次トーケン確率を操作することは、大きな言語モデルの安全アライメントを回避できる。
しかし、既存のアプローチはモデルの重み付けや数値トークンの確率に頼っているため、サンプルテキストのみを返すインターフェイスには適用されない。
サンプリングされた出力から確率を再構成することは、可能な代替手段を提供するが、有限サンプリングはスパースとノイズの見積もりを生成し、生成ステップ毎にこのプロセスを繰り返すと、かなりのクエリコストが発生する。
我々の経験的観察は、ジェイルブレイク軌道における大きな分布変化は、少数の位置に集中しており、選択的な制御を動機付けていることを示唆している。
テキストのみの継続インターフェースを通じてジェイルブレイクを行うフレームワークである \method{} を導入し、繰り返しサンプリングとアシスタント-プレフィックスの継続を可能にする。
サンプルベース分布再構成は、サンプル出力と未観測の未観測動作を組み合わせ、使用可能な制御信号を得る。
Risk-Gated Residual Controlは、進化する応答プレフィックスを使用して、いつその分布を再構築し、変更するかを決定し、選択した位置でのサンプリングコストに集中させる。
Speculative Multi-Token Executionは、介入を必要としないドラフトプレフィックスの検証と受け入れによって、さらにターゲットコールを償却する。
4つの目標エンドポイントと3つのベンチマークで、'method{} はベースラインと比較して最も高い平均スコアを達成している。
関連論文リスト
- BLOOM-WILT: Logit Tilting for Behaviour Elicitation in Automated LLM Auditing [0.898478290216692]
BLOOM-WILTは、トレーニングコストやターゲットの次のトーケン分布を越えてアクセスすることなく、レアな振る舞いの自然なマルチターンインスタンスを提供する。
WILTを4つのターゲットモデルと8つの動作で評価し、32設定のうち30設定でベースライン監査を破る。
論文 参考訳(メタデータ) (2026-08-31T17:10:59Z) - Pre-Generation Hallucination Detection in Large Language Models via Soft-Target Attention Probing [0.9870126088784975]
実験的な回答誤り率を過度にサンプリングした結果に基づいて,ソフトターゲットの監視を導入する。
我々は、前世代の設定に注意を向けることで、検知器が幻覚関連プロンプト表現を選択的に集約することを可能にする。
論文 参考訳(メタデータ) (2026-06-20T07:31:41Z) - Stop Early, Spend Less: Hidden-State Probes as a Practical Recipe for Streaming Moderation of LLM Outputs [0.0]
既存のアプローチは、生成後に適用される別のモデレーションモデルに依存している。
我々は、モデレーションに必要な信号が隠蔽状態のモデルにすでに存在することを観察する。
トークンレベルの軽量プローブをトレーニングし、内部アクティベーションを直接操作します。
論文 参考訳(メタデータ) (2026-06-09T07:01:43Z) - TapSampling: Inference-Time Sampling with a Task-Progress-Understanding Verifier for Robotic Manipulation [61.35569005726248]
既存の具体的制御研究は、トレーニングデータとモデルサイズをスケールすることで、顕著なパフォーマンス向上を示す。
拡散や自己回帰モデルのような非決定論的生成モデルは、エンボディドコントロールの分野で広く採用されている。
推測時間サンプリングのためのプラグイン・アンド・プレイフレームワークである textbfTapSampling を提案する。
論文 参考訳(メタデータ) (2026-05-25T08:03:31Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳(メタデータ) (2025-09-26T23:40:47Z) - Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
トークンの制約を評価するのは 違法にコストがかかる
LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。
我々のアプローチは最先端のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2025-04-07T18:30:18Z) - A Block Metropolis-Hastings Sampler for Controllable Energy-based Text
Generation [78.81021361497311]
我々は,大規模言語モデルの反復的プロンプトを通じて,各ステップにおけるシーケンス全体の書き直しを提案する新しいメトロポリス・ハスティングス(MH)サンプリング器を開発した。
対象分布からより効率的かつ正確なサンプリングが可能となり, (b) 事前に固定するのではなく, サンプリング手順により生成長を決定することが可能となった。
論文 参考訳(メタデータ) (2023-12-07T18:30:15Z) - Masked Generative Modeling with Enhanced Sampling Scheme [1.3927943269211591]
拡張サンプリングスキーム(ESS)は、サンプルの多様性と忠実さの両方を保証する。
ESSは、Naive Iterative Decoding、Critical Reverse Smpling、Critical Resamplingの3つのステージで構成されている。
非条件サンプリングとクラス条件サンプリングの両方において、ESSの大幅な性能向上を示す。
論文 参考訳(メタデータ) (2023-09-14T09:42:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。