論文の概要: Diffusion Language Models for Perplexity-Aware Black-Box Attacks
- arxiv url: http://arxiv.org/abs/2610.31558v1
- Date: Thu, 22 Oct 2026 17:00:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.488138
- Title: Diffusion Language Models for Perplexity-Aware Black-Box Attacks
- Title（参考訳）: 複雑度を考慮したブラックボックス攻撃のための拡散言語モデル
- Abstract要約: 連続的な潜在空間のフレームワークは、学習された言語上の生成的分布に直接結合可能であることを示す。
提案手法は,emphRareTrapを用いたサンプリングベース推定とemphThinkTrapを用いた最適化ベース探索の2つの設定で評価する。
- 参考スコア（独自算出の注目度）: 27.148629622245412
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: \emph{Continuous-space} attacks find prompts that trigger malicious behaviors, such as overthinking, in black-box LLMs by sampling or optimizing over a low-dimensional Gaussian latent space and decoding it to text through a \emph{random mapping} and nearest-token lookup. Because the random mapping is not learned from language, its prompts can be highly unnatural, and as such easily detectable through input guardrails, and the risk estimates they yield are not grounded in natural prompts. In this paper, we demonstrate that the same continuous latent-space framework can be coupled directly to a learned generative distribution over language, a continuous diffusion language model (dLLM), which removes the artificial random mapping while preserving the standard-Gaussian latent formulation and the downstream sampling or optimization procedure. We evaluate this approach under two settings: sampling-based estimation using \emph{RareTrap} and optimization-based search using \emph{ThinkTrap}. We find that character-level perplexity drops from $10^3$--$10^7$ to 3--5 in RareTrap and from 20--28 to 4.3--5.4 in ThinkTrap. We also find that model risk estimates can differ by an order of magnitude across the two mappings.
- Abstract（参考訳）: \emph{Continuous-space}アタックは、低次元ガウスラテント空間をサンプリングしたり最適化したりして、‘emph{random mapping} と最も近いルックアップを通じてテキストに復号することで、ブラックボックス LLM で過度に考えるなどの悪意ある振る舞いを引き起こすプロンプトを見つける。
ランダムマッピングは言語から学習されないため、そのプロンプトは極めて不自然なものであり、入力ガードレールによって容易に検出できる。
本稿では,学習した言語上の生成分布に直接,同じ連続ラテント空間のフレームワークを結合できることを実証する。これは,標準ガウスのラテント定式化と下流サンプリングや最適化の手順を保ちながら,人工的ランダムマッピングを除去する連続拡散言語モデル(dLLM)である。
提案手法は,<emph{RareTrap} を用いたサンプリングベース推定と,<emph{ThinkTrap} を用いた最適化ベース探索の2つの設定で評価する。
文字レベルのパープレキシティは、RareTrapでは10^3$--$10^7$から3-5、ThinkTrapでは20--28から4.3--5.4に低下する。
また、モデルリスク推定は2つのマッピングで桁違いに異なる場合がある。
関連論文リスト
- Autoregressive Decoding as a Martingale: Characterizing the Stochastic Dynamics of LLM Generation [13.163523279717358]
大規模言語モデル(LLM)は、幅広い言語タスクで顕著な成功を収めた。
本稿では,厳密な確率論的観点から自己回帰復号の力学について考察する。
自己回帰復号におけるシーケンス変動と予測不確かさとの直接的理論的関係を同定する。
論文 参考訳（メタデータ） (2026-10-12T01:31:31Z) - Quantifying Behavioral Tails in Black-Box Language Models [27.148629622245412]
ブラックボックス大言語モデルにおける厳しい振る舞いの確率を推定するフレームワークであるRareTrapを紹介した。
我々は,RareTrapが資源消費の厳しい振る舞いを誘発し,その確率を最大200評価で計算することを発見した。
論文 参考訳（メタデータ） (2026-09-27T15:00:00Z) - Learn from your own latents and not from tokens: A sample-complexity theory [53.5821824211418]
本研究では,関連するビューやマスキング領域の潜在表現を予測するために訓練されたネットワークについて検討する。
潜在予測は、対数的要因まで、多くのサンプルを$L$で表すことでこれを達成できることを示す。
これは、H-JEPAのような明示的な積み重ねがほとんど冗長であることを示している。
論文 参考訳（メタデータ） (2026-05-26T22:16:42Z) - Efficient Long-Context Modeling in Diffusion Language Models via Block Approximate Sparse Attention [58.484607892210015]
Diffusion Language Models (DLM) は、グローバルコヒーレント、双方向、および制御可能なテキスト生成を可能にする。
既存の多くのブロックスパースアテンション手法は、高分解能アテンション空間上の固定サンプリングパターンによってブロックを選択する。
本稿では,ブロックワイド事前サンプリング操作によるBA-Att(Block Approximate Sparse Attention framework)を提案する。
論文 参考訳（メタデータ） (2026-05-19T12:01:13Z) - A Hierarchical Language Model with Predictable Scaling Laws and Provable Benefits of Reasoning [15.789193816051911]
階層構造を持つ合成言語群を紹介する。
自己回帰生成における文脈長と推論の役割を正確に分析することができる。
論文 参考訳（メタデータ） (2026-05-13T15:42:26Z) - Language models recognize dropout and Gaussian noise applied to their activations [74.06294367754748]
我々は, (a) アンフマスクのアクティベーションをシミュレートし, あるいは (b) アンフガウス雑音を付加する。
Llama、Olmo、Qwenファミリーのモデルをテストする。
論文 参考訳（メタデータ） (2026-04-19T14:30:13Z) - DVD: A Robust Method for Detecting Variant Contamination in Large Language Model Evaluation [24.086354908256293]
textbfDVDは、温度サンプリングによって誘導される局所的な出力分布をモデル化する単一サンプル検出器である。
我々は,Omni-MATH と SuperGPQA の2つの領域にわたる変異汚染の最初のベンチマークを構築した。
textbfDVDは、パープレキシティベース、Min-$k$%++、編集距離(CDD)、埋め込み類似性ベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-01-08T12:48:40Z) - Emulated Disalignment: Safety Alignment for Large Language Models May Backfire! [65.06450319194454]
大きな言語モデル(LLM)は、人間との安全な会話を確保するために安全アライメントを行う。
本稿では,安全アライメントの反転が可能なトレーニングフリーアタック手法を提案する。
本手法をエミュレートした脱アライメント (ED) と呼ぶのは, このコントラスト分布からのサンプリングは, 安全報酬を最小限に抑えるため, 微調整の結果を確実にエミュレートするからである。
論文 参考訳（メタデータ） (2024-02-19T18:16:51Z) - Token-Level Adversarial Prompt Detection Based on Perplexity Measures
and Contextual Information [67.78183175605761]
大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。
この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。
トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-20T03:17:21Z) - ProbVLM: Probabilistic Adapter for Frozen Vision-Language Models [69.50316788263433]
本稿では,事前学習された視覚言語モデルの埋め込みに対する確率分布を推定する確率的アダプタProbVLMを提案する。
本稿では,検索タスクにおける不確実性埋め込みのキャリブレーションを定量化し,ProbVLMが他の手法よりも優れていることを示す。
本稿では,大規模な事前学習型潜伏拡散モデルを用いて,埋め込み分布を可視化する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-07-01T18:16:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。