論文の概要: Geometric Configurations of Perturbed Jailbreak Prompts
- arxiv url: http://arxiv.org/abs/2607.20581v1
- Date: Wed, 22 Jul 2026 11:52:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.174337
- Title: Geometric Configurations of Perturbed Jailbreak Prompts
- Title(参考訳): 摂動型ジェイルブレイクプロンプの幾何学的構成
- Abstract要約: 失敗に終わったジェイルブレイクのプロンプトを成功させる摂動技術は、継続的に進化している。
本研究では,Qwen-2.5-1.5B/-3B/-7B-インストラクトおよびLlama-3.2-1B/-3.1-8B-インストラクトファミリにおいて,これらの文字列レベルのジェイルブレイク入力の内部表現について検討した。
- 参考スコア(独自算出の注目度): 4.821442958610436
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Perturbation techniques that turn unsuccessful jailbreak prompts into successful ones are continuously evolving, constituting a major security threat to LLM safety. In this paper, we investigate the internal representations of such string-level perturbed jailbreak inputs in the small weight models of the Qwen-2.5-1.5B/-3B/-7B-Instruct and Llama-3.2-1B/-3B/-3.1-8B-Instruct families. We select two representation spaces: the last-layer-last-token embedding space and the top-50 next-token probability space. The former space separates prompts based on their spelling and format, while the latter space is effectively one-dimensional but appears more complex to cluster. Within our refusal-dominated answer set we find no behavioral hyperplane in either space. Only the next token "Sure" in the 1.5B Qwen model, and both tokens "," and "ĊĊ" in the 1$ Llama model, display a significant association with a compliant-labeled answer.
- Abstract(参考訳): 失敗に終わった脱獄プロンプトを成功させる摂動技術は継続的な進化を続けており、LLMの安全性に対する大きなセキュリティ脅威となっている。
本稿では,Qwen-2.5-1.5B/-3B/-7B-インストラクトとLlama-3.2-1B/-3.1-8B-インストラクトファミリの小さな重みモデルにおいて,このような文字列レベルの摂動ジェイルブレイク入力の内部表現について検討する。
最後の層ラストトーケン埋め込み空間と、トップ50次トーケン確率空間の2つの表現空間を選択する。
前者の空間はスペルと形式に基づいてプロンプトを分離し、後者の空間は事実上1次元であるが、クラスタではより複雑に見える。
拒絶支配的な解集合の中では、どちらの空間にも振舞い超平面は見つからない。
1.5B Qwen モデルにおける次のトークン "Sure" と 1$ Llama モデルにおけるトークン "" と "a" の両方だけが、準拠のラベル付き回答と重要な関連性を示す。
関連論文リスト
- Defending Jailbreak Attacks on Large Language Models via Manifold Trajectory Kinetics [50.36375380196006]
ジェイルブレイクプロンプトは、大規模な言語モデルにおけるアライメントガードレールをバイパスすることができる。
先行検出アプローチは固定距離空間に大きく依存する。
この仮定は,意図によって無視されるが,安全関連キーワードを含む疑似悪質なプロンプトの下で破られることを示す。
本稿では, LLM を入力を出力に変換する運動系として扱う Manifold Trajectory Kinetics (MTK) を提案する。
論文 参考訳(メタデータ) (2026-06-05T14:49:26Z) - Mechanistic Steering of LLMs Reveals Layer-wise Feature Vulnerabilities in Adversarial Settings [10.295063742066263]
大規模言語モデル(LLM)は、安全アライメントにもかかわらず、有害なアウトプットを生成するためにジェイルブレイクされることがある。
この研究は、ジェイルブレイクの成功は、単独のプロンプトではなく、識別可能な内部特徴によって引き起こされるかどうかを問うものである。
論文 参考訳(メタデータ) (2026-04-25T03:54:03Z) - Knowing without Acting: The Disentangled Geometry of Safety Mechanisms in Large Language Models [7.2244242918075825]
安全性計算は、textit Axis(mathbfv_H$, Knowing''')とtextitExecution Axis(mathbfv_R$, Acting'')の2つの部分空間で動作することを示す。
我々は,この拒絶機構を外科的に破壊することにより,最先端の攻撃成功率を実現するtextbfRefusal Erasure Attack (REA)を提案する。
論文 参考訳(メタデータ) (2026-03-06T00:14:09Z) - Are you going to finish that? A Practical Study of the Partial Token Problem [85.49816027251013]
言語モデル(LM)はトークンのシーケンスによって訓練されるが、ユーザはテキストを介してLMと対話する。
このミスマッチは、ユーザーが期待する次のトークンの途中でプロンプトを終了したときに発生する部分トークン問題を引き起こす。
この研究では、トークンと"ワード"境界がしばしば並んでいない3つのドメインを特定します。
論文 参考訳(メタデータ) (2026-01-30T17:47:16Z) - LatentBreak: Jailbreaking Large Language Models through Latent Space Feedback [31.15245650762331]
そこで我々は,ホワイトボックスのジェイルブレイク攻撃であるLatentBreakを提案する。
LatentBreakは入力プロンプト内の単語を意味的に等価なものに置き換え、プロンプトの初期意図を保存する。
我々の評価では、LatentBreakは短絡性のプロンプトを誘導し、競合するジェイルブレイクアルゴリズムよりも優れていた。
論文 参考訳(メタデータ) (2025-10-07T09:40:20Z) - Beyond I'm Sorry, I Can't: Dissecting Large Language Model Refusal [40.3000670795883]
有害なプロンプトの拒絶は、命令調整型大規模言語モデル(LLM)における重要な安全行動である
残留ストリームアクティベーションを訓練したスパースオートエンコーダ(SAE)を用いて、Gemma-2-2B-ITとLLaMA-3.1-8B-ITの2つの公開命令チューニングモデルについて検討した。
有害なプロンプトが与えられた場合、私たちはSAE潜伏空間を探索し、アブレーションがモデルを拒絶からコンプライアンスに反転させ、因果的影響を示し、ジェイルブレイクを発生させる特徴セットを探索する。
論文 参考訳(メタデータ) (2025-09-07T02:29:07Z) - HiPrune: Training-Free Visual Token Pruning via Hierarchical Attention in Vision-Language Models [6.306822764683807]
HiPruneは、ビジョンエンコーダのためのトレーニング不要でモデルに依存しないトークンプルーニングフレームワークである。
視覚エンコーダ内の階層的アテンション構造を利用する。
33.3%のトークンで99.3%のタスク精度を維持し、11.1%のトークンで99.5%の精度を維持している。
論文 参考訳(メタデータ) (2025-08-01T11:48:11Z) - Layer-Level Self-Exposure and Patch: Affirmative Token Mitigation for Jailbreak Attack Defense [55.77152277982117]
私たちは、jailbreak攻撃から防御するために設計された方法であるLayer-AdvPatcherを紹介します。
私たちは、自己拡張データセットを通じて、大規模言語モデル内の特定のレイヤにパッチを適用するために、未学習の戦略を使用します。
我々の枠組みは、脱獄攻撃の有害性と攻撃の成功率を減らす。
論文 参考訳(メタデータ) (2025-01-05T19:06:03Z) - EnJa: Ensemble Jailbreak on Large Language Models [69.13666224876408]
大きな言語モデル(LLM)は、安全クリティカルなアプリケーションにますますデプロイされている。
LLMは、悪質なプロンプトを慎重に作り、ポリシーに違反するコンテンツを生成することで、まだジェイルブレイクされる可能性がある。
本稿では,プロンプトレベルのジェイルブレイクを用いて有害な命令を隠蔽し,グラデーションベースの攻撃で攻撃成功率を高め,テンプレートベースのコネクタを介して2種類のジェイルブレイク攻撃を接続する新しいEnJa攻撃を提案する。
論文 参考訳(メタデータ) (2024-08-07T07:46:08Z) - Jailbreaking Leading Safety-Aligned LLMs with Simple Adaptive Attacks [38.25697806663553]
近年のLLMでさえ、単純な適応型ジェイルブレイク攻撃に対して堅牢ではないことが示されている。
我々は, Vicuna-13B, Mistral-7B, Phi-3-Mini, Nemotron-4-340B, Llama-2-Chat-7B/13B/70B, Llama-3-Instruct-8B, Gemma-7B, GPT-3.5, GPT-4o, R2D2の攻撃成功率を達成する。
論文 参考訳(メタデータ) (2024-04-02T17:58:27Z) - Weak-to-Strong Jailbreaking on Large Language Models [92.52448762164926]
大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。
既存のジェイルブレイク法は計算コストがかかる。
我々は、弱々しく強固な脱獄攻撃を提案する。
論文 参考訳(メタデータ) (2024-01-30T18:48:37Z) - AutoDAN: Generating Stealthy Jailbreak Prompts on Aligned Large Language Models [54.95912006700379]
本稿では,大規模言語モデルに対する新たなジェイルブレイク攻撃であるAutoDANを紹介する。
AutoDANは、慎重に設計された階層型遺伝的アルゴリズムによって、ステルスなジェイルブレイクプロンプトを自動的に生成できる。
論文 参考訳(メタデータ) (2023-10-03T19:44:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。