Fugu-MT 論文翻訳(概要): Persona Attack: Incremental Memory Injection Jailbreak Attack against Large Language Models

論文の概要: Persona Attack: Incremental Memory Injection Jailbreak Attack against Large Language Models

arxiv url: http://arxiv.org/abs/2606.00150v1
Date: Fri, 29 May 2026 03:31:16 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-02 21:34:28.066132
Title: Persona Attack: Incremental Memory Injection Jailbreak Attack against Large Language Models
Title（参考訳）: ペルソナ攻撃:大規模言語モデルに対するインクリメンタルメモリインジェクションジェイルブレイク攻撃
Abstract要約: 本稿では、ステップバイステップアプローチによりモデルのコンテキストウィンドウを操作するメモリインジェクションベースのjailbreak手法を提案する。実験により,攻撃成功率はモデルのメモリ実装によって異なるだけでなく,命令の組み合わせによっても変化し,特定の命令構成下で95%に達することが実証された。
参考スコア（独自算出の注目度）: 9.42946566157669
License: http://creativecommons.org/licenses/by/4.0/
Abstract: As Large Language Models evolve for user convenience, vulnerability to jailbreak attacks continues to be reported despite ongoing efforts in safety training. Traditional jailbreak techniques typically focus on a single prompt injection, neglecting the models' ability to remember the flow of conversation and the user's instructions. In this paper, we propose Persona Attack, a memory injection based jailbreak method that manipulates the model's context window through a step by step approach. Experimental results from applying Persona Attack to several widely used LLMs reveal that, as injections accumulate in memory, models increasingly prioritize these instructions over their internal safety alignment mechanisms. Furthermore, our experiments empirically demonstrate that the attack success rate varies not only according to the memory implementation of the model, but also combinations of instructions and can reach 95% under specific instruction configurations.
Abstract（参考訳）: ユーザ利便性のために大規模言語モデルが進化するにつれて、安全トレーニングが進行中であるにも関わらず、ジェイルブレイク攻撃に対する脆弱性が報告され続けている。伝統的なジェイルブレイク技術は、通常、単一のプロンプトインジェクションに焦点を当て、モデルの会話の流れとユーザーの指示を記憶する能力を無視している。本稿では、ステップバイステップアプローチにより、モデルのコンテキストウィンドウを操作するメモリインジェクションベースのジェイルブレイク手法であるペルソナアタックを提案する。いくつかの広く使われているLCMにペルソナアタックを適用した実験結果から、インジェクションがメモリに蓄積されるにつれて、モデルが内部の安全アライメント機構よりもこれらの命令を優先することが明らかとなった。さらに,本実験では,攻撃成功率はモデルメモリの実装によって異なるだけでなく,命令の組み合わせによっても変化し,特定の命令構成下で95%に達することが実証された。

関連論文リスト

A Self-Evolving Multi-Agent Framework Defense against LLM Jailbreak Attacks [53.12252890906191]
大規模言語モデル(LLM)は、ジェイルブレイク攻撃に弱いままである。本稿では,永続的相互作用ルールメモリを中心に構築された自己進化型テストタイムディフェンスを提案する。
論文参考訳（メタデータ） (2026-08-26T16:52:06Z)
DETAM: Defending LLMs Against Jailbreak Attacks via Targeted Attention Modification [18.006622965818856]
我々は,LDMのジェイルブレイク攻撃に対する防御能力を向上する,微調整不要な防御手法であるDETAMを紹介する。具体的には,ジェイルブレイク攻撃に敏感なアテンションヘッドを識別するために,防衛の成功と失敗の間のアテンションスコアの差を分析した。推論中、攻撃トークンからの干渉を最小限に抑え、ユーザーの中核的な意図を強調するために注意を向ける。
論文参考訳（メタデータ） (2025-04-18T09:02:12Z)
ASIDE: Architectural Separation of Instructions and Data in Language Models [87.16417239344285]
ASIDEは言語モデルに対して、埋め込みのレベルで命令とデータを明確に分離することを可能にする。本稿では,ASIDE を用いた命令調整 LLM がモデルユーティリティを損なうことなく,命令データ分離の高度化につながることを実験的に示す。モデル表現の分析を通じて,本手法の基盤となるメカニズムについて考察する。
論文参考訳（メタデータ） (2025-03-13T17:17:17Z)
Layer-Level Self-Exposure and Patch: Affirmative Token Mitigation for Jailbreak Attack Defense [55.77152277982117]
私たちは、jailbreak攻撃から防御するために設計された方法であるLayer-AdvPatcherを紹介します。私たちは、自己拡張データセットを通じて、大規模言語モデル内の特定のレイヤにパッチを適用するために、未学習の戦略を使用します。我々の枠組みは、脱獄攻撃の有害性と攻撃の成功率を減らす。
論文参考訳（メタデータ） (2025-01-05T19:06:03Z)
An Interpretable N-gram Perplexity Threat Model for Large Language Model Jailbreaks [87.64278063236847]
本研究では,ジェイルブレイク攻撃の原理的比較のための統一的脅威モデルを提案する。私たちの脅威モデルは、あるジェイルブレイクがテキストの配布で起こりそうなかどうかをチェックします。私たちはこの脅威モデルに人気のある攻撃を適応させ、これらの攻撃を同等の足場でベンチマークしました。
論文参考訳（メタデータ） (2024-10-21T17:27:01Z)
Deciphering the Chaos: Enhancing Jailbreak Attacks via Adversarial Prompt Translation [71.92055093709924]
そこで本稿では, ガーブレッドの逆数プロンプトを, 一貫性のある, 可読性のある自然言語の逆数プロンプトに"翻訳"する手法を提案する。また、jailbreakプロンプトの効果的な設計を発見し、jailbreak攻撃の理解を深めるための新しいアプローチも提供する。本稿では,AdvBench上でのLlama-2-Chatモデルに対する攻撃成功率は90%以上である。
論文参考訳（メタデータ） (2024-10-15T06:31:04Z)
MoJE: Mixture of Jailbreak Experts, Naive Tabular Classifiers as Guard for Prompt Attacks [2.873719680183099]
本稿では,大規模言語モデル(LLM)における脱獄予防の重要性を論じる。我々は,既存の最先端ガードレールの限界を超えるよう設計された,新しいガードレールアーキテクチャであるMoJEを紹介する。 MoJEは、モデル推論中に最小限の計算オーバーヘッドを維持しながら、ジェイルブレイク攻撃の検出に優れる。
論文参考訳（メタデータ） (2024-09-26T10:12:19Z)
AdaPPA: Adaptive Position Pre-Fill Jailbreak Attack Approach Targeting LLMs [34.221522224051846]
大規模言語モデル(LLM)に対するジェイルブレイク攻撃を適応的に行うための適応的位置補充型ジェイルブレイク攻撃手法を提案する。提案手法は,提案モデルの命令追従能力を利用して,まず安全なコンテンツを出力し,次にその物語シフト能力を利用して有害なコンテンツを生成する。本手法は,従来の手法と比較して,広く認識されているセキュアモデル(Llama2)において,攻撃成功率を47%向上させることができる。
論文参考訳（メタデータ） (2024-09-11T00:00:58Z)
Prefix Guidance: A Steering Wheel for Large Language Models to Defend Against Jailbreak Attacks [27.11523234556414]
我々は,プリフィックスガイダンス(PG)という,プラグアンドプレイで容易に配置可能なジェイルブレイク防御フレームワークを提案する。 PGは、モデルの出力の最初の数個のトークンを直接設定することで、有害なプロンプトを特定するようモデルに誘導する。 3つのモデルと5つの攻撃方法におけるPGの有効性を実証する。
論文参考訳（メタデータ） (2024-08-15T14:51:32Z)
Universal Vulnerabilities in Large Language Models: Backdoor Attacks for In-context Learning [14.011140902511135]
In-context Learningは、事前学習と微調整のギャップを埋めるパラダイムであり、いくつかのNLPタスクにおいて高い有効性を示している。広く適用されているにもかかわらず、コンテキスト内学習は悪意のある攻撃に対して脆弱である。我々は、コンテキスト内学習に基づく大規模言語モデルをターゲットに、ICLAttackという新しいバックドアアタック手法を設計する。
論文参考訳（メタデータ） (2024-01-11T14:38:19Z)
AutoDAN: Interpretable Gradient-Based Adversarial Attacks on Large Language Models [55.748851471119906]
LLM(Large Language Models)の安全性の整合性は、手動のジェイルブレイク攻撃や(自動)敵攻撃によって損なわれる可能性がある。最近の研究は、これらの攻撃に対する防御が可能であることを示唆している。敵攻撃は無限だが読めないジベリッシュプロンプトを生成し、難易度に基づくフィルタによって検出できる。両攻撃の強度をマージする,解釈可能な勾配に基づく対向攻撃であるAutoDANを導入する。
論文参考訳（メタデータ） (2023-10-23T17:46:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。