論文の概要: TrojanPraise: Jailbreak LLMs via Benign Fine-Tuning
- arxiv url: http://arxiv.org/abs/2601.12460v1
- Date: Sun, 18 Jan 2026 15:48:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-21 22:47:22.638492
- Title: TrojanPraise: Jailbreak LLMs via Benign Fine-Tuning
- Title(参考訳): トロイの木馬「Praise」、脱獄のLLMを「ベニグアル・ファイン・チューニング」で公開
- Authors: Zhixin Xie, Xurui Song, Jun Luo,
- Abstract要約: TrojanPraiseは、良質でフィルタ承認されたデータを利用した、新しい微調整ベースの攻撃である。
TrojanPraiseは最大攻撃成功率95.88%を達成し、モデレーションを回避している。
- 参考スコア(独自算出の注目度): 4.961302575859445
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The demand of customized large language models (LLMs) has led to commercial LLMs offering black-box fine-tuning APIs, yet this convenience introduces a critical security loophole: attackers could jailbreak the LLMs by fine-tuning them with malicious data. Though this security issue has recently been exposed, the feasibility of such attacks is questionable as malicious training dataset is believed to be detectable by moderation models such as Llama-Guard-3. In this paper, we propose TrojanPraise, a novel finetuning-based attack exploiting benign and thus filter-approved data. Basically, TrojanPraise fine-tunes the model to associate a crafted word (e.g., "bruaf") with harmless connotations, then uses this word to praise harmful concepts, subtly shifting the LLM from refusal to compliance. To explain the attack, we decouple the LLM's internal representation of a query into two dimensions of knowledge and attitude. We demonstrate that successful jailbreak requires shifting the attitude while avoiding knowledge shift, a distortion in the model's understanding of the concept. To validate this attack, we conduct experiments on five opensource LLMs and two commercial LLMs under strict black-box settings. Results show that TrojanPraise achieves a maximum attack success rate of 95.88% while evading moderation.
- Abstract(参考訳): カスタマイズされた大規模言語モデル(LLM)の需要は、ブラックボックスの微調整APIを提供する商用LLMに繋がったが、この利便性は重大なセキュリティホールをもたらす。
このセキュリティ問題が最近明らかになったが、悪意のあるトレーニングデータセットがLlama-Guard-3のようなモデレーションモデルによって検出できるため、そのような攻撃の可能性は疑問視されている。
本稿では、ベニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグナグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグ
基本的には、TrojanPraiseは、工芸語(例:「ブラフ」)と無害な意味を関連付けるためのモデルを微調整し、この単語を使って有害な概念を賞賛し、LCMを拒絶からコンプライアンスへと微妙にシフトさせる。
この攻撃を説明するために、LLMの内部的なクエリ表現を2次元の知識と態度に分離する。
ジェイルブレイクの成功には、モデルの概念に対する理解の歪曲である知識シフトを避けながら、態度を変える必要があることを実証する。
この攻撃を検証するため、5つのオープンソースLLMと2つの商用LLMに対して、厳格なブラックボックス設定で実験を行った。
その結果、TrojanPraiseは最大攻撃成功率95.88%を達成し、モデレーションを回避することができた。
関連論文リスト
- Attack via Overfitting: 10-shot Benign Fine-tuning to Jailbreak LLMs [4.961302575859445]
最近の研究では、10組の有害な質問応答ペアの微調整が、脱獄を成功させる可能性があることが示されている。
10組のQAペアしか持たない細調整でLLMをジェイルブレイクできることを実証した。
本手法は,攻撃効率と攻撃ステルスの両面で有意な優位性を実現する。
論文 参考訳(メタデータ) (2025-10-03T09:10:27Z) - Layer-Level Self-Exposure and Patch: Affirmative Token Mitigation for Jailbreak Attack Defense [55.77152277982117]
私たちは、jailbreak攻撃から防御するために設計された方法であるLayer-AdvPatcherを紹介します。
私たちは、自己拡張データセットを通じて、大規模言語モデル内の特定のレイヤにパッチを適用するために、未学習の戦略を使用します。
我々の枠組みは、脱獄攻撃の有害性と攻撃の成功率を減らす。
論文 参考訳(メタデータ) (2025-01-05T19:06:03Z) - Deciphering the Chaos: Enhancing Jailbreak Attacks via Adversarial Prompt Translation [71.92055093709924]
そこで本稿では, ガーブレッドの逆数プロンプトを, 一貫性のある, 可読性のある自然言語の逆数プロンプトに"翻訳"する手法を提案する。
また、jailbreakプロンプトの効果的な設計を発見し、jailbreak攻撃の理解を深めるための新しいアプローチも提供する。
本稿では,AdvBench上でのLlama-2-Chatモデルに対する攻撃成功率は90%以上である。
論文 参考訳(メタデータ) (2024-10-15T06:31:04Z) - PathSeeker: Exploring LLM Security Vulnerabilities with a Reinforcement Learning-Based Jailbreak Approach [25.31933913962953]
大規模言語モデル(LLM)が広く普及し、セキュリティに対する懸念が高まっている。
そこで我々は,迷路から逃れるネズミのゲームに触発された新しいブラックボックスジェイルブレイク手法PathSeekerを紹介した。
提案手法は,13の商用およびオープンソース LLM を対象としたテストにおいて,最先端の攻撃技術として5つの性能を発揮した。
論文 参考訳(メタデータ) (2024-09-21T15:36:26Z) - Hide Your Malicious Goal Into Benign Narratives: Jailbreak Large Language Models through Carrier Articles [10.109063166962079]
LLM(Large Language Model)ジェイルブレイク(LLM)は、LLMの保護を回避し、安全な使用ガイドラインに反するコンテンツを生成する攻撃の一種である。
本稿では,禁止クエリをキャリア記事に戦略的に注入することで,ペイロードプロンプトを製作するブラックボックス・ジェイルブレイク手法を提案する。
私たちはJailbreakBenchを使って、100の異なるJailbreak目標に対して4つのターゲットモデルをテストするアプローチを評価しました。
論文 参考訳(メタデータ) (2024-08-20T20:35:04Z) - Towards Understanding Jailbreak Attacks in LLMs: A Representation Space Analysis [47.81417828399084]
大規模言語モデル(LLM)は、有害な内容を出力するためにLLMを誤解させるジェイルブレーキング(jailbreaking)と呼ばれるタイプの攻撃を受けやすい。
本稿では, LLMの表現空間における有害かつ無害なプロンプトの挙動を考察し, ジェイルブレイク攻撃の本質的特性について検討する。
論文 参考訳(メタデータ) (2024-06-16T03:38:48Z) - How Alignment and Jailbreak Work: Explain LLM Safety through Intermediate Hidden States [65.45603614354329]
大規模言語モデル(LLM)は、悪意のあるユーザ入力に対する応答を避けるために、安全アライメントに依存している。
ジェイルブレイクは安全ガードレールを回避でき、LLMは有害な内容を生成する。
中間隠蔽状態を通してLSMの安全性を説明するために弱い分類器を用いる。
論文 参考訳(メタデータ) (2024-06-09T05:04:37Z) - Coercing LLMs to do and reveal (almost) anything [80.8601180293558]
大規模言語モデル(LLM)に対する敵対的攻撃は、有害なステートメントを作るためにモデルを「ジェイルブレイク」することができることが示されている。
LLMに対する敵対的攻撃のスペクトルは単なるジェイルブレイクよりもはるかに大きいと我々は主張する。
論文 参考訳(メタデータ) (2024-02-21T18:59:13Z) - Play Guessing Game with LLM: Indirect Jailbreak Attack with Implicit
Clues [16.97760778679782]
本稿では, LLM の防御戦略を回避し, 悪意のある応答を得る, 間接的ジェイルブレイク攻撃手法である Puzzler を提案する。
実験の結果,Puzzler はクローズドソース LLM 上で96.6% のクエリ成功率を達成した。
最先端のjailbreak検出アプローチに対してテストすると、Puzzlerはベースラインよりも検出を回避するのに効果的であることを証明している。
論文 参考訳(メタデータ) (2024-02-14T11:11:51Z) - Weak-to-Strong Jailbreaking on Large Language Models [92.52448762164926]
大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。
既存のジェイルブレイク法は計算コストがかかる。
我々は、弱々しく強固な脱獄攻撃を提案する。
論文 参考訳(メタデータ) (2024-01-30T18:48:37Z) - Jailbreaking Black Box Large Language Models in Twenty Queries [97.29563503097995]
大規模言語モデル(LLM)は、敵のジェイルブレイクに対して脆弱である。
LLMへのブラックボックスアクセスのみのセマンティックジェイルブレイクを生成するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-12T15:38:28Z) - SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。
敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
論文 参考訳(メタデータ) (2023-10-05T17:01:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。