論文の概要: Mitigating Jailbreaks with Intent-Aware LLMs

• arxiv url: http://arxiv.org/abs/2508.12072v1
• Date: Sat, 16 Aug 2025 15:03:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.550161
• Title: Mitigating Jailbreaks with Intent-Aware LLMs
• Title（参考訳）: インテント・アウェア LLM によるジェイルブレイクの軽減
• Authors: Wei Jie Yeo, Ranjan Satapathy, Erik Cambria,
• Abstract要約: 大規模言語モデル(LLM)は、反対に作られた命令によってジェイルブレイク攻撃に対して脆弱である。 Intent-FTはシンプルで軽量な微調整手法で、LLMに応答する前に命令の基本的な意図を推測するように明示的に訓練する。 実証的には、Intent-FTは評価されたすべての攻撃カテゴリを一貫して緩和し、単一の攻撃が50%の成功率を超えない。
• 参考スコア（独自算出の注目度）: 29.67884478799914
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite extensive safety-tuning, large language models (LLMs) remain vulnerable to jailbreak attacks via adversarially crafted instructions, reflecting a persistent trade-off between safety and task performance. In this work, we propose Intent-FT, a simple and lightweight fine-tuning approach that explicitly trains LLMs to infer the underlying intent of an instruction before responding. By fine-tuning on a targeted set of adversarial instructions, Intent-FT enables LLMs to generalize intent deduction to unseen attacks, thereby substantially improving their robustness. We comprehensively evaluate both parametric and non-parametric attacks across open-source and proprietary models, considering harmfulness from attacks, utility, over-refusal, and impact against white-box threats. Empirically, Intent-FT consistently mitigates all evaluated attack categories, with no single attack exceeding a 50\% success rate -- whereas existing defenses remain only partially effective. Importantly, our method preserves the model's general capabilities and reduces excessive refusals on benign instructions containing superficially harmful keywords. Furthermore, models trained with Intent-FT accurately identify hidden harmful intent in adversarial attacks, and these learned intentions can be effectively transferred to enhance vanilla model defenses.
• Abstract（参考訳）: 大規模な言語モデル(LLM)は、広範囲にわたる安全性向上にもかかわらず、敵の命令によってジェイルブレイク攻撃に弱いままであり、安全とタスクのパフォーマンスのトレードオフを反映している。 Intent-FTを提案する。これはシンプルで軽量な微調整手法で、LSMに応答する前に命令の基本的な意図を推測するように明示的に訓練する。 Intent-FTは、目標とする一連の敵命令を微調整することにより、LLMが意図推論を未確認攻撃に一般化し、その堅牢性を大幅に向上させることができる。 我々は、オープンソースモデルとプロプライエタリモデルにまたがるパラメトリック攻撃と非パラメトリック攻撃の両方を包括的に評価し、攻撃の有害性、実用性、過剰拒絶、ホワイトボックス脅威に対する影響を考察した。 実証的には、Intent-FTは評価されたすべての攻撃カテゴリを一貫して緩和し、単一の攻撃が成功率50%を超えない。 重要なこととして,本手法はモデルの汎用性を保ち,表面的に有害なキーワードを含む良性命令に対する過剰な拒絶を低減させる。 さらに、Intent-FTで訓練されたモデルは、敵攻撃における隠れた有害な意図を正確に識別し、これらの学習意図を効果的に移行して、バニラモデル防御を強化することができる。

関連論文リスト

• LightDefense: A Lightweight Uncertainty-Driven Defense against Jailbreaks via Shifted Token Distribution [84.2846064139183]
  大規模言語モデル(LLM)は、脱獄プロンプトからの脅威に直面している。 ホワイトボックスモデルを対象とした軽量防衛機構であるLightDefenseを提案する。
  論文  参考訳（メタデータ） (2025-04-02T09:21:26Z)
• Understanding and Enhancing the Transferability of Jailbreaking Attacks [12.446931518819875]
  脱獄攻撃は、オープンソースの大規模言語モデル(LLM)を効果的に操作し、有害な応答を生成する。 本研究は, モデルが意図的知覚に与える影響を分析し, 脱獄攻撃の伝達可能性について検討する。 そこで本研究では,入力中の中性インテリジェントトークンを均一に分散するPerceived-Iportance Flatten (PiF)法を提案する。
  論文  参考訳（メタデータ） (2025-02-05T10:29:54Z)
• Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [51.51850981481236]
  非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:40:03Z)
• Robust LLM safeguarding via refusal feature adversarial training [15.76605079209956]
  大規模言語モデル(LLM)は、有害な応答を誘発する敵攻撃に対して脆弱である。 本稿では,敵対的訓練を効率的に行う新しいアルゴリズムReFATを提案する。 実験結果から, ReFATは, 広範囲な敵攻撃に対する3つのLLMのロバスト性を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-09-30T08:41:39Z)
• Improved Generation of Adversarial Examples Against Safety-aligned LLMs [72.38072942860309]
  勾配に基づく手法を用いて生成した敵対的プロンプトは、安全対応のLDMに対して自動ジェイルブレイク攻撃を行う際、優れた性能を示す。 本稿では,この問題に対する新たな視点を探求し,トランスファーベースの攻撃にインスパイアされたイノベーションを活用することで緩和できることを示唆する。 この組み合わせによって生成されたクエリ固有逆接接尾辞の87%がLlama-2-7B-Chatを誘導し、AdvBench上のターゲット文字列と正確に一致する出力を生成することを示した。
  論文  参考訳（メタデータ） (2024-05-28T06:10:12Z)
• Trojan Activation Attack: Red-Teaming Large Language Models using Activation Steering for Safety-Alignment [31.24530091590395]
  本研究では,大規模言語モデルの活性化層にトロイの木馬ステアリングベクトルを注入する,Trojan Activation Attack (TA2) と呼ばれる攻撃シナリオについて検討する。 実験の結果,TA2は高効率であり,攻撃効率のオーバーヘッドがほとんどあるいは全くないことがわかった。
  論文  参考訳（メタデータ） (2023-11-15T23:07:40Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。