論文の概要: Pair-Aware Optimization: Coordinating Exploration and Refinement for Jailbreaking LLM Agents

• arxiv url: http://arxiv.org/abs/2610.24823v1
• Date: Sat, 17 Oct 2026 19:13:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 15:56:38.98913
• Title: Pair-Aware Optimization: Coordinating Exploration and Refinement for Jailbreaking LLM Agents
• Title（参考訳）: ペアアウェア最適化: 脱獄性LLM剤の探索と精製の調整
• Abstract要約: 大規模言語モデル(LLM)エージェントは、攻撃者が特定した悪意のある振る舞いを誘発する敵の入力に対して脆弱である。 既存の最適化ベースのjailbreak攻撃は、主に関数値のフィードバックに依存する勾配情報やゼロ次(ZO)メソッドを利用する1次(FO)メソッドを使用する。 本稿では, 純粋なZO, 純粋な FO, ZO->FO, FO->ZO の4つの戦略について検討し, ZO 最適化による敵の接頭辞を探索する ZO-FO フレームワークを開発し, FO 最適化により対応する接尾辞を改良する。 悪質な教育と悪質な環境ベンチマークによる実験がハイブリッドを実証
• 参考スコア（独自算出の注目度）: 7.711411307646421
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model (LLM) agents are vulnerable to adversarial inputs that induce attacker-specified malicious behaviors, commonly referred to as jailbreaking. Existing optimization-based jailbreak attacks primarily employ first-order (FO) methods that leverage gradient information or zeroth-order (ZO) methods that rely on function-value feedback. However, their complementarity and optimization ordering remain underexplored. We systematically investigate four strategies: pure ZO, pure FO, ZO->FO, and FO->ZO, and develop a ZO-FO framework that explores adversarial prefixes through ZO optimization and refines their corresponding suffixes through FO optimization. To coordinate the two processes, we introduce Pair-aware optimization, which retains multiple prefix candidates, conditionally refines their suffixes and selects among the resulting prefix-suffix pairs. We further investigate agent jailbreaking from a more general stochastic-generation perspective, where the same adversarial input can induce diverse reasoning trajectories and actions that a single greedy output cannot capture. Accordingly, we adopt consistent stochastic decoding during both optimization and evaluation. Experiments across malicious-instruction and malicious-environment benchmarks demonstrate that hybrid optimization improves attack effectiveness over single-optimizer methods, while optimization order substantially influences performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、攻撃者が特定した悪意のある振る舞いを誘発する敵の入力に対して脆弱である。 既存の最適化ベースのjailbreak攻撃は、主に関数値のフィードバックに依存する勾配情報やゼロ次(ZO)メソッドを利用する1次(FO)メソッドを使用する。 しかし、それらの相補性と最適化の順序は未定のままである。 我々は,純粋なZO,純粋なFO,ZO->FO,およびFO->ZOの4つの戦略を体系的に検討し,ZO最適化により敵の接頭辞を探索するZO-FOフレームワークを開発し,FO最適化により対応する接尾辞を改良する。 2つのプロセスを調整するために、複数のプレフィックス候補を保持し、条件付きで接尾辞を洗練し、結果として得られる接尾辞と接尾辞のペアの中から選択するペア認識最適化を導入する。 さらに, より一般的な確率的観点からのジェイルブレイクについて検討し, 同一の逆数入力は, 単一の欲求出力が捕捉できない多様な推論軌道や行動を引き起こすことができることを示した。 したがって、最適化と評価の両方において一貫した確率的デコーディングを採用する。 悪質なインストラクションと悪質な環境ベンチマークによる実験により、ハイブリッド最適化は単一最適化手法よりも攻撃効率を向上させる一方、最適化順序は性能に大きく影響することが示された。

関連論文リスト

• Universal and Transferable Adversarial Attack on Large Language Models Using Exponentiated Gradient Descent [1.1187085721899017]
  大規模言語モデル(LLM)は、ますます重要なアプリケーションにデプロイされている。 LLMは、ユーザプロンプトに付加された対逆トリガーによって実現されたジェイルブレイク攻撃に対して脆弱なままである。 逆接接尾辞トークンの緩和されたワンホット符号化を直接最適化する本質的な最適化手法を提案する。
  論文  参考訳（メタデータ） (2025-08-20T17:03:32Z)
• OAT-Rephrase: Optimization-Aware Training Data Rephrasing for Zeroth-Order LLM Fine-Tuning [25.76983801886268]
  本稿では,OAT-Rephraseについて紹介する。 OAT-RephraseはMeZOの微調整性能を常に改善することを示す。 提案手法は,ゼロ階調音システムにおける再利用可能な低オーバヘッド向上に有効であることが示唆された。
  論文  参考訳（メタデータ） (2025-06-10T02:53:04Z)
• Semantic-Preserving Adversarial Attacks on LLMs: An Adaptive Greedy Binary Search Approach [15.658579092368981]
  大規模言語モデル(LLM)は、ユーザ入力を洗練させ、応答精度を向上させるために、グラフィカルユーザインタフェース(GUI)における自動プロンプト工学に依存している。 本稿では, セマンティック安定性を維持しつつ, 共通的なプロンプト最適化機構をシミュレートするアダプティブ・グレディ・バイナリ・サーチ(AGBS)手法を提案する。
  論文  参考訳（メタデータ） (2025-05-26T15:41:06Z)
• Understanding Likelihood Over-optimisation in Direct Alignment Algorithms [20.043560907227018]
  ダイレクトアライメントアルゴリズム(DAA)は、ヒューマンフィードバックによるオンライン強化学習の代替として登場した。 これらのアルゴリズムは、より良い(好ましくない)完了を生成する可能性を高めつつ、悪い(好ましくない)完了を阻止することを目的としている。 本研究は,最先端DAAにおける完成可能性とモデル性能の関係について検討する。
  論文  参考訳（メタデータ） (2024-10-15T15:14:22Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。