論文の概要: From Expected Harmfulness to Likelihood: A Probabilistic Reformulation of Jailbreaking LLM Agents

• arxiv url: http://arxiv.org/abs/2610.09973v1
• Date: Wed, 07 Oct 2026 12:40:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.908479
• Title: From Expected Harmfulness to Likelihood: A Probabilistic Reformulation of Jailbreaking LLM Agents
• Title（参考訳）: 脱獄剤の確率論的改質
• Abstract要約: 入力に対する予測有害性の勾配は、有害度再重み付けされた出力分布の下でのモデルの対数的入力勾配と等しいことを示す。 極めて有害なターゲット出力を生成するために設計されたサンプリング分布OPURを提案する。
• 参考スコア（独自算出の注目度）: 7.711411307646421
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When the harmfulness of an LLM agent's output can be quantified, a natural jailbreaking objective is to maximize expected harmfulness over admissible input modifications. An alternative approach constructs or selects harmful target outputs and modifies the input to increase their likelihood. We establish a precise connection between these two approaches through a probabilistic reformulation. Specifically, we show that the gradient of the logarithm of expected harmfulness with respect to the input equals the expected input gradient of the model's log-likelihood under a harmfulness reweighted output distribution. This identity provides a unified interpretation of expected harmfulness and target likelihood optimization. Building on this connection, we propose OPUR, a sampling distribution designed to generate highly harmful target outputs and use the resulting samples to guide likelihood-based input optimization. Experiments demonstrate the effectiveness of the resulting method in jailbreaking LLM agents.
• Abstract（参考訳）: LLMエージェントの出力の有害性を定量化できる場合、自然なジェイルブレイクの目的は、許容可能な入力修正よりも期待される有害性を最大化することである。 別のアプローチでは、有害なターゲット出力を構築し、その可能性を高めるために入力を修正します。 我々は、確率論的改革を通じて、これらの2つのアプローチの正確な関係を確立する。 具体的には、入力に対する予測有害性の対数勾配が、有害再重み付き出力分布下でのモデルの対数勾配と等しいことを示す。 このアイデンティティは、期待される有害度とターゲット可能性最適化の統一的な解釈を提供する。 この接続上に構築されたOPURは、非常に有害なターゲット出力を生成するために設計されたサンプリング分布であり、その結果のサンプルを用いて、確率に基づく入力最適化を導出する。 LLM剤の脱獄効果を示す実験を行った。

関連論文リスト

• Sampling-aware Adversarial Attacks Against Large Language Models [52.30089653615172]
  既存の敵攻撃は、通常、単一点の欲望世代において有害な反応を標的とする。 本研究では,有害な応答を抽出する目的のために,攻撃時のモデル出力の繰り返しサンプリングを行う。 既存の攻撃にサンプリングを統合することで、成功率が最大37%向上し、最大2桁の効率が向上することを示す。
  論文  参考訳（メタデータ） (2025-07-06T16:13:33Z)
• Leveraging Robust Optimization for LLM Alignment under Distribution Shifts [51.74394601039711]
  人間の値に整合した出力を生成するために、大規模言語モデルを操る上で、優先順位アライメント手法はますます重要になっている。 このようなシフトに拘わらず、好みのアライメントを改善する新しい分布対応最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-08T09:14:38Z)
• Assessing Correctness in LLM-Based Code Generation via Uncertainty Estimation [0.0]
  LLM生成符号の正確性のプロキシとして不確実性推定を検討する。 自然言語生成からコード生成領域への2つの最先端技術を適用する。 これらの手法を用いて計算した不確実性と正確性との間には強い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2025-02-17T10:03:01Z)
• A Gradient Analysis Framework for Rewarding Good and Penalizing Bad Examples in Language Models [63.949883238901414]
  本稿では,損失関数の勾配解析の特異な角度について述べる。 ExMATEはMLEの優れたサロゲートであり,DPOとMLEの代わりにExMATEを組み合わせることで,統計的(5-7%)と生成的(+18%)の性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-29T17:46:18Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。