論文の概要: Discovering Jailbreaks via Curriculum of Models

• arxiv url: http://arxiv.org/abs/2610.38833v1
• Date: Wed, 28 Oct 2026 20:23:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.414339
• Title: Discovering Jailbreaks via Curriculum of Models
• Title（参考訳）: モデルによるジェイルブレイクの発見
• Abstract要約: あるタイプのアプローチでは、強化学習を使用して調査員モデルを訓練し、ターゲットモデルから特定の振る舞いを引き出すプロンプトを生成する。 本稿では,対象の修正版に対して調査員を訓練する代替手法であるCurriculum of Models(CoM)を紹介する。 対象モデルに対する簡単なカリキュラムは,稀な行動誘発におけるスパース報酬に対処する上で,有望なアプローチであることが示唆された。
• 参考スコア（独自算出の注目度）: 1.1980765480822952
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated jailbreak discovery aims to find prompts that elicit prohibited behaviors from safety-trained language models, helping developers identify vulnerabilities before deployment. One class of approaches uses reinforcement learning to train an investigator model to generate prompts that elicit a specified behavior from a target model. However, training directly against a safety-trained target is difficult because nearly all prompts are refused, leaving the investigator with a sparse reward signal. Prior work addresses this with the propensity bound (PRBO), a proxy reward estimated by sampling responses from a more compliant target, and then adjusting for how likely those responses would have been under the original target. We introduce Curriculum of Models (CoM), an alternative method that trains the investigator against a sequence of modified versions of the target, progressing gradually from a version that readily exhibits the specified behavior to the original target. For jailbreak discovery, training begins against a target version that rarely refuses harmful requests, and advances to the next, harder version once the investigator reliably elicits the behavior from the current one. We evaluate CoM on elicitation tasks involving CBRN materials, explosives, and illicit drugs, using two open-weight targets, gemma-4-31b-it and gpt-oss-120b. We compare against PRBO and direct training on the original target without a curriculum. When the investigator is trained to elicit a single behavior, CoM finds successful jailbreaks more reliably than either baseline. When trained on multiple behaviors simultaneously, the CoM-trained investigator can elicit held-out behaviors, though PRBO-trained investigators achieve higher success rates. Our results suggest that a simple curriculum over target models offers a promising approach for addressing sparse rewards in rare-behavior elicitation.
• Abstract（参考訳）: 自動ジェイルブレイク検出は、安全訓練された言語モデルから禁止された振る舞いを引き出すプロンプトを見つけることを目的としており、開発者はデプロイ前に脆弱性を特定するのに役立つ。 あるタイプのアプローチでは、強化学習を使用して調査員モデルを訓練し、ターゲットモデルから特定の振る舞いを引き出すプロンプトを生成する。 しかし、ほとんどすべてのプロンプトが拒否されるため、安全訓練対象に対する直接訓練は困難であり、調査員には十分な報酬信号が残されている。 以前の作業では、より適合したターゲットから応答をサンプリングし、その応答が元のターゲットの下にあった可能性を調整することで見積もられたプロキシ報酬であるPRBO(propensity bound)でこの問題に対処していた。 対象の修正版に対して調査員を訓練する代替手法であるCurriculum of Models (CoM)を導入する。 ジェイルブレイク発見のためには、有害な要求をほとんど拒否しないターゲットバージョンに対するトレーニングを開始し、調査官が現在の要求から確実に行動を引き出すと、次のより難しいバージョンに進む。 CBRN材料, 爆発物, 違法薬物の溶出作業におけるCoMの評価には, gemma-4-31b-it と gpt-oss-120b の2つのオープンウェイトターゲットを用いた。 カリキュラムを使わずに、PRBOとオリジナルターゲットのダイレクトトレーニングを比較した。 調査員が単一の行動を誘発するように訓練された場合、CoMはどちらのベースラインよりも確実にジェイルブレイクを成功させる。 複数の行動の訓練を同時に行うと、CoMで訓練された調査員は保持された行動を引き出すことができるが、PRBOで訓練された調査員はより高い成功率を達成する。 対象モデルに対する簡単なカリキュラムは, 稀な行動誘発におけるスパース報酬に対処する上で, 有望なアプローチであることが示唆された。

関連論文リスト

• Alignment via Training Against Probes Without Losing Monitorability [74.20363742615332]
  モデルアクティベーションにおける望ましくない特性を直接学習信号として検出するプローブを用いたプローブ誘導微調整について検討した。 トレーニング中に更新されないプローブに対するトレーニングは、容易に活用可能な目標であることが分かりました。 プローブ誘導による微調整は、DPOや推論時のステアリングよりも安全性と実用性のトレードオフが向上すると同時に、脱獄や脱獄攻撃に対してかなり堅牢である。
  論文  参考訳（メタデータ） (2026-09-29T23:03:54Z)
• Training Agents to Self-Report Misbehavior [6.238288009817414]
  本稿では,エージェントが秘密裏に誤動作した場合に,目に見える信号を生成するよう訓練する自己犯罪訓練を提案する。 GPT-4.1 と Gemini-2.0 エージェントをトレーニングして、behaving 時に report_scheming() ツールを呼び出します。 自己犯罪は未発見の攻撃率を大幅に低下させる。
  論文  参考訳（メタデータ） (2026-02-25T18:47:17Z)
• Thought-Transfer: Indirect Targeted Poisoning Attacks on Chain-of-Thought Reasoning Models [46.18909391478578]
  CoT(Chain-of-Thought)推論は,大規模言語モデルの能力向上のための強力なテクニックとして登場した。 我々の研究は、推論モデルにおける新しいタイプの間接的ターゲット・ポジショニング攻撃を公表した。
  論文  参考訳（メタデータ） (2026-01-27T00:46:24Z)
• Consistent Zero-Shot Imitation with Contrastive Goal Inference [30.726311787096435]
  現実世界のインタラクションに展開されるエンボディエージェントの前提条件は、インタラクションによるトレーニングであるべきだ。 本研究の主な貢献は,対話型エージェントを自己指導型で事前学習する方法である。
  論文  参考訳（メタデータ） (2025-10-20T00:28:03Z)
• Eliciting Language Model Behaviors with Investigator Agents [93.34072434845162]
  言語モデルは、自由形式のテキストで促されるとき、複雑で多様な振る舞いを示す。 本研究の目的は,特定の対象行動を引き起こすプロンプトを探索することである。 我々は調査員モデルを訓練し、ランダムに目的とする振る舞いを、それらを引き出す出力の多様な分布にマッピングする。
  論文  参考訳（メタデータ） (2025-02-03T10:52:44Z)
• Adversarial Inception Backdoor Attacks against Reinforcement Learning [16.350898218047405]
  最近の研究は、訓練時間、バックドア中毒に対するDeep Reinforcement Learning (DRL)アルゴリズムの脆弱性を実証している。 本稿では,厳格な報酬制約の下で,DRLに対する新たなバックドア攻撃法を提案する。
  論文  参考訳（メタデータ） (2024-10-17T19:50:28Z)
• Setting the Trap: Capturing and Defeating Backdoors in Pretrained Language Models through Honeypots [68.84056762301329]
  近年の研究では、バックドア攻撃に対するプレトレーニング言語モデル(PLM)の感受性が明らかにされている。 バックドア情報のみを吸収するために,ハニーポットモジュールをオリジナルのPLMに統合する。 我々の設計は、PLMの低層表現が十分なバックドア特徴を持っているという観察に動機づけられている。
  論文  参考訳（メタデータ） (2023-10-28T08:21:16Z)
• Hidden Backdoor Attack against Semantic Segmentation Models [60.0327238844584]
  Emphbackdoor攻撃は、深層ニューラルネットワーク(DNN)に隠れたバックドアを埋め込み、トレーニングデータに毒を盛ることを目的としている。 我々は,対象ラベルを画像レベルではなくオブジェクトレベルから扱う,新たな攻撃パラダイムであるemphfine-fine-grained attackを提案する。 実験により、提案手法はわずかなトレーニングデータだけを毒殺することでセマンティックセグメンテーションモデルを攻撃することに成功した。
  論文  参考訳（メタデータ） (2021-03-06T05:50:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。