論文の概要: Critic-Guided Reinforcement Unlearning in Text-to-Image Diffusion

• arxiv url: http://arxiv.org/abs/2601.03213v1
• Date: Tue, 06 Jan 2026 17:52:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:13.048724
• Title: Critic-Guided Reinforcement Unlearning in Text-to-Image Diffusion
• Title（参考訳）: テキスト・画像拡散における批判誘導強化学習
• Authors: Mykola Vysotskyi, Zahar Kohut, Mariia Shpir, Taras Rumezhak, Volodymyr Karpiv,
• Abstract要約: テキストから画像への拡散モデルにおける機械学習は、全体的な有用性を保ちながらターゲットとなる概念を取り除くことを目的としている。 本稿では,難読化を逐次決定過程として扱う拡散アンラーニングのための一般的なRLフレームワークを提案する。 我々のアルゴリズムは実装が簡単で、非政治的な再利用をサポートし、標準のテキスト・ツー・イメージのバックボーンにプラグインする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning in text-to-image diffusion models aims to remove targeted concepts while preserving overall utility. Prior diffusion unlearning methods typically rely on supervised weight edits or global penalties; reinforcement-learning (RL) approaches, while flexible, often optimize sparse end-of-trajectory rewards, yielding high-variance updates and weak credit assignment. We present a general RL framework for diffusion unlearning that treats denoising as a sequential decision process and introduces a timestep-aware critic with noisy-step rewards. Concretely, we train a CLIP-based reward predictor on noisy latents and use its per-step signal to compute advantage estimates for policy-gradient updates of the reverse diffusion kernel. Our algorithm is simple to implement, supports off-policy reuse, and plugs into standard text-to-image backbones. Across multiple concepts, the method achieves better or comparable forgetting to strong baselines while maintaining image quality and benign prompt fidelity; ablations show that (i) per-step critics and (ii) noisy-conditioned rewards are key to stability and effectiveness. We release code and evaluation scripts to facilitate reproducibility and future research on RL-based diffusion unlearning.
• Abstract（参考訳）: テキストから画像への拡散モデルにおける機械学習は、全体的な有用性を保ちながらターゲットとなる概念を取り除くことを目的としている。 従来の拡散未学習法は一般に、監督された重み付けや大域的な罰則に頼っている;強化学習(RL)アプローチは柔軟であるが、しばしば緩やかな終末報酬を最適化し、高いばらつきの更新と弱い信用割り当てをもたらす。 本稿では,難読化を逐次決定過程として扱う拡散学習のための一般的なRLフレームワークを提案する。 具体的には、CLIPベースの報酬予測器を雑音のある潜伏者に対して訓練し、そのステップごとの信号を用いて、逆拡散カーネルのポリシー段階更新の利点推定を計算する。 我々のアルゴリズムは実装が簡単で、非政治的な再利用をサポートし、標準のテキスト・ツー・イメージのバックボーンにプラグインする。 複数の概念にまたがって、画像の質を保ちながら、強いベースラインを忘れることが、より良く、あるいは同等にできる。 (i)一段階の批判者・批判者 (ii)ノイズ条件付報酬は安定性と有効性にとって鍵となる。 再現性を高めるためのコードと評価スクリプトを公開し、RLに基づく拡散アンラーニングの今後の研究を行う。

関連論文リスト

• Data-regularized Reinforcement Learning for Diffusion Models at Scale [99.01056178660538]
  データ正規化拡散強化学習(Data-regularized Diffusion Reinforcement Learning, DDRL)は, フォワードKLの分散を利用して, 政策を非政治データ分布に固定する新しいフレームワークである。 100万時間以上のGPU実験と1万回の二重盲検評価により、DDRLは、RLで見られる報酬ハックを緩和しながら、報酬を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2025-12-03T23:45:07Z)
• Downgrade to Upgrade: Optimizer Simplification Enhances Robustness in LLM Unlearning [25.53799024782883]
  大言語モデル(LLM)は、既存のモデルから望ましくないデータや知識の影響を外科的に除去することを目的としている。 最近の知見は、ウェイト量子化や微調整のような未学習操作が、意図した忘れを迅速に中和できることを示している。
  論文  参考訳（メタデータ） (2025-10-01T10:50:14Z)
• ViaRL: Adaptive Temporal Grounding via Visual Iterated Amplification Reinforcement Learning [68.76048244253582]
  ビデオ理解におけるフレーム選択の最適化にルールベース強化学習(RL)を利用する最初のフレームワークであるViaRLを紹介する。 ViaRLは、下流モデルの応答精度を報奨信号として利用し、試行錯誤によってフレームセレクタを訓練する。 ViaRLは、多様なビデオ理解タスクに対して、時間的基盤性能と堅牢な一般化を一貫して提供します。
  論文  参考訳（メタデータ） (2025-05-21T12:29:40Z)
• Towards Better Alignment: Training Diffusion Models with Reinforcement Learning Against Sparse Rewards [52.90573877727541]
  拡散モデル微調整では強化学習(RL)が検討されている。 RLの有効性はスパース報酬の挑戦によって制限される。 $textB2text-DiffuRL$は既存の最適化アルゴリズムと互換性がある。
  論文  参考訳（メタデータ） (2025-03-14T09:45:19Z)
• Exploiting Diffusion Prior for Real-World Image Super-Resolution [75.5898357277047]
  本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。 時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
  論文  参考訳（メタデータ） (2023-05-11T17:55:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。