論文の概要: Noise-Space Reward Alignment for Few-Step Generative Models

• arxiv url: http://arxiv.org/abs/2610.21125v1
• Date: Thu, 15 Oct 2026 02:30:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.137782
• Title: Noise-Space Reward Alignment for Few-Step Generative Models
• Title（参考訳）: 数ステップ生成モデルのための雑音空間逆アライメント
• Abstract要約: 数段階の生成モデルでは、1つか数回の評価で高品質なサンプルを生成する。 直習は過度な報酬の過度な最適化に悩まされる。 NPOは、直接微調整よりも優れた報酬品質のトレードオフを一貫して達成している。
• 参考スコア（独自算出の注目度）: 28.088422981456546
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Few-step generative models produce high-quality samples in one or a few evaluations. However, steering them toward desired properties remains difficult, especially when only black-box reward evaluations are available. While one could apply approaches developed for iterative diffusion and flow-based models, such as direct RL fine-tuning or test-time scaling, we find that neither transfers well to the few-step regime: direct fine-tuning suffers from severe reward over-optimization, and test-time scaling sacrifices the efficiency advantage of few-step generation. We propose Noise Policy Optimization (NPO), which explicitly targets the alignment problem for few-step generative models. The key idea is to learn an amortized flow policy over the initial noise space of the generator. The trained policy transports Gaussian noise to a reward-tilted noise distribution, whose pushforward distribution through the frozen generator is exactly the reward-tilted output distribution. By keeping the generator frozen, we can effectively utilize the knowledge encoded in the pretrained model, yielding a better reward-quality trade-off than direct fine-tuning. The amortized policy moves the search cost into training, so inference adds only a lightweight noise sampling step on top of the pretrained model. To improve sample efficiency during training, we use ELBO-based likelihood estimation that requires only sampled endpoints rather than simulated trajectories. Across image, language, and protein structure generation, NPO consistently achieves a better reward-quality trade-off than direct fine-tuning, and matches test-time search methods with 16 to 549 times lower inference cost.
• Abstract（参考訳）: 数段階の生成モデルでは、1つか数回の評価で高品質なサンプルを生成する。 しかし、特にブラックボックスの報酬評価のみが利用可能である場合、望ましい性質に向けてそれらを操縦することは困難である。 直接RLファインチューニングやテストタイムスケーリングのような反復拡散モデルやフローベースモデルのために開発されたアプローチを適用することができるが、直接微調整は、過度な報酬の過度な最適化に悩まされ、テストタイムスケーリングは、数ステップ生成の効率上の利点を犠牲にしている。 数ステップの生成モデルに対するアライメント問題を明示的に対象とするノイズポリシー最適化(NPO)を提案する。 鍵となるアイデアは、ジェネレータの初期ノイズ空間上で、償却フローポリシーを学ぶことである。 訓練されたポリシーはガウスノイズを報奨型雑音分布に転送し、冷凍発電機によるプッシュフォワード分布は報奨型出力分布と正確に一致する。 発電機を凍結させることで、事前訓練されたモデルに符号化された知識を効果的に活用することができ、直接微調整よりも優れた報酬品質のトレードオフが得られる。 償却ポリシーは検索コストをトレーニングに移すため、推論は事前訓練されたモデルの上にのみ軽量ノイズサンプリングステップを追加する。 訓練中のサンプル効率を向上させるために, ELBOを用いた推定法を用いて, シミュレーションされた軌道ではなく, サンプル終端のみを必要とする。 画像,言語,タンパク質構造生成全体にわたって,NPOは直接微調整よりも報酬品質の高いトレードオフを一貫して達成し,推論コストの16～549倍の時間探索手法と一致している。

関連論文リスト

• Scaling Reinforcement Learning for Diffusion Models via Velocity Matching [66.34541945134916]
  RewardBenchファインチューニングは、人間の好みやタスク固有の目的に拡散モデルを適用するための重要なツールである。 自己回帰モデルとは異なり、拡散モデルは生成したサンプルの抽出可能な可能性を提供しない。 本稿では,速度場に直接作用する単純なトラジェクトリフリー更新である報酬ベースベロシティマッチング(RVM)を提案する。
  論文  参考訳（メタデータ） (2026-08-24T17:13:43Z)
• Gradient-Free Noise Optimization for Reward Alignment in Generative Models [52.42087778653147]
  ZeNOは、経路積分制御問題としてノイズ最適化を定式化する、勾配のないフレームワークである。 効果的な推論時間スケーリングを可能にし、多様なジェネレータと報酬関数間で強力なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2026-05-12T00:05:36Z)
• Trust-Region Noise Search for Black-Box Alignment of Diffusion and Flow Models [46.98480905892642]
  信頼領域に基づく検索アルゴリズム(TRS)は、事前訓練された生成モデルと報酬モデルをブラックボックスとして扱う。 我々は,テキスト・ツー・イメージ,分子・タンパク質設計タスクにおけるTRSを評価し,出力サンプルを著しく改善した。
  論文  参考訳（メタデータ） (2026-03-15T17:37:38Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• A Minimalist Method for Fine-tuning Text-to-Image Diffusion Models [3.8623569699070357]
  ノイズPPOは、初期雑音発生器を学習する最小限の強化学習アルゴリズムである。 実験により、ノイズPPOは元のモデルよりもアライメントとサンプル品質を一貫して改善することが示された。 これらの知見は拡散モデルにおける最小主義的RL微調整の実用的価値を裏付けるものである。
  論文  参考訳（メタデータ） (2025-05-23T00:01:52Z)
• Robust Preference Optimization through Reward Model Distillation [68.65844394615702]
  Direct Preference Optimization (DPO) は、プライオリティデータに基づいてポリシーを直接訓練する一般的なオフラインアライメント手法である。 我々はこの現象を分析し、蒸留を用いて生成対よりも真の嗜好分布のより良いプロキシを得る。 以上の結果から,このような報酬モデルからの蒸留は,優先アノテーションの分布変化に対するロバスト性の向上につながることが示唆された。
  論文  参考訳（メタデータ） (2024-05-29T17:39:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。