論文の概要: Learning Noise Optimization for Reward Alignment in Few-Step Generative Models

• arxiv url: http://arxiv.org/abs/2611.06255v1
• Date: Wed, 04 Nov 2026 10:06:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.049444
• Title: Learning Noise Optimization for Reward Alignment in Few-Step Generative Models
• Title（参考訳）: 数ステップ生成モデルにおける逆アライメントの学習雑音最適化
• Abstract要約: 本稿では、報酬誘導初期雑音最適化を学習残差輸送に補正するLeNOについて紹介する。 LeNOは局所GRPOとスカラー報酬を用いて雑音補正のアンカー条件分布を学習する。 我々は,高額なブラックボックス設計性報酬を含む,数段階のテキスト・ツー・イメージとタンパク質構造生成におけるLeNOの評価を行った。
• 参考スコア（独自算出の注目度）: 55.277245522129355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reward alignment for diffusion- and flow-based generative models is often formulated over stochastic trajectories, making it less suitable for few-step deterministic generators. Initial noise optimization provides a trajectory-free alternative, but existing gradient-free methods require costly per-sample search at inference. We introduce LeNO (Learning Noise Optimization), which amortizes reward-guided initial noise optimization into a learned residual transport while keeping the pretrained generator frozen. LeNO learns an anchor-conditioned distribution over noise corrections using Local GRPO and scalar rewards, eliminating iterative test-time optimization. For Gaussian initial noise with norm-preserving projection, we derive a tractable upper bound on the KL divergence between the corrected noise distribution and the original prior, providing a principled regularization objective. We evaluate LeNO on few-step text-to-image and protein structure generation, including expensive black-box designability rewards. Across both domains, LeNO improves target rewards with a single noise correction at inference while largely preserving generation quality and diversity.
• Abstract（参考訳）: 拡散および流れに基づく生成モデルに対する逆アライメントは、しばしば確率的軌道上で定式化され、数ステップの決定論的生成にはあまり適さない。 初期ノイズ最適化はトラジェクトリフリーの代替手段を提供するが、既存の勾配なしの手法では推論時にサンプルごとの探索に費用がかかる。 本稿では,Lano(Learning Noise Optimization, 学習ノイズ最適化)を導入する。 LeNOは局所GRPOとスカラー報酬を用いて雑音補正のアンカー条件分布を学習し、反復的なテスト時間最適化を除去する。 正規保存射影を持つガウス初期雑音に対して、補正された雑音分布と元の先行値とのKL偏差のトラクタブル上限を導出し、原理化された正規化目標を与える。 我々は,高額なブラックボックス設計性報酬を含む,数段階のテキスト・ツー・イメージとタンパク質構造生成におけるLeNOの評価を行った。 両方の領域にわたって、LeNOは、生成品質と多様性をほとんど保ちながら、推論時に単一のノイズ補正を行うことで、目標報酬を改善する。

関連論文リスト

• Noise-Space Reward Alignment for Few-Step Generative Models [28.088422981456546]
  数段階の生成モデルでは、1つか数回の評価で高品質なサンプルを生成する。 直習は過度な報酬の過度な最適化に悩まされる。 NPOは、直接微調整よりも優れた報酬品質のトレードオフを一貫して達成している。
  論文  参考訳（メタデータ） (2026-10-15T02:30:15Z)
• Manifold-Constrained Initial Noise Optimization for Efficient Generative Model Alignment [53.850882288239745]
  安定かつ効率的な初期ノイズアライメント手法であるZenoVAを勾配のない方法で導入する。 画像およびビデオ生成モデルによる実験により、ZeNOVAは評価されたゼロ階のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2026-09-30T06:37:54Z)
• Gradient-Free Noise Optimization for Reward Alignment in Generative Models [52.42087778653147]
  ZeNOは、経路積分制御問題としてノイズ最適化を定式化する、勾配のないフレームワークである。 効果的な推論時間スケーリングを可能にし、多様なジェネレータと報酬関数間で強力なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2026-05-12T00:05:36Z)
• Integrating Reweighted Least Squares with Plug-and-Play Diffusion Priors for Noisy Image Restoration [6.402777145722335]
  インパルスノイズを含む一般的なノイズの頑健な除去のための生成拡散先に基づくプラグアンドプレイ画像復元フレームワークを提案する。 評価実験の結果,提案手法は非ガウス的インパルスノイズを効果的に除去し,復元性能が向上することが示された。
  論文  参考訳（メタデータ） (2025-11-10T08:11:20Z)
• Noise Conditional Variational Score Distillation [60.38982038894823]
  騒音条件変化スコア蒸留(NCVSD)は, 予混合拡散モデルから生成消音剤を蒸留する新しい方法である。 この知見を変分スコア蒸留フレームワークに組み込むことで、生成的デノイザのスケーラブルな学習を可能にする。
  論文  参考訳（メタデータ） (2025-06-11T06:01:39Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。