論文の概要: Aligning One-Step Generative Models with Reward-Weighted Transport Distillation

• arxiv url: http://arxiv.org/abs/2609.30840v1
• Date: Fri, 25 Sep 2026 05:35:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.237378
• Title: Aligning One-Step Generative Models with Reward-Weighted Transport Distillation
• Title（参考訳）: Reward-Weighted Transport Distillation を用いた一段階生成モデルの調整
• Abstract要約: ワンステップジェネレータは、単一のネットワーク評価で高品質なビジュアル生成を可能にする。 一般の暗黙のジェネレータは、牽引可能な可能性も騒音の軌道も提供しない。 Reward-Weighted Transport Distillation (RWTD) は, サンプル生成とスカラー報酬評価のみを必要とするポストトレーニング法である。
• 参考スコア（独自算出の注目度）: 21.841533606671362
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One-step generators enable high-quality visual generation with a single network evaluation, but their post-training is difficult: general implicit generators provide neither tractable likelihoods nor denoising trajectories, and many rewards are non-differentiable. We introduce Reward-Weighted Transport Distillation (RWTD), a post-training method that requires only generated samples and scalar reward evaluations. Rather than aligning solely to the conventional reward-tilted reference distribution, RWTD constructs an adaptive target that mixes separately tilted current and reference distributions. The current component incorporates improvements discovered during training, while the reference component anchors the target to the pretrained generator. RWTD realizes this target through feature-space optimal transport and fixed-point regression. Theoretical analysis shows that the fixed-point distributions of RWTD interpolate between off-policy reward tilting of the reference and on-policy tilting of the current model, providing a principled approach to balancing reward adaptation with retention of prior knowledge. Empirically, RWTD substantially improves the GenEval score of the one-step SANA Sprint 1.6B backbone from 0.73 to 0.80, while separate preference alignment experiments demonstrate strong cross-reward generalization that yields balanced improvements and preservation of compositional capabilities.
• Abstract（参考訳）: 1ステップのジェネレータは、単一のネットワーク評価で高品質な視覚生成を可能にするが、そのポストトレーニングは困難である。 Reward-Weighted Transport Distillation (RWTD) は, サンプル生成とスカラー報酬評価のみを必要とするポストトレーニング法である。 RWTDは、従来の報奨型参照分布にのみ準拠するのではなく、個別に傾いた電流と基準分布を混合する適応的ターゲットを構築する。 現在のコンポーネントにはトレーニング中に発見された改善が含まれているが、参照コンポーネントはトレーニング済みのジェネレータにターゲットをアンカーする。 RWTDは特徴空間の最適輸送と不動点回帰によってこの目標を実現する。 理論的解析により、RWTDの固定点分布は、参照のオフ・ポリティクスの傾きと現在のモデルのオン・ポリティクスの傾きとを補間し、事前知識の保持と報酬適応のバランスをとるための原則的アプローチを提供する。 実験的に、RWTDは1段階のSANAスプリント1.6BバックボーンのGenEvalスコアを0.73から0.80に大幅に改善する一方、別々の選好アライメント実験は、バランスの取れた改善と構成機能の維持をもたらす強い逆一般化を示す。

関連論文リスト

• PhoenixSR: Generative Heterogeneous Distillation Unleashes Efficient Models for Real-World Super-Resolution [77.62046566633215]
  実世界の超解像(SR)は、複雑な低分解能観測から知覚的に現実的な高分解能像を復元する必要がある。 PhoenixSRは独立に設計されたフィードフォワードSRネットワークに拡散先行を転送する生成ヘテロジニアス蒸留フレームワークである。 3つのSRベンチマークと6つのフィードフォワードバックボーン(SwinIR、HAT、Real-ESRGAN、SeeeMoRe)の実験は、ほとんど保存された復元フィデリティと一貫した知覚的改善を示している。
  論文  参考訳（メタデータ） (2026-09-25T08:34:32Z)
• Optimizing Visual Generative Models via Distribution-wise Rewards [57.46109819595665]
  本稿では,実世界のデータ分布との整合性を確保するために,分布ワイド報酬を用いた生成モデルを微調整する新しいフレームワークを提案する。 提案手法は,SiTでは5.77,EDM2では3.74から3.52まで,様々なベースモデルでFID-50Kを大幅に改善する。
  論文  参考訳（メタデータ） (2026-07-02T15:08:56Z)
• SURGE: Approximation and Training Free Particle Filter for Diffusion Surrogate [10.190682562038047]
  本研究では,拡散モデルを用いてシステムのダイナミクスをシミュレーションし,予測する。 本研究では,騒音観測から得られる情報を組み込んで,予測されたシステム状態の継続的な修正と改善を可能にする方法について検討する。
  論文  参考訳（メタデータ） (2026-05-18T17:59:00Z)
• Simple Approximation and Derivative Free Inference-Time Scaling for Diffusion Models via Sequential Monte Carlo on Path Measures [13.41132148962756]
  textttURGEはデリバティブフリーな推論時間スケーリングアルゴリズムで、測定値の変更によって経路的に重要な再重み付けを行う。 我々はパスワイドSMCとパーティクルワイドSMCの等価性を確立する。
  論文  参考訳（メタデータ） (2026-05-18T04:45:33Z)
• Guiding Distribution Matching Distillation with Gradient-Based Reinforcement Learning [41.982957134224904]
  拡散蒸留は、数ステップの発電では大きな可能性を秘めているが、サンプリング速度のために品質を犠牲にすることが多い。 GDMDは, 原画素出力よりも蒸留勾配を優先することで, 報酬機構を再定義する新しいフレームワークである。 我々のモデルは、その多段階教師の質を上回り、GenEvalと人為的基準の指標において、従来のDMDRよりもかなり上回っている。
  論文  参考訳（メタデータ） (2026-04-21T02:57:13Z)
• Reward Score Matching: Unifying Reward-based Fine-tuning for Flow and Diffusion Models [54.597200388738656]
  Reward-based fine-tuningは、事前訓練された拡散またはフローベース生成モデルを、より高い逆サンプルに向けて操ることを目的としている。 報酬スコアマッチング (RSM) と呼ばれる共通フレームワークで記述できることが示される。
  論文  参考訳（メタデータ） (2026-04-19T12:47:52Z)
• RationalRewards: Reasoning Rewards Scale Visual Generation Both Training and Test Time [51.256131853751754]
  本研究では,多次元的批判を明示的に生成するために報酬モデルを教えることで,受動的評価器から能動的最適化ツールへ変換することを示す。 提案手法では, 嗜好データから高品質な論理を復元する原理的フレームワークであるpreference-Anchored Rationalization (PARROT) を導入する。 その結果、RationalRewards (8B) は、オープンソース報酬モデル間の最先端の好み予測を実現する。
  論文  参考訳（メタデータ） (2026-04-13T15:38:09Z)
• Efficient Training of Boltzmann Generators Using Off-Policy Log-Dispersion Regularization [4.651750987298774]
  ボルツマン生成器は、所定の温度で物理系のボルツマン分布から独立したサンプリングを可能にする生成モデルである。 本稿では,対数分散目的の一般化を基盤とした新たな正規化フレームワークである,非政治対数分散正規化(LDR)を提案する。 LDRは、目標エネルギーラベルの形で追加情報を活用することにより、エネルギーランドスケープの形状正則化剤として機能する。
  論文  参考訳（メタデータ） (2026-02-03T16:49:32Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。