Fugu-MT 論文翻訳(概要): MeanFlowAdvantage: Stable Reward Fine-Tuning for Few-Step Average-Velocity Generators

論文の概要: MeanFlowAdvantage: Stable Reward Fine-Tuning for Few-Step Average-Velocity Generators

arxiv url: http://arxiv.org/abs/2609.37670v1
Date: Tue, 29 Sep 2026 14:25:03 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-30 21:28:47.621967
Title: MeanFlowAdvantage: Stable Reward Fine-Tuning for Few-Step Average-Velocity Generators
Title（参考訳）: MeanFlowAdvantage:Few-Step Average-Velocity ジェネレータの安定リワード微調整
Abstract要約: MeanFlowは、間隔平均速度を予測して効率的な数ステップ生成を可能にする。 MeanFlowAdvantageは、平均速度ジェネレータのための、符号付きアドバンテージを持つ最小2乗目標である。
参考スコア（独自算出の注目度）: 0.5461938536945722
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: MeanFlow enables efficient few-step generation by predicting interval-average velocities, but this representation creates a mismatch for reward fine-tuning: existing advantage-based objectives are typically defined on instantaneous velocities or equivalent $x_0$-space predictions, whereas inference directly uses the learned average-velocity map. We introduce MeanFlowAdvantage, a signed advantage-weighted least-squares objective for average-velocity generators. Our key construction uses a shared, detached MeanFlow derivative correction to express the reward objective in prediction space while making rollout and reference regularization exact penalties on the average-velocity network deployed at inference. The resulting formulation preserves MeanFlow's native few-step sampler and provides a direct mechanism for transferring reward improvements to the deployed flow map. On SD3.5-Medium, MeanFlowAdvantage improves all eight reported metrics over the matched four-step MeanFlowNFT baseline and, with only four NFEs, matches or exceeds the 40-step DiffusionNFT baseline on six of eight metrics. The same objective also transfers to DNA promoter design, where it supports both teacher-free on-policy RL for a generator defined on a manifold and teacher-guided reward-graded distillation, with the latter yielding the lowest one-step Sei profile MSE among the compared configurations.
Abstract（参考訳）: MeanFlowは、間隔平均速度を予測することで効率的な数ステップ生成を可能にするが、この表現は報酬の微調整のためのミスマッチを生成する。 MeanFlowAdvantageは、平均速度ジェネレータのための、符号付きアドバンテージを持つ最小2乗目標である。我々の鍵となる構成は、平均速度ネットワーク上でのロールアウトと参照正則化を正確に行いながら、予測空間における報酬目標を表現するために、共有された分離されたMeanFlow微分補正を使用する。その結果得られた定式化は、MeanFlowのネイティブな数ステップのサンプルを保存し、デプロイされたフローマップに報酬の改善を転送する直接的なメカニズムを提供する。 SD3.5-Mediumでは、MeanFlowAdvantageは、マッチした4ステップのMeanFlowNFTベースラインと、マッチまたは40ステップのDiffusionNFTベースラインを超える4ステップのMeanFlowNFTベースラインに対して、レポートされた8つのメトリクスをすべて改善している。同じ目的はDNAプロモーターの設計にも移譲され、多様体上に定義されたジェネレータに対する教師なしのオンラインRLと教師誘導の報酬グレード蒸留の両方をサポートし、後者は比較構成の中で最も低い1段階のセイプロファイルMSEが得られる。

論文の概要: MeanFlowAdvantage: Stable Reward Fine-Tuning for Few-Step Average-Velocity Generators

関連論文リスト