論文の概要: MEND: RL For Flow Models via Proximal Velocity Matching

• arxiv url: http://arxiv.org/abs/2610.05954v1
• Date: Mon, 05 Oct 2026 08:07:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:56:57.628227
• Title: MEND: RL For Flow Models via Proximal Velocity Matching
• Title（参考訳）: MEND: 近流速度マッチングによる流れモデルのためのRL
• Abstract要約: MENDは、近位速度マッチングに基づく強化学習法である。 Flow-GRPO(約4kの更新)では、6つの評価器のうち5つをベースモデル画像と同一距離で上回ります。
• 参考スコア（独自算出の注目度）: 35.65322085280114
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reward post-training of flow models either reweights the model's own samples under a KL penalty or a frozen reference, often for thousands of updates, or backpropagates the reward and moves every sample without checking that the move is worth its size. We introduce MEND, a reinforcement learning method built on proximal velocity matching. MEND caps rewards within each prompt group, so samples that already score well receive no move. Below the cap, it proposes moves along the reward gradient and accepts one only when its capped reward gain exceeds a quadratic displacement price. The model then regresses onto the resulting velocity targets, with no KL term, frozen reference model, or advantage weights. In 100 updates, MEND outperforms Flow-GRPO (about 4k updates) on five of six evaluators at the same distance to base-model images. Under an equal-budget protocol, it surpasses ReFL and DiffusionNFT at every evaluated update across four training rewards, reaching PickScore 24.03 versus 23.92 and 23.43, respectively. A 300-update three-reward run also surpasses the five-reward DiffusionNFT model on all three rewards it trains on. MEND is general and easy to adopt: it applies to any flow backbone with a differentiable reward.
• Abstract（参考訳）: フローモデルのリワード後トレーニングは、KLペナルティの下でモデル自身のサンプルを再重み付けするか、あるいは凍結した参照を数千回更新するか、あるいは報酬をバックプロパゲートして、その移動がそのサイズに価値があることを確認することなく、すべてのサンプルを移動させる。 近似速度マッチングに基づく強化学習手法であるMENDを導入する。 MENDは各プロンプトグループ内の報酬を上限にしているため、すでにスコアが良いサンプルは動かない。 キャップの下には、報酬勾配に沿って動き、キャップ付き報酬ゲインが2次変位価格を超える場合にのみ1つを受け入れることを提案する。 モデルが得られた速度目標に回帰すると、KL項やフリーズ参照モデル、アドバンテージウェイトがなくなる。 100回の更新で、MENDはFlow-GRPO(約4kの更新)を6つの評価器のうち5つで、ベースモデル画像と同一距離で上回っている。 等予算のプロトコルの下では、ReFLとDiffusionNFTを4つのトレーニング報酬で上回り、それぞれ23.92と23.43に対してPickScore 24.03に達した。 また、300リワードは5リワードのディフュージョンNFTモデルを上回る3つの報酬を課している。 MENDは汎用的で簡単に採用でき、任意のフローバックボーンに適用できる。

関連論文リスト

• Reinforce Adjoint Matching: Scaling RL Post-Training of Diffusion and Flow-Matching Models [44.082049677105964]
  拡散およびフローマッチングモデルは、事前学習が監督された回帰であるため、スケールする。 この構造がRLポストトレーニングにまで拡張されていることを示す。 KL-正規化報酬の下では、最適生成過程はより高い報酬を持つ試料に対してクリーンエンドポイント分布を傾ける。 Reinforce Adjoint Matching (RAM: Reinforce Adjoint Matching) を導出します。
  論文  参考訳（メタデータ） (2026-05-11T15:56:29Z)
• MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
  強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。 既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。 我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:20:42Z)
• Expected Reward Prediction, with Applications to Model Routing [51.74583237294919]
  繰り返しサンプリングを行うと, LLMが報酬モデルから得られると予測される報酬を予測することは容易である。 また、これらの予測された報酬予測は、モデルルーティングプロトコルへのアプリケーションをサポートするのに十分正確かつ差別的であることを示す。
  論文  参考訳（メタデータ） (2026-03-03T10:10:44Z)
• Residual Reward Models for Preference-based Reinforcement Learning [11.797520525358564]
  優先度に基づく強化学習(PbRL)は、報酬信号の特定が難しい環境で、高性能なポリシーを学習する方法を提供する。 PbRLは報酬モデルでのトレーニングを必要とするため、収束速度が遅い。 本稿では,Residual Reward Model (RRM) を用いた事前知識の有効活用手法を提案する。
  論文  参考訳（メタデータ） (2025-07-01T09:43:57Z)
• RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution [50.171320156632866]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための有望なアプローチを提供する。 現在の報酬モデルはシークエンス・ツー・ワンモデルとして動作し、単一、スパース、遅延報酬を全出力シーケンスに割り当てる。 よりきめ細かなトークンレベルの指導手法をRLトレーニングに提案する。
  論文  参考訳（メタデータ） (2024-11-13T02:45:21Z)
• Better Training of GFlowNets with Local Credit and Incomplete Trajectories [81.14310509871935]
  エネルギー関数が終端状態だけでなく中間状態にも適用できる場合を考える。 これは例えば、エネルギー関数が加法的であるときに達成され、軌道に沿って項が利用できる。 これにより、不完全なトラジェクトリであってもパラメータの更新に適用可能なトレーニングの目標が可能になる。
  論文  参考訳（メタデータ） (2023-02-03T12:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。