論文の概要: The Reward Was in Your Data All Along: Correcting Flow Matching with Discriminator-Guided RL

• arxiv url: http://arxiv.org/abs/2606.19162v1
• Date: Wed, 17 Jun 2026 15:01:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.227962
• Title: The Reward Was in Your Data All Along: Correcting Flow Matching with Discriminator-Guided RL
• Title（参考訳）: ディスクリミネーターによるRLとの整合を補正する「Reward」
• Abstract要約: 識別器誘導RL(DRL)は、事前訓練された表現空間内のベースモデルサンプルからデータを分離するために識別器を訓練する。 ガイダンスのないFID(例:SiTで9.38ドルから2.62ドル)と意味空間FD(例:SiTでDINOv3で8.2ドルから19.3ドル)を減らす。 また、後続の嗜好ベースのポストトレーニングでは、好みの報酬とイメージの忠実度の間のフロンティアも向上する。
• 参考スコア（独自算出の注目度）: 19.556118547263928
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Score- and flow-matching models often rely on preference-based reinforcement learning for two purposes: aligning with subjective preferences and, surprisingly, recovering properties such as visual realism and coherent object structure that matching-based training is intended to learn from the data itself. We argue that this reflects a structural mismatch. Matching losses measure $\ell_2$ regression error on the velocity or score field under training-time marginals, a proxy poorly aligned with the visual and semantic properties that determine sample quality at inference. Given a reward aligned with these properties, RL sidesteps the mismatch by evaluating the model on its own samples and following the reward landscape directly. The challenge is to obtain such a reward without relying on human preferences, which are expensive and conflate data realism with annotator inclinations. We propose Discriminator-Guided RL (DRL). DRL trains a discriminator to separate data from base-model samples in a pretrained representation space and uses its logit as the reward in KL-regularized RL. The pretrained space restricts the discriminator to perceptually meaningful directions, and the logit estimates the log-likelihood ratio between data and model, which is the optimal reward for targeting the data distribution. Across SiT, JiT, REPA, and RAE, DRL reduces guidance-free FID (e.g., $9.38 \to 2.62$ on SiT) and semantic-space FD (e.g., $88.2 \to 19.3$ on DINOv3 for SiT), with consistent gains across all backbones, and improves human-preference rewards without training on them. It also yields a better Pareto frontier between preference reward and image fidelity under subsequent preference-based post-training, increasing alignment while reducing low-level artifacts such as oversaturation and excessive brightness.
• Abstract（参考訳）: スコアとフローマッチングのモデルは、主観的嗜好と驚くほど、マッチングベースのトレーニングがデータ自身から学習することを意図した視覚的リアリズムやコヒーレントなオブジェクト構造のような特性の回復という2つの目的のために、好みに基づく強化学習に依存することが多い。 これは構造的なミスマッチを反映していると我々は主張する。 マッチング損失は、トレーニング時間境界の下での速度やスコアフィールドの回帰誤差を$\ell_2$で測定する。 これらの特性に沿った報酬を与えられたRLは、自身のサンプル上でモデルを評価し、報酬のランドスケープを直接追従することで、ミスマッチを回避します。 課題は、人間の好みに頼らずにそのような報酬を得ることであり、それは高価であり、アノテータの傾きとデータリアリズムを融合させることである。 本稿では,識別器誘導型RL(DRL)を提案する。 DRLは、事前訓練された表現空間のベースモデルサンプルからデータを分離するために識別器を訓練し、そのロジットをKL正規化RLの報酬として利用する。 事前訓練された空間は、判別器を知覚的に有意な方向に制限し、ロジットは、データ分布をターゲットとする最適な報酬であるデータとモデルの間の対数類似率を推定する。 SiT, JiT, REPA および RAE 全体で、DRL は誘導のない FID (e g , 9,.38 \to 2.62$ on SiT) と意味空間 FD (e g , 8,.2 \to 19.3$ for SiT) を減らし、すべてのバックボーンに一貫したゲインを与え、トレーニングなしで人為的な報酬を改善する。 また、後続の嗜好ベースのポストトレーニングでは、嗜好報酬とイメージ忠実度の間のパレートフロンティアも向上し、過飽和や過度の明るさといった低レベルなアーティファクトを減らしながらアライメントを向上する。

関連論文リスト

• Optimizing Visual Generative Models via Distribution-wise Rewards [57.46109819595665]
  本稿では,実世界のデータ分布との整合性を確保するために,分布ワイド報酬を用いた生成モデルを微調整する新しいフレームワークを提案する。 提案手法は,SiTでは5.77,EDM2では3.74から3.52まで,様々なベースモデルでFID-50Kを大幅に改善する。
  論文  参考訳（メタデータ） (2026-07-02T15:08:56Z)
• Variance-aware Reward Modeling with Anchor Guidance [10.561814492691534]
  非識別性を解決するフレームワークとして,アンカー誘導型分散認識リワードモデリングを提案する。 シミュレーション研究と4つの実世界の発散予測データセットを通して,提案手法は報酬モデリング性能を継続的に改善する。
  論文  参考訳（メタデータ） (2026-05-12T09:46:26Z)
• Reinforce Adjoint Matching: Scaling RL Post-Training of Diffusion and Flow-Matching Models [44.082049677105964]
  拡散およびフローマッチングモデルは、事前学習が監督された回帰であるため、スケールする。 この構造がRLポストトレーニングにまで拡張されていることを示す。 KL-正規化報酬の下では、最適生成過程はより高い報酬を持つ試料に対してクリーンエンドポイント分布を傾ける。 Reinforce Adjoint Matching (RAM: Reinforce Adjoint Matching) を導出します。
  論文  参考訳（メタデータ） (2026-05-11T15:56:29Z)
• ImplicitRM: Unbiased Reward Modeling from Implicit Preference Data for LLM alignment [49.93516092785756]
  現在の報酬モデリングは、収集コストの高い実験的なフィードバックデータに大きく依存している。 ImplicitRMは、暗黙の嗜好データから偏見のない報酬モデルを学ぶことを目的としている。 実験によると、ImplicitRMは暗黙の選好データセット間で正確な報酬モデルを学ぶ。
  論文  参考訳（メタデータ） (2026-03-24T13:32:14Z)
• Distributional Clarity: The Hidden Driver of RL-Friendliness in Large Language Models [50.99097734404912]
  RLフレンドリなモデルでは, クラス内コンパクト性やクラス間分離が, 正誤応答に対する確率割当に現れることを示す。 6つの数学ベンチマークによる実験では、すべてのモデルファミリで一貫した改善が見られ、AIME24では5.9ポイントまで向上した。
  論文  参考訳（メタデータ） (2026-01-11T13:34:44Z)
• Every Question Has Its Own Value: Reinforcement Learning with Explicit Human Values [53.72318444646282]
  RLEV(Reinforcement Learning with Explicit Human Values)を提案する。 RLEVは、Large Language Model (LLM) 最適化を直接、定量化された人間の値信号と整合させる。 RLEVは、複数のRLアルゴリズムとモデルスケールで、精度のみのベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-10-23T04:15:22Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Towards Efficient Online Exploration for Reinforcement Learning with Human Feedback [12.158181906895186]
  人間のフィードバックによる強化学習は、大きな言語モデルと人間の好みを整合させる中心的なパラダイムとして現れてきた。 オンラインRLHFの探索原理について検討し、報酬モデルとポリシーの両方をデータ効率のよい方法で洗練しようとする。 そこで本研究では,報酬差の不確実性を抑えるために,嗜好クエリを指示する新たな探索手法を提案する。
  論文  参考訳（メタデータ） (2025-09-26T17:57:17Z)
• SPARK: Synergistic Policy And Reward Co-Evolving Framework [84.22494672256894]
  我々は、RLVR上に構築された効率的でオン・ポリティクス、安定した手法であるSPARK(Synergistic Policy and Reward Co-Evolving Framework)を紹介する。 ロールアウトと正確性データを捨てる代わりに、SPARKはこの貴重な情報をリサイクルし、生成的報酬モデルとしてモデル自体をトレーニングする。 SPARK は複数の LLM モデルと LVLM モデル,および複数の推論,報酬モデル,一般ベンチマークにおいて,大幅な性能向上を実現していることを示す。
  論文  参考訳（メタデータ） (2025-09-26T17:50:12Z)
• RLBFF: Binary Flexible Feedback to bridge between Human Feedback & Verifiable Rewards [29.53129965767002]
  バイナリフレキシブルフィードバック(RLBFF)を用いた強化学習を提案する。 RLBFFは、人間主導の好みの汎用性とルールベースの検証の精度を組み合わせる。 この方法で訓練されたReward Modelsは、データにマッチするとBradley-Terryモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2025-09-25T16:19:06Z)
• Best Policy Learning from Trajectory Preference Feedback [11.896067099790962]
  推論ベースの強化学習(PbRL)は、より堅牢な代替手段を提供する。 本稿では, PbRLにおける最適政策識別問題について検討し, 生成モデルの学習後最適化を動機とした。 本稿では,Top-Two Thompson Smplingにヒントを得た新しいアルゴリズムであるPosterior Smpling for Preference Learning(mathsfPSPL$)を提案する。
  論文  参考訳（メタデータ） (2025-01-31T03:55:10Z)
• In-Dataset Trajectory Return Regularization for Offline Preference-based Reinforcement Learning [15.369324784520538]
  In-Dataset Trajectory Return Regularization (DTR) を提案する。 DTRは報酬バイアスの下で不正確な軌道縫合を学習するリスクを軽減する。 また,複数の報酬モデルを効果的に統合するアンサンブル正規化手法を導入する。
  論文  参考訳（メタデータ） (2024-12-12T09:35:47Z)
• Robust Reinforcement Learning from Corrupted Human Feedback [86.17030012828003]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の嗜好データを調整するための原則化されたフレームワークを提供する。 我々はRLHFのロバストなアプローチ-$R3M$を提案し、これは、潜在的に破損した選好ラベルをスパースアウトリーとしてモデル化する。 大規模言語モデル(LLM)を用いたロボット制御と自然言語生成の実験により、R3M$は、好みデータに対する様々な摂動に対する報酬の堅牢性を向上することを示した。
  論文  参考訳（メタデータ） (2024-06-21T18:06:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。