論文の概要: AdvFidelity: Unifying Preference Alignment and Few-Step Image Generation within Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.29380v1
• Date: Wed, 21 Oct 2026 08:09:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.285881
• Title: AdvFidelity: Unifying Preference Alignment and Few-Step Image Generation within Reinforcement Learning
• Title（参考訳）: AdvFidelity:強化学習における選好アライメントとFew-Step画像生成の統合
• Abstract要約: 本稿では,人工物に敏感な忠実度管理と強化学習を統合したAdvFidelityを提案する。 我々は、コンテンツマッチングされた再構築よりも高品質な参照をランク付けするように差別者を訓練する。 ネガがオンラインで再構成されたことにより、更新の交互更新は、ジェネレータの進化する障害モードに対する忠実度監視に適応する。
• 参考スコア（独自算出の注目度）: 37.82358616515412
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Practical image generation requires both human preference alignment and few-step efficiency, yet combining reinforcement learning (RL) with distillation is often multi-stage and may erode RL gains We observe that few-step RL progressively improves structural coherence, even with specialized rewards, but leaves low-level artifacts that these rewards may fail to penalize. To address this gap, we propose AdvFidelity, which integrates artifact-sensitive fidelity supervision into RL through an online adversarial reward. This enables joint reward alignment and high-fidelity few-step generation within a single RL stage, without distribution matching distillation (DMD) or other explicit distillation objectives. We train a discriminator to rank high-quality references (positives) above content-matched reconstructions (negatives) produced by the current generator. Reconstructing moderately noised references largely preserves style and scene layout while exposing low-level degradations. This encourages the discriminator to assess artifacts rather than content differences. With negatives reconstructed online, alternating updates adapt fidelity supervision to the generator's evolving failure modes. References can come from existing target-domain data or full-step model samples. Built on LeapAlign, AdvFidelity backpropagates gradients from both rewards through the few-step sampling trajectories used at inference. Across two model backbones and three task settings, AdvFidelity matches full-step LeapAlign in alignment, task performance, and overall generation quality and remains highly competitive with other evaluated full-step RL methods, using only 4 or 8 steps without CFG.
• Abstract（参考訳）: 実際の画像生成には人間の嗜好の整合性と数ステップの効率の両方が必要であるが、蒸留と強化学習(RL)を組み合わせることは多段階であり、RLの利得を損なう可能性がある。 このギャップに対処するために,オンラインの対戦型報酬を通じて,アーティファクトに敏感な忠実度管理をRLに統合するAdvFidelityを提案する。 これにより、分散整合蒸留(DMD)や他の明示的な蒸留目的を使わずに、単一のRL段階において、共同報酬アライメントと高忠実な数段階生成が可能となる。 我々は判別器に、現在の発電機が生成したコンテンツマッチングされた再構成(負)よりも高品質な参照(正)をランク付けするように訓練する。 適度にノイズのある参照を再構築することは、低レベルの劣化を露呈しながら、スタイルとシーンのレイアウトをほとんど保存する。 これにより、差別者はコンテンツの違いよりもアーティファクトを評価することが奨励される。 ネガがオンラインで再構成されたことにより、更新の交互更新は、ジェネレータの進化する障害モードに対する忠実度監視に適応する。 参照は、既存のターゲットドメインデータやフルステップモデルサンプルから得ることができる。 LeapAlign上に構築されたAdvFidelityは、推論で使用される数ステップのサンプリングトラジェクトリを通じて、両方の報酬からの勾配をバックプロパゲートする。 2つのモデルバックボーンと3つのタスク設定で、AdvFidelityはアライメント、タスクパフォーマンス、全体的な生成品質においてフルステップLeapと一致し、CFGなしで4または8ステップしか使用せずに、他の評価されたフルステップRLメソッドと高い競争力を維持している。

関連論文リスト

• ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning [74.19730275669227]
  ARISE-RLは、オープンエンドエージェントをトレーニングするための新しいフルサイクルの自己進化フレームワークである。 Reward-Gated Self-Evolution Distillation (RG-SED)を提案する。 ECR-Benchは,シングルツールディープリサーチとマルチツールトラベルプランニングを対象とする,専門家校正型ルーリックベンチマークスイートである。
  論文  参考訳（メタデータ） (2026-09-01T10:54:13Z)
• Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL [55.05743310621117]
  Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。 我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
  論文  参考訳（メタデータ） (2026-08-18T01:16:02Z)
• RL-Native Distillation: Exploiting Scored Trajectories for Few-Step Image Generation [38.215412661414604]
  効率的なテキスト・ツー・イメージ生成には、強化学習(RL)ベースの報酬アライメントと数ステップの蒸留が必要である。 本稿では,REST (Reward-Enhanced Scored-Trajectory Distillation) を提案する。 私たちは、RESTが40ステップのRL教師と一致するか、または超えるCFGフリーな推論を可能にすることを示しています。
  論文  参考訳（メタデータ） (2026-08-10T07:49:05Z)
• Right in the Right Way: LM Training with Verifiable Rewards and Human Demonstrations [46.90253276172931]
  本稿では,人間による実演からの学習信号を用いて,検証可能な報酬を増大させる逆生成・差別化フレームワークを提案する。 提案手法は,RLVRの精度向上を保ちながら,不検証特性を常に改善する。 バグ修正では,RLVRベースラインに比べて編集距離が大幅に低い。
  論文  参考訳（メタデータ） (2026-07-01T17:13:35Z)
• Diff-Instruct with Diffused Reward: Towards Principled One-step Generator RL [16.321536102397733]
  ワンステップのテキスト・ツー・イメージ生成により、顕著な効率と品質でリアルタイムな合成が可能になった。 画像空間報酬最適化と拡散雑音空間分布マッチングを組み合わせた1ステップジェネレータの事前強化学習法について検討した。 KL最小化から導かれるデータフリーな軌道レベルのアライメントフレームワークであるDiff-Instruct with Diffused Reward (DIDR)を提案する。
  論文  参考訳（メタデータ） (2026-05-18T21:26:33Z)
• Learning to Credit the Right Steps: Objective-aware Process Optimization for Visual Generation [57.61006679699323]
  強化学習は人間の嗜好信号を用いた視覚生成モデルの訓練後の効果的な枠組みとして登場した。 現代の視覚生成では、視覚的品質、動きの整合性、テキストアライメントなどの不均一な目的を捉えるために、複数の報酬モデルがしばしば使用される。 GRPO の微粒化学習のための構造化フレームワークである Objective-Aware Trajectory Credit Assignment (OTCA) を提案する。
  論文  参考訳（メタデータ） (2026-04-21T08:37:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。