論文の概要: Uniworld-V2: Reinforce Image Editing with Diffusion Negative-aware Finetuning and MLLM Implicit Feedback

• arxiv url: http://arxiv.org/abs/2510.16888v3
• Date: Tue, 04 Nov 2025 13:15:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.500043
• Title: Uniworld-V2: Reinforce Image Editing with Diffusion Negative-aware Finetuning and MLLM Implicit Feedback
• Title（参考訳）: Uniworld-V2:拡散陰性認識ファインタニングとMLLMインプットフィードバックによる画像編集の強化
• Authors: Zongjian Li, Zheyuan Liu, Qihui Zhang, Bin Lin, Feize Wu, Shenghai Yuan, Zhiyuan Yan, Yang Ye, Wangbo Yu, Yuwei Niu, Shaodong Wang, Xinhua Cheng, Li Yuan,
• Abstract要約: 本稿では,ポリシー最適化に基づく命令ベースの画像編集のための新しいポストトレーニングフレームワークであるEdit-R1を紹介する。 我々は,Multimodal Large Language Model (MLLM) を統一学習自由報酬モデルとして採用し,その出力ロジットを活用し,きめ細かいフィードバックを提供する。 私たちのフレームワークはモデルに依存しないため、多様なベースモデルに適用した場合、大幅なパフォーマンス向上が得られます。
• 参考スコア（独自算出の注目度）: 41.41713036839503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction-based image editing has achieved remarkable progress; however, models solely trained via supervised fine-tuning often overfit to annotated patterns, hindering their ability to explore and generalize beyond training distributions. To this end, we introduce Edit-R1, a novel post-training framework for instruction-based image editing based on policy optimization. Specifically, we utilize Diffusion Negative-aware Finetuning (DiffusionNFT), a likelihood-free policy optimization method consistent with the flow matching forward process, thereby enabling the use of higher-order samplers and more efficient training. Another key challenge here is the absence of a universal reward model, resulting from the diverse nature of editing instructions and tasks. To bridge this gap, we employ a Multimodal Large Language Model (MLLM) as a unified, training-free reward model, leveraging its output logits to provide fine-grained feedback. Furthermore, we carefully design a low-variance group filtering mechanism to reduce MLLM scoring noise and stabilize optimization. \texttt{UniWorld-V2}, trained with this framework, achieves \textbf{state-of-the-art} results on the ImgEdit and GEdit-Bench benchmarks, scoring 4.49 and 7.83, respectively. Crucially, our framework is model-agnostic, delivering substantial performance gains when applied to diverse base models like Qwen-Image-Edit and FLUX-Kontext, demonstrating its wide applicability. Code and models are publicly available to support further research.
• Abstract（参考訳）: インストラクションベースの画像編集は目覚ましい進歩を遂げているが、教師付き微調整によってのみ訓練されたモデルは、注釈付きパターンに過度に適合し、トレーニング分布を超えて探索および一般化する能力を妨げている。 そこで本研究では,ポリシー最適化に基づく命令ベースの画像編集のための新しいポストトレーニングフレームワークであるEdit-R1を紹介する。 具体的には,Diffusion Negative-Aware Finetuning (DiffusionNFT) を用いて,フローマッチング前処理と整合性のないポリシ最適化手法を提案する。 ここでのもうひとつの重要な課題は、普遍的な報酬モデルがないことだ。 このギャップを埋めるために、我々はMultimodal Large Language Model (MLLM) を統一された訓練なし報酬モデルとして採用し、その出力ロジットを活用してきめ細かいフィードバックを提供する。 さらに,MLLMスコアリングノイズを低減し,最適化の安定化を図るため,低分散グループフィルタリング機構を慎重に設計する。 このフレームワークでトレーニングされた \texttt{UniWorld-V2} は ImgEdit と GEdit-Bench のベンチマークで、それぞれ 4.49 と 7.83 と評価された。 重要な点として、当社のフレームワークはモデルに依存しないため、Qwen-Image-EditやFLUX-Kontextといった多様なベースモデルに適用することで、大幅なパフォーマンス向上を実現しています。 コードとモデルは、さらなる研究をサポートするために公開されている。

関連論文リスト

• Learning an Image Editing Model without Image Editing Pairs [83.03646586929638]
  最近の画像編集モデルは、自然言語編集の指示に従いながら印象的な成果を上げている。 それらは、インプットとターゲットのペアの大きなデータセットによる教師付き微調整に依存している。 現在の回避策は、既存のモデルのゼロショット機能を利用する合成トレーニングペアを使用する。 ペア化されたデータを完全に不要にする新たなトレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-10-16T17:59:57Z)
• EditScore: Unlocking Online RL for Image Editing via High-Fidelity Reward Modeling [71.8265422228785]
  強化学習(RL)は有望な解決策を提供するが、画像編集におけるその採用は、高忠実で効率的な報酬信号の欠如によって妨げられている。 我々は、最先端の特殊報酬モデルの開発を中心に、この障壁を克服するための包括的な方法論を提案する。
  論文  参考訳（メタデータ） (2025-09-28T14:28:24Z)
• Visual Autoregressive Modeling for Instruction-Guided Image Editing [97.04821896251681]
  画像編集を次世代の予測問題として再編成する視覚的自己回帰フレームワークを提案する。 VarEditは、正確な編集を実現するために、マルチスケールのターゲット機能を生成する。 1.2秒で512times512$編集を完了し、同じサイズのUltraEditよりも2.2$times$高速になった。
  論文  参考訳（メタデータ） (2025-08-21T17:59:32Z)
• Learning Only with Images: Visual Reinforcement Learning with Reasoning, Rendering, and Visual Feedback [33.127607245587576]
  本稿では,MLLMが生画像のみから複雑な視覚的推論を学習できるようにするフレームワークを提案する。 我々は、この相対的容易さが強化学習による最適化に理想的な報酬信号を提供することを示した。 RRVF訓練モデルは既存のMLLMを上回り、微調整ベースラインを監督するだけでなく、より優れた一般化を示す。
  論文  参考訳（メタデータ） (2025-07-28T12:21:19Z)
• Leveraging Importance Sampling to Detach Alignment Modules from Large Language Models [48.15777554876988]
  伝統的なアライメント手法では、しばしば大きな事前訓練されたモデルを再訓練する必要がある。 本稿では,アライメント処理を重要サンプリングの一種として形式化する新しいtextitResidual Alignment Model (textitRAM) を提案する。 本稿では,トークンレベルの復号化を反復的に行う再サンプリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-05-26T08:53:02Z)
• Aligning Large Language Models via Fine-grained Supervision [20.35000061196631]
  事前訓練された大規模言語モデル(LLM)は、一貫性のある記事を生成するのに優れていますが、そのアウトプットは非現実的、有毒、あるいはユーザの期待に沿わないかもしれません。 現在のアプローチは、モデルアライメントを改善するために、人間のフィードバックによる強化学習を使うことに重点を置いている。 トークンレベルの微粒化によるLCMアライメント向上手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T20:21:45Z)
• One-Step Image Translation with Text-to-Image Models [35.0987002313882]
  本稿では,新たな課題や領域に一段階拡散モデルを適用するための汎用的手法を提案する。 我々は,バニラ潜在拡散モデルの様々なモジュールを,小さなトレーニング可能な重みを持つ単一エンドツーエンドのジェネレータネットワークに統合する。 我々のモデルであるCycleGAN-Turboは、様々なシーン翻訳タスクにおいて、既存のGANベースおよび拡散ベースの手法より優れています。
  論文  参考訳（メタデータ） (2024-03-18T17:59:40Z)
• DPOK: Reinforcement Learning for Fine-tuning Text-to-Image Diffusion Models [97.31200133440308]
  我々は、オンライン強化学習を用いて、テキスト・ツー・イメージモデルを微調整する。 拡散モデルに焦点をあて、微調整タスクをRL問題として定義する。 我々のアプローチはDPOKと呼ばれ、政策最適化とKL正規化を統合している。
  論文  参考訳（メタデータ） (2023-05-25T17:35:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。