論文の概要: Skywork UniPic 2.0: Building Kontext Model with Online RL for Unified Multimodal Model

• arxiv url: http://arxiv.org/abs/2509.04548v1
• Date: Thu, 04 Sep 2025 17:00:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.373743
• Title: Skywork UniPic 2.0: Building Kontext Model with Online RL for Unified Multimodal Model
• Title（参考訳）: Skywork UniPic 2.0: 統一マルチモーダルモデルのためのオンラインRLによるコンテクストモデルの構築
• Authors: Hongyang Wei, Baixin Xu, Hongbo Liu, Cyrus Wu, Jie Liu, Yi Peng, Peiyu Wang, Zexiang Liu, Jingwen He, Yidan Xietian, Chuanxin Tang, Zidong Wang, Yichen Wei, Liang Hu, Boyi Jiang, William Li, Ying He, Yang Liu, Xuchen Song, Eric Li, Yahui Zhou,
• Abstract要約: We present UniPic2-SD3.5M-Kontext, which is that a state-of-the-art image generation and editing while seamlessly extended into an unified multimodal framework。 我々のアプローチは、SD3.5-Mediumのアーキテクチャ変更と、高品質なデータによる大規模事前トレーニングから始まります。 UniPic2-SD3.5M-Kontextは、生成パラメータが大幅に大きいモデルよりも強力な画像生成と編集能力を示している。
• 参考スコア（独自算出の注目度）: 28.559525134847828
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in multimodal models have demonstrated impressive capabilities in unified image generation and editing. However, many prominent open-source models prioritize scaling model parameters over optimizing training strategies, limiting their efficiency and performance. In this work, we present UniPic2-SD3.5M-Kontext, a 2B-parameter DiT model based on SD3.5-Medium, which achieves state-of-the-art image generation and editing while extending seamlessly into a unified multimodal framework. Our approach begins with architectural modifications to SD3.5-Medium and large-scale pre-training on high-quality data, enabling joint text-to-image generation and editing capabilities. To enhance instruction following and editing consistency, we propose a novel Progressive Dual-Task Reinforcement strategy (PDTR), which effectively strengthens both tasks in a staged manner. We empirically validate that the reinforcement phases for different tasks are mutually beneficial and do not induce negative interference. After pre-training and reinforcement strategies, UniPic2-SD3.5M-Kontext demonstrates stronger image generation and editing capabilities than models with significantly larger generation parameters-including BAGEL (7B) and Flux-Kontext (12B). Furthermore, following the MetaQuery, we connect the UniPic2-SD3.5M-Kontext and Qwen2.5-VL-7B via a connector and perform joint training to launch a unified multimodal model UniPic2-Metaquery. UniPic2-Metaquery integrates understanding, generation, and editing, achieving top-tier performance across diverse tasks with a simple and scalable training paradigm. This consistently validates the effectiveness and generalizability of our proposed training paradigm, which we formalize as Skywork UniPic 2.0.
• Abstract（参考訳）: マルチモーダルモデルの最近の進歩は、統合画像生成と編集における印象的な能力を示している。 しかしながら、多くの著名なオープンソースモデルは、トレーニング戦略の最適化よりもモデルのパラメータのスケーリングを優先し、効率とパフォーマンスを制限している。 本研究では,SD3.5-Mediumをベースとした2BパラメータDiTモデルであるUniPic2-SD3.5M-Kontextについて述べる。 我々のアプローチは、SD3.5-Mediumのアーキテクチャ変更と高品質なデータによる大規模事前学習から始まり、共同でテキスト・画像生成と編集機能を実現する。 そこで我々は,2つのタスクを段階的に効果的に強化するPDTR(Progressive Dual-Task Reinforcement Strategy)を提案する。 我々は,異なるタスクに対する強化フェーズが相互に有益であり,負の干渉を生じさせないことを実証的に検証した。 事前トレーニングと強化戦略の後、UniPic2-SD3.5M-Kontextは、BAGEL (7B) や Flux-Kontext (12B) を含む非常に大きな生成パラメータを持つモデルよりも、画像生成と編集の能力を示す。 さらに、MetaQueryに続いて、コネクタを介してUniPic2-SD3.5M-KontextとQwen2.5-VL-7Bを接続し、統合マルチモーダルモデルUniPic2-Metaqueryをローンチするための共同トレーニングを行う。 UniPic2-Metaqueryは、シンプルでスケーラブルなトレーニングパラダイムで、理解、生成、編集を統合し、さまざまなタスクで最高レベルのパフォーマンスを達成する。 これにより、Skywork UniPic 2.0として形式化されたトレーニングパラダイムの有効性と一般化性が一貫して検証される。

関連論文リスト

• MENTOR: Efficient Multimodal-Conditioned Tuning for Autoregressive Vision Generation Models [30.494968865008513]
  最近のテキスト・ツー・イメージモデルは、正確な視覚制御、マルチモーダル入力のバランス、複雑な画像生成のための広範な訓練を必要とする。 自己回帰型マルチモーダル画像生成のための効率的なマルチモーダルコンディショニングのための新しいフレームワークであるMENTORを提案する。 本手法は,拡散法に比べて画像再構成精度,タスク適応性,トレーニング効率の向上を実現している。
  論文  参考訳（メタデータ） (2025-07-13T10:52:59Z)
• MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
  MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。 MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-06-29T06:41:00Z)
• Policy Optimized Text-to-Image Pipeline Design [72.87655664038617]
  本稿では,テキスト・ツー・イメージ生成のための新しい強化学習フレームワークを提案する。 提案手法は、まず、画像品質のスコアをインタプリタ-ワークフローの組み合わせから直接予測できる報奨モデルのアンサンブルを訓練する。 次に、最初の語彙学習とGRPOに基づく最適化という2段階のトレーニング戦略を実装した。
  論文  参考訳（メタデータ） (2025-05-27T17:50:47Z)
• BLIP3-o: A Family of Fully Open Unified Multimodal Models-Architecture, Training and Dataset [140.1967962502411]
  本稿では,拡散変換器を用いて意味的にリッチなCLIP画像特徴を生成する手法を提案する。 画像理解のための統合モデルファーストトレーニングと画像生成のための逐次事前学習戦略は、実用的な利点をもたらす。 革新的なモデル設計、トレーニングレシピ、データセットに基づいて、最先端の統一マルチモーダルモデルのスイートであるBLIP3-oを開発します。
  論文  参考訳（メタデータ） (2025-05-14T17:11:07Z)
• UniVG: A Generalist Diffusion Model for Unified Image Generation and Editing [59.590505989071175]
  テキスト・ツー・イメージ(T2I)拡散モデルでは、ユーザのプロンプトに従って視覚的に魅力的な画像を生成するという印象的な結果が示されている。 我々は,一組の重みで多様な画像生成タスクをサポートする汎用拡散モデルUniVGを紹介する。
  論文  参考訳（メタデータ） (2025-03-16T21:11:25Z)
• DreamOmni: Unified Image Generation and Editing [51.45871494724542]
  本稿では,画像生成と編集の統一モデルであるDream Omniを紹介する。 訓練のためにドリーム・オムニはT2I世代と下流のタスクを共同で訓練する。 このコラボレーションは、編集性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-12-22T17:17:28Z)
• GraPE: A Generate-Plan-Edit Framework for Compositional T2I Synthesis [10.47359822447001]
  本稿では,複雑な多段階生成のタスクを3段階に分解する,T2I合成の代替パラダイムを提案する。 提案手法は,モジュール性が高く,トレーニングが自由であり,画像生成モデルと編集モデルの組み合わせに対して適用可能であるという事実から,その強みを導出する。
  論文  参考訳（メタデータ） (2024-12-08T22:29:56Z)
• MCAD: Multi-teacher Cross-modal Alignment Distillation for efficient image-text retrieval [7.233106731197739]
  本稿では,MCAD(Multi-Teacher Cross-modality Alignment Distillation)手法を提案する。 Snapdragon/Dimensityチップ上での軽量CLIPモデルを実装し,動作メモリが$sim$100M,検索遅延が$sim$8.0msである。
  論文  参考訳（メタデータ） (2023-10-30T15:38:43Z)
• mPLUG-2: A Modularized Multi-modal Foundation Model Across Text, Image and Video [89.19867891570945]
  mPLUG-2は、マルチモーダル事前訓練のためのモジュール化された設計を備えた新しい統一パラダイムである。 モダリティ協力のための共通普遍加群を共有し、モダリティの絡み合いを扱うために異なるモダリティ加群を切り離す。 テキスト、画像、ビデオを含むすべてのモダリティの異なる理解タスクと生成タスクのために、異なるモジュールを選択することは柔軟です。
  論文  参考訳（メタデータ） (2023-02-01T12:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。