論文の概要: Step1X-Edit: A Practical Framework for General Image Editing

• arxiv url: http://arxiv.org/abs/2504.17761v2
• Date: Mon, 28 Apr 2025 09:56:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.484115
• Title: Step1X-Edit: A Practical Framework for General Image Editing
• Title（参考訳）: Step1X-Edit: 一般的な画像編集のための実践的なフレームワーク
• Authors: Shiyu Liu, Yucheng Han, Peng Xing, Fukun Yin, Rui Wang, Wei Cheng, Jiaqi Liao, Yingming Wang, Honghao Fu, Chunrui Han, Guopeng Li, Yuang Peng, Quan Sun, Jingwei Wu, Yan Cai, Zheng Ge, Ranchen Ming, Lei Xia, Xianfang Zeng, Yibo Zhu, Binxing Jiao, Xiangyu Zhang, Gang Yu, Daxin Jiang,
• Abstract要約: 我々は、Step1X-Editと呼ばれる最先端の画像編集モデルをリリースする。 GPT-4oやGemini2 Flashのようなクローズドソースモデルと同等のパフォーマンスを提供できる。 評価のために,実世界のユーザ指示に根ざした新しいベンチマークであるGEdit-Benchを開発した。
• 参考スコア（独自算出の注目度）: 64.07202539610576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, image editing models have witnessed remarkable and rapid development. The recent unveiling of cutting-edge multimodal models such as GPT-4o and Gemini2 Flash has introduced highly promising image editing capabilities. These models demonstrate an impressive aptitude for fulfilling a vast majority of user-driven editing requirements, marking a significant advancement in the field of image manipulation. However, there is still a large gap between the open-source algorithm with these closed-source models. Thus, in this paper, we aim to release a state-of-the-art image editing model, called Step1X-Edit, which can provide comparable performance against the closed-source models like GPT-4o and Gemini2 Flash. More specifically, we adopt the Multimodal LLM to process the reference image and the user's editing instruction. A latent embedding has been extracted and integrated with a diffusion image decoder to obtain the target image. To train the model, we build a data generation pipeline to produce a high-quality dataset. For evaluation, we develop the GEdit-Bench, a novel benchmark rooted in real-world user instructions. Experimental results on GEdit-Bench demonstrate that Step1X-Edit outperforms existing open-source baselines by a substantial margin and approaches the performance of leading proprietary models, thereby making significant contributions to the field of image editing.
• Abstract（参考訳）: 近年では画像編集モデルが目覚ましい発展を遂げている。 GPT-4oやGemini2 Flashのような最先端のマルチモーダルモデルの最近の発表は、非常に有望な画像編集機能を導入した。 これらのモデルは、多くのユーザー主導の編集要件を満たすための印象的な適性を示しており、画像操作の分野での大きな進歩を示している。 しかし、これらのクローズドソースモデルとオープンソースアルゴリズムの間にはまだ大きなギャップがある。 そこで本稿では,GPT-4o や Gemini2 Flash といったクローズドソースモデルに対して同等のパフォーマンスを実現する,Step1X-Edit という最先端の画像編集モデルをリリースする。 具体的には、参照画像とユーザの編集命令を処理するために、Multimodal LLMを採用する。 遅延埋め込みを抽出して拡散画像デコーダに統合し、対象画像を得る。 モデルをトレーニングするために、高品質なデータセットを生成するために、データ生成パイプラインを構築します。 評価のために,実世界のユーザ指示に根ざした新しいベンチマークであるGEdit-Benchを開発した。 GEdit-Benchの実験結果は、Step1X-Editが既存のオープンソースベースラインをかなり上回り、主要なプロプライエタリモデルの性能に近づき、画像編集の分野に多大な貢献をすることを示した。

関連論文リスト

• DreamOmni: Unified Image Generation and Editing [51.45871494724542]
  本稿では,画像生成と編集の統一モデルであるDream Omniを紹介する。 訓練のためにドリーム・オムニはT2I世代と下流のタスクを共同で訓練する。 このコラボレーションは、編集性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-12-22T17:17:28Z)
• BrushEdit: All-In-One Image Inpainting and Editing [79.55816192146762]
  BrushEditは、インペイントベースの命令誘導画像編集パラダイムである。 本研究では,MLLMとデュアルブランチ画像の描画モデルを統合することで,自由形式の命令編集を可能にするシステムを提案する。 本フレームワークは,MLLMとインパインティングモデルを効果的に組み合わせ,7つの指標で優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-12-13T17:58:06Z)
• Pathways on the Image Manifold: Image Editing via Video Generation [11.891831122571995]
  我々は、事前訓練されたビデオモデルを用いて、画像編集を時間的プロセスとして再構成し、元の画像から所望の編集へのスムーズな遷移を生成する。 提案手法は,テキストベースの画像編集における最先端の成果を達成し,編集精度と画像保存の両面で有意な改善を示した。
  論文  参考訳（メタデータ） (2024-11-25T16:41:45Z)
• Taming Rectified Flow for Inversion and Editing [57.3742655030493]
  FLUXやOpenSoraのような定流拡散変換器は、画像生成やビデオ生成の分野で優れた性能を発揮している。 その堅牢な生成能力にもかかわらず、これらのモデルは不正確さに悩まされることが多い。 本研究では,修正流の逆流過程における誤差を軽減し,インバージョン精度を効果的に向上する訓練自由サンプリング器RF-rを提案する。
  論文  参考訳（メタデータ） (2024-11-07T14:29:02Z)
• Image Inpainting Models are Effective Tools for Instruction-guided Image Editing [42.63350374074953]
  CVPR2024 GenAI Media Generation Challenge Workshop's Instruction-guided Image Editing Trackの優勝作品である。 4段階のプロセスIIIE (Inpainting-based Instruction-Guided Image Editing): カテゴリ分類、主編集対象識別、編集マスク取得、画像インパインティング。 その結果,言語モデルと画像インパインティングモデルの適切な組み合わせによって,パイプラインは視覚的品質を満足して高い成功率を達成することができた。
  論文  参考訳（メタデータ） (2024-07-18T03:55:33Z)
• UltraEdit: Instruction-based Fine-Grained Image Editing at Scale [43.222251591410455]
  本稿では,大規模(約400万の編集サンプル)な画像編集のためのデータセットを自動生成するUltraEditを提案する。 私たちのキーとなるアイデアは、InstructPix2PixやMagicBrushといった既存の画像編集データセットの欠点に対処し、大規模で高品質な画像編集サンプルを作成するための体系的なアプローチを提供することです。
  論文  参考訳（メタデータ） (2024-07-07T06:50:22Z)
• A Survey of Multimodal-Guided Image Editing with Text-to-Image Diffusion Models [117.77807994397784]
  画像編集は、ユーザーが特定の要求を満たすために、与えられた合成画像または実際の画像を編集することを目的としている。 この分野での最近の顕著な進歩は、テキスト・ツー・イメージ(T2I)拡散モデルの開発に基づいている。 T2Iベースの画像編集手法は、編集性能を大幅に向上させ、マルチモーダル入力でガイドされたコンテンツを修正するためのユーザフレンドリーなインタフェースを提供する。
  論文  参考訳（メタデータ） (2024-06-20T17:58:52Z)
• SpaceEdit: Learning a Unified Editing Space for Open-Domain Image Editing [94.31103255204933]
  オープンドメイン画像の色やトーン調整に着目したオープンドメイン画像編集のための統一モデルを提案する。 我々のモデルは、よりセマンティックで直感的で操作が容易な統合編集空間を学習する。 画像ペアを学習した編集空間の潜在コードに変換することで、下流編集タスクに我々のモデルを活用できることが示される。
  論文  参考訳（メタデータ） (2021-11-30T23:53:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。