論文の概要: Step1X-Edit: A Practical Framework for General Image Editing

• arxiv url: http://arxiv.org/abs/2504.17761v4
• Date: Mon, 23 Jun 2025 12:11:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 14:54:00.28862
• Title: Step1X-Edit: A Practical Framework for General Image Editing
• Title（参考訳）: Step1X-Edit: 一般的な画像編集のための実践的なフレームワーク
• Abstract要約: 我々は、Step1X-Editと呼ばれる最先端の画像編集モデルをリリースする。 GPT-4oやGemini2 Flashのようなクローズドソースモデルと同等のパフォーマンスを提供できる。 評価のために,実世界のユーザ指示に根ざした新しいベンチマークであるGEdit-Benchを開発した。
• 参考スコア（独自算出の注目度）: 64.07202539610576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, image editing models have witnessed remarkable and rapid development. The recent unveiling of cutting-edge multimodal models such as GPT-4o and Gemini2 Flash has introduced highly promising image editing capabilities. These models demonstrate an impressive aptitude for fulfilling a vast majority of user-driven editing requirements, marking a significant advancement in the field of image manipulation. However, there is still a large gap between the open-source algorithm with these closed-source models. Thus, in this paper, we aim to release a state-of-the-art image editing model, called Step1X-Edit, which can provide comparable performance against the closed-source models like GPT-4o and Gemini2 Flash. More specifically, we adopt the Multimodal LLM to process the reference image and the user's editing instruction. A latent embedding has been extracted and integrated with a diffusion image decoder to obtain the target image. To train the model, we build a data generation pipeline to produce a high-quality dataset. For evaluation, we develop the GEdit-Bench, a novel benchmark rooted in real-world user instructions. Experimental results on GEdit-Bench demonstrate that Step1X-Edit outperforms existing open-source baselines by a substantial margin and approaches the performance of leading proprietary models, thereby making significant contributions to the field of image editing.
• Abstract（参考訳）: 近年では画像編集モデルが目覚ましい発展を遂げている。 GPT-4oやGemini2 Flashのような最先端のマルチモーダルモデルの最近の発表は、非常に有望な画像編集機能を導入した。 これらのモデルは、多くのユーザー主導の編集要件を満たすための印象的な適性を示しており、画像操作の分野での大きな進歩を示している。 しかし、これらのクローズドソースモデルとオープンソースアルゴリズムの間にはまだ大きなギャップがある。 そこで本稿では,GPT-4o や Gemini2 Flash といったクローズドソースモデルに対して同等のパフォーマンスを実現する,Step1X-Edit という最先端の画像編集モデルをリリースする。 具体的には、参照画像とユーザの編集命令を処理するために、Multimodal LLMを採用する。 遅延埋め込みを抽出して拡散画像デコーダに統合し、対象画像を得る。 モデルをトレーニングするために、高品質なデータセットを生成するために、データ生成パイプラインを構築します。 評価のために,実世界のユーザ指示に根ざした新しいベンチマークであるGEdit-Benchを開発した。 GEdit-Benchの実験結果は、Step1X-Editが既存のオープンソースベースラインをかなり上回り、主要なプロプライエタリモデルの性能に近づき、画像編集の分野に多大な貢献をすることを示した。

関連論文リスト

• ScaleEdit-12M: Scaling Open-Source Image Editing Data Generation via Multi-Agent Framework [58.443783258153786]
  大規模で高品質な画像編集データセットをエンドツーエンドに構築するための階層的マルチエージェントフレームワークであるScaleEditorを提案する。 パイプラインは3つの重要なコンポーネントから構成される:ワールド知識注入によるソース画像拡張、適応型マルチエージェント編集命令画像合成、タスク認識データ品質検証機構である。 ScaleEditorを使って、これまでで最大のオープンソースの画像編集データセットであるScaleEdit-12Mをキュレートします。
  論文  参考訳（メタデータ） (2026-03-21T04:39:19Z)
• VIBE: Visual Instruction Based Editor [60.21587335143115]
  本稿では,高速な命令に基づく画像編集パイプラインを提案する。 パイプラインはImgEditとGEditベンチマークで評価される。 BF16ではNVIDIA H100で最大2K解像度で編集画像を生成するが、追加の推論最適化や蒸留は行わない。
  論文  参考訳（メタデータ） (2026-01-05T16:17:20Z)
• Visual Autoregressive Modeling for Instruction-Guided Image Editing [97.04821896251681]
  画像編集を次世代の予測問題として再編成する視覚的自己回帰フレームワークを提案する。 VarEditは、正確な編集を実現するために、マルチスケールのターゲット機能を生成する。 1.2秒で512times512$編集を完了し、同じサイズのUltraEditよりも2.2$times$高速になった。
  論文  参考訳（メタデータ） (2025-08-21T17:59:32Z)
• X2Edit: Revisiting Arbitrary-Instruction Image Editing through Self-Constructed Data and Task-Aware Representation Learning [14.005947068255546]
  X2Editデータセットは、14の多様な編集タスクをカバーする包括的なデータセットである。 バランスの取れたカテゴリで370万の高品質なデータを構築します。 実験により、多くの優れたモデルの間で、モデルの編集性能が競争力があることが示されている。
  論文  参考訳（メタデータ） (2025-08-11T04:22:49Z)
• Inverse-and-Edit: Effective and Fast Image Editing by Cycle Consistency Models [1.9389881806157316]
  本研究では,一貫性モデルを用いた画像のインバージョンを改善する新しいフレームワークを提案する。 本手法では,再設計精度を大幅に向上するサイクル一貫性最適化手法を提案する。 さまざまな画像編集タスクやデータセットに対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-06-23T20:34:43Z)
• ImgEdit: A Unified Image Editing Dataset and Benchmark [14.185771939071149]
  大規模な画像編集データセットであるImgEditを紹介した。 ImgEditはタスクノベルティとデータ品質の両方で既存のデータセットを上回っている。 画像編集性能を評価するためのベンチマークであるImgEdit-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-05-26T17:53:33Z)
• DreamOmni: Unified Image Generation and Editing [51.45871494724542]
  本稿では,画像生成と編集の統一モデルであるDream Omniを紹介する。 訓練のためにドリーム・オムニはT2I世代と下流のタスクを共同で訓練する。 このコラボレーションは、編集性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-12-22T17:17:28Z)
• BrushEdit: All-In-One Image Inpainting and Editing [79.55816192146762]
  BrushEditは、インペイントベースの命令誘導画像編集パラダイムである。 本研究では,MLLMとデュアルブランチ画像の描画モデルを統合することで,自由形式の命令編集を可能にするシステムを提案する。 本フレームワークは,MLLMとインパインティングモデルを効果的に組み合わせ,7つの指標で優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-12-13T17:58:06Z)
• Pathways on the Image Manifold: Image Editing via Video Generation [11.891831122571995]
  我々は、事前訓練されたビデオモデルを用いて、画像編集を時間的プロセスとして再構成し、元の画像から所望の編集へのスムーズな遷移を生成する。 提案手法は,テキストベースの画像編集における最先端の成果を達成し,編集精度と画像保存の両面で有意な改善を示した。
  論文  参考訳（メタデータ） (2024-11-25T16:41:45Z)
• Taming Rectified Flow for Inversion and Editing [57.3742655030493]
  FLUXやOpenSoraのような定流拡散変換器は、画像生成やビデオ生成の分野で優れた性能を発揮している。 その堅牢な生成能力にもかかわらず、これらのモデルは不正確さに悩まされることが多い。 本研究では,修正流の逆流過程における誤差を軽減し,インバージョン精度を効果的に向上する訓練自由サンプリング器RF-rを提案する。
  論文  参考訳（メタデータ） (2024-11-07T14:29:02Z)
• Image Inpainting Models are Effective Tools for Instruction-guided Image Editing [42.63350374074953]
  CVPR2024 GenAI Media Generation Challenge Workshop's Instruction-guided Image Editing Trackの優勝作品である。 4段階のプロセスIIIE (Inpainting-based Instruction-Guided Image Editing): カテゴリ分類、主編集対象識別、編集マスク取得、画像インパインティング。 その結果,言語モデルと画像インパインティングモデルの適切な組み合わせによって,パイプラインは視覚的品質を満足して高い成功率を達成することができた。
  論文  参考訳（メタデータ） (2024-07-18T03:55:33Z)
• UltraEdit: Instruction-based Fine-Grained Image Editing at Scale [43.222251591410455]
  本稿では,大規模(約400万の編集サンプル)な画像編集のためのデータセットを自動生成するUltraEditを提案する。 私たちのキーとなるアイデアは、InstructPix2PixやMagicBrushといった既存の画像編集データセットの欠点に対処し、大規模で高品質な画像編集サンプルを作成するための体系的なアプローチを提供することです。
  論文  参考訳（メタデータ） (2024-07-07T06:50:22Z)
• A Survey of Multimodal-Guided Image Editing with Text-to-Image Diffusion Models [117.77807994397784]
  画像編集は、ユーザーが特定の要求を満たすために、与えられた合成画像または実際の画像を編集することを目的としている。 この分野での最近の顕著な進歩は、テキスト・ツー・イメージ(T2I)拡散モデルの開発に基づいている。 T2Iベースの画像編集手法は、編集性能を大幅に向上させ、マルチモーダル入力でガイドされたコンテンツを修正するためのユーザフレンドリーなインタフェースを提供する。
  論文  参考訳（メタデータ） (2024-06-20T17:58:52Z)
• SpaceEdit: Learning a Unified Editing Space for Open-Domain Image Editing [94.31103255204933]
  オープンドメイン画像の色やトーン調整に着目したオープンドメイン画像編集のための統一モデルを提案する。 我々のモデルは、よりセマンティックで直感的で操作が容易な統合編集空間を学習する。 画像ペアを学習した編集空間の潜在コードに変換することで、下流編集タスクに我々のモデルを活用できることが示される。
  論文  参考訳（メタデータ） (2021-11-30T23:53:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。