論文の概要: Instruction-based Image Editing: A Survey on Data, Models, Evaluation, and Applications

• arxiv url: http://arxiv.org/abs/2607.25642v1
• Date: Tue, 28 Jul 2026 12:27:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.83429
• Title: Instruction-based Image Editing: A Survey on Data, Models, Evaluation, and Applications
• Title（参考訳）: インストラクションに基づく画像編集:データ,モデル,評価,応用に関する調査
• Abstract要約: 本調査は,IIE研究の系統的分類と包括的レビューである。 我々の分析は、モデル世代間で重要な技術的マイルストーンを示している。 我々は,IIEタスク(CDD-IIE Bench)の包括的,奥行き的,診断的ベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 14.144416693766752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction-based Image Editing (IIE) aims to transform a given image into a new one based on textual instructions. Advances in Large Language Models (LLMs) and Vision-Language Models (VLMs) have accelerated progress toward practical ``one-sentence image editing" systems. This survey presents a systematic taxonomy and comprehensive review of IIE research, structured around five core dimensions: (1) task definition and hierarchical categorization of editing operations, (2) methodologies for training data construction, (3) architectural evolution from GAN-based to diffusion and autoregressive paradigms, (4) standardized evaluation metrics and benchmark development, and (5) introduction of commercial solutions. Our analysis shows critical technological milestones across model generations. We further propose a Comprehensive, in-Depth, and Diagnostic benchmark for IIE task (CDD-IIE Bench), which can rigorously assess the multiple aspects of model performance. Through empirical comparisons of open-source solutions, we highlight their respective capabilities and limitations. Finally, we discuss future research directions to advance the field.
• Abstract（参考訳）: Instruction-based Image Editing (IIE) は、与えられた画像をテキスト命令に基づいて新しい画像に変換することを目的としている。 LLM(Large Language Models)とVLM(Vision-Language Models)の進歩は,実践的な「一文画像編集」システムへの進歩を加速させている。 本調査は,(1)編集作業のタスク定義と階層的分類,(2)データ構築の訓練手法,(3)GANベースから拡散・自己回帰的パラダイムへのアーキテクチャ的進化,(4)標準化された評価指標とベンチマーク開発,(5)商用ソリューションの導入,の5つの中核的な側面を中心に構成されたIIE研究の体系的分類と包括的レビューを提示する。 我々の分析は、モデル世代間で重要な技術的マイルストーンを示している。 さらに、モデル性能の複数の側面を厳密に評価できるIIEタスク(CDD-IIE Bench)の包括的、奥行き的、診断的ベンチマークを提案する。 オープンソースソリューションの実証的な比較を通じて、それぞれの機能と限界を強調します。 最後に,今後の研究の方向性について論じる。

関連論文リスト

• Feed-Forward 3D Scene Modeling: A Problem-Driven Perspective [91.23306722968509]
  汎用的なフィードフォワード3D再構築は近年急速に進展している。 既存のフィードフォワードアプローチも同様に高いレベルのアーキテクチャパターンを共有している。 本稿では,出力形式に依存しないモデル設計戦略を中心とした新しい分類法を提案する。
  論文  参考訳（メタデータ） (2026-04-15T16:07:18Z)
• How Well Do Models Follow Visual Instructions? VIBE: A Systematic Benchmark for Visual Instruction-Driven Image Editing [56.60465182650588]
  我々は,3段階の相互作用階層を導入し,決定的接地,形態的操作,因果推論を捉える。 本稿では,スケーラブルできめ細かい評価を実現するために,タスク固有のメトリクスを備えた堅牢なLMM-as-a-judge評価フレームワークを提案する。 プロプライエタリなモデルは早期の視覚指示追従能力を示し、一貫してオープンソースモデルを上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-02-02T09:24:45Z)
• Factuality Matters: When Image Generation and Editing Meet Structured Visuals [46.627460447235855]
  我々は、13万の高品質な構造化画像対からなる大規模データセットを構築した。 FLUX.1 KontextとVLMを統合する統一モデルを訓練する。 3段階のトレーニングカリキュラムは、プログレッシブな特徴アライメント、知識の注入、推論による生成を可能にする。
  論文  参考訳（メタデータ） (2025-10-06T17:56:55Z)
• What Changed? Detecting and Evaluating Instruction-Guided Image Edits with Multimodal Large Language Models [88.398085358514]
  DICEは、原画像と編集画像の局所的な差異を検出するために設計されたモデルである。 自己監督、塗布ネットワークからの蒸留、全監督を利用する戦略を用いて訓練されている。 DICEは一貫性のある編集を効果的に識別し、異なる編集モデルによって生成された画像を人間の判断と強く相関して効果的に評価する。
  論文  参考訳（メタデータ） (2025-05-26T18:00:10Z)
• Vision-Language Modeling Meets Remote Sensing: Models, Datasets and Perspectives [36.297745473653166]
  視覚言語モデリング(VLM)は、画像と自然言語の間の情報ギャップを埋めることを目的としている。 大規模な画像テキストペアを事前学習し、タスク固有のデータを微調整するという新しいパラダイムの下で、リモートセンシング領域のVLMは大きな進歩を遂げた。
  論文  参考訳（メタデータ） (2025-05-20T13:47:40Z)
• A Survey of Model Architectures in Information Retrieval [59.61734783818073]
  2019年から現在までの期間は、情報検索(IR)と自然言語処理(NLP)における最大のパラダイムシフトの1つとなっている。 従来の用語ベースの手法から現代のニューラルアプローチまで,特にトランスフォーマーベースのモデルとそれに続く大規模言語モデル(LLM)の影響が注目されている。 今後の課題と今後の方向性について、先見的な議論で締めくくります。
  論文  参考訳（メタデータ） (2025-02-20T18:42:58Z)
• I2EBench: A Comprehensive Benchmark for Instruction-based Image Editing [67.05794909694649]
  I2EBenchはIIEモデルによって生成された編集画像の品質を評価するための総合的なベンチマークである。 I2EBenchは2000以上の編集用イメージと4,000以上の対応するオリジナルおよび多様な命令で構成されている。 我々はI2EBenchをオープンソースとして公開し、すべての命令、入力画像、人間のアノテーション、すべての評価方法からの編集画像、新しいIIEモデルからの結果を評価するためのシンプルなスクリプトを公開します。
  論文  参考訳（メタデータ） (2024-08-26T11:08:44Z)
• Advances in Diffusion Models for Image Data Augmentation: A Review of Methods, Models, Evaluation Metrics and Future Research Directions [6.2719115566879236]
  拡散モデル(DM)は画像データ拡張のための強力なツールとして登場した。 DMは、基礎となるデータ分布を学習することで、現実的で多様な画像を生成する。 この分野における現在の課題と今後の研究方向性について論じる。
  論文  参考訳（メタデータ） (2024-07-04T18:06:48Z)
• Visual Instruction Tuning towards General-Purpose Multimodal Model: A Survey [59.95153883166705]
  従来のコンピュータビジョンは、モデルアーキテクチャで暗黙的に設計されたタスク命令を持つ専用モデルによって、個々のタスクを独立して解決する。 近年,視覚インストラクション・チューニング (VIT) の研究が盛んに行われている。 本研究の目的は,(1)コンピュータビジョンタスクのパラダイムとVIT開発を提示する背景,(2)一般的に使用されるネットワークアーキテクチャ,視覚的命令チューニングフレームワークと目的を導入したVITの基礎,および,設定とタスクの評価,(3)視覚的命令チューニングと評価において一般的に使用されるデータセットの体系的レビューを提供することである。
  論文  参考訳（メタデータ） (2023-12-27T14:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。