論文の概要: MagicBrush: A Manually Annotated Dataset for Instruction-Guided Image
Editing
- arxiv url: http://arxiv.org/abs/2306.10012v2
- Date: Wed, 29 Nov 2023 21:59:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 20:22:30.955957
- Title: MagicBrush: A Manually Annotated Dataset for Instruction-Guided Image
Editing
- Title(参考訳): MagicBrush:手書きの注釈付き画像編集用データセット
- Authors: Kai Zhang, Lingbo Mo, Wenhu Chen, Huan Sun, Yu Su
- Abstract要約: MagicBrushは、命令誘導の実画像編集のための、手動で手動の大規模データセットである。
人による評価により,新しいモデルによりより優れた画像が生成できることが示される。
- 参考スコア(独自算出の注目度): 51.716531083146315
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-guided image editing is widely needed in daily life, ranging from
personal use to professional applications such as Photoshop. However, existing
methods are either zero-shot or trained on an automatically synthesized
dataset, which contains a high volume of noise. Thus, they still require lots
of manual tuning to produce desirable outcomes in practice. To address this
issue, we introduce MagicBrush (https://osu-nlp-group.github.io/MagicBrush/),
the first large-scale, manually annotated dataset for instruction-guided real
image editing that covers diverse scenarios: single-turn, multi-turn,
mask-provided, and mask-free editing. MagicBrush comprises over 10K manually
annotated triplets (source image, instruction, target image), which supports
trainining large-scale text-guided image editing models. We fine-tune
InstructPix2Pix on MagicBrush and show that the new model can produce much
better images according to human evaluation. We further conduct extensive
experiments to evaluate current image editing baselines from multiple
dimensions including quantitative, qualitative, and human evaluations. The
results reveal the challenging nature of our dataset and the gap between
current baselines and real-world editing needs.
- Abstract(参考訳): テキスト誘導画像編集は、個人使用からPhotoshopなどのプロフェッショナルアプリケーションまで、日常生活で広く必要とされる。
しかし、既存の手法はゼロショットか、あるいは大量のノイズを含む自動合成データセットで訓練されている。
したがって、実際に望ましい結果を出すためには、まだ多くの手動チューニングが必要です。
この問題に対処するために、私たちはmagicbrush(https://osu-nlp-group.github.io/magicbrush/)を紹介します。これは、シングルターン、マルチターン、マスク提供、マスクフリーの編集といったさまざまなシナリオをカバーする、命令誘導の実画像編集のための、最初の大規模で手作業によるデータセットです。
MagicBrushは、手動で注釈付けされたトリプル(ソースイメージ、命令、ターゲットイメージ)で構成されており、大規模なテキスト誘導画像編集モデルのトレーニングをサポートする。
MagicBrushでInstructPix2Pixを微調整し、新しいモデルが人間の評価に応じてはるかに優れた画像を生成することを示す。
さらに、定量的、質的、人間的評価を含む多次元から現在の画像編集ベースラインを評価するための広範な実験を行う。
その結果、データセットの難易度と現在のベースラインと現実世界の編集ニーズのギャップが明らかになった。
関連論文リスト
- Forgedit: Text Guided Image Editing via Learning and Forgetting [19.407190860935888]
本稿では,新しいテキストガイド画像編集手法 Forgedit を提案する。
まず,視覚言語による共同学習により,与えられた画像を1分以内で再構築することを学ぶ,新しい微調整フレームワークを提案する。
また、拡散モデルにおけるUNet構造の一般的な性質を見つけ、そのような発見に触発されて、致命的な過適合問題を減少させるために、忘れる戦略を設計する。
論文 参考訳(メタデータ) (2023-09-19T12:05:26Z) - Editing 3D Scenes via Text Prompts without Retraining [80.57814031701744]
DN2Nはテキスト駆動編集方式であり、普遍的な編集機能を備えたNeRFモデルの直接取得を可能にする。
本手法では,2次元画像のテキストベース編集モデルを用いて3次元シーン画像の編集を行う。
本手法は,外観編集,天気変化,材質変化,スタイル伝達など,複数種類の編集を行う。
論文 参考訳(メタデータ) (2023-09-10T02:31:50Z) - iEdit: Localised Text-guided Image Editing with Weak Supervision [53.082196061014734]
テキスト誘導画像編集のための新しい学習法を提案する。
ソースイメージに条件付けされた画像とテキスト編集プロンプトを生成する。
画像の忠実度、CLIPアライメントスコア、および生成された画像と実際の画像の両方を定性的に編集する点において、画像に対して好ましい結果を示す。
論文 参考訳(メタデータ) (2023-05-10T07:39:14Z) - Pix2Video: Video Editing using Image Diffusion [43.07444438561277]
テキスト誘導映像編集における事前学習画像モデルの使用方法について検討する。
まず、事前訓練された構造誘導画像拡散モデルを用いて、アンカーフレーム上でテキスト誘導編集を行う。
我々は、計算集約的な事前処理やビデオ固有の微調整なしに、リアルなテキスト誘導ビデオ編集が可能であることを実証した。
論文 参考訳(メタデータ) (2023-03-22T16:36:10Z) - InstructPix2Pix: Learning to Follow Image Editing Instructions [103.77092910685764]
人間の指示から画像を編集する手法を提案する。
入力画像とモデルに何をすべきかを指示する命令が与えられたら、我々のモデルはこれらの命令に従って画像を編集します。
入力画像と書き起こしの多様なコレクションに対して、魅力的な編集結果を示す。
論文 参考訳(メタデータ) (2022-11-17T18:58:43Z) - UniTune: Text-Driven Image Editing by Fine Tuning a Diffusion Model on a
Single Image [2.999198565272416]
我々は,画像生成モデルを単一画像上で微調整することで,画像編集モデルに変換できることを観察する。
我々は、任意の画像とテキストによる編集記述を入力として取得し、入力画像への忠実度を維持しながら編集を行う、新しい画像編集方法UniTuneを提案する。
従来不可能であった視覚的変化を必要とするものを含む,驚くほど広い範囲の表現的編集操作を行うことが可能であることを実証した。
論文 参考訳(メタデータ) (2022-10-17T23:46:05Z) - Learning by Planning: Language-Guided Global Image Editing [53.72807421111136]
あいまいな編集言語要求を一連の編集操作にマッピングするテキスト・ツー・オペレーティング・モデルを開発した。
タスクの唯一の監督はターゲットイメージであり、シーケンシャルな決定の安定したトレーニングには不十分である。
本研究では,対象画像から可能な編集シーケンスを疑似基底真理として生成する,新たな操作計画アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-06-24T16:30:03Z) - Text as Neural Operator: Image Manipulation by Text Instruction [68.53181621741632]
本稿では、複雑なテキスト命令を用いて複数のオブジェクトで画像を編集し、オブジェクトの追加、削除、変更を可能にする設定について検討する。
タスクの入力は、(1)参照画像を含むマルチモーダルであり、(2)所望の修正を記述した自然言語の命令である。
提案モデルは,最近の3つの公開データセットの強いベースラインに対して良好に動作することを示す。
論文 参考訳(メタデータ) (2020-08-11T07:07:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。