論文の概要: ReasonPix2Pix: Instruction Reasoning Dataset for Advanced Image Editing

• arxiv url: http://arxiv.org/abs/2405.11190v2
• Date: Fri, 31 May 2024 07:24:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 19:13:28.803316
• Title: ReasonPix2Pix: Instruction Reasoning Dataset for Advanced Image Editing
• Title（参考訳）: ReasonPix2Pix: 高度な画像編集のためのインストラクション推論データセット
• Authors: Ying Jin, Pengyang Ling, Xiaoyi Dong, Pan Zhang, Jiaqi Wang, Dahua Lin,
• Abstract要約: 本稿ではReasonPix2Pixを紹介した。 データセットの特徴は,1)推論命令,2)細かなカテゴリのよりリアルな画像,3)入力画像と編集画像のばらつきの増大である。 教師付き条件下でのデータセットの微調整では、タスクが推論を必要とするか否かに関わらず、命令編集タスクにおいて優れたパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 77.12834553200632
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instruction-based image editing focuses on equipping a generative model with the capacity to adhere to human-written instructions for editing images. Current approaches typically comprehend explicit and specific instructions. However, they often exhibit a deficiency in executing active reasoning capacities required to comprehend instructions that are implicit or insufficiently defined. To enhance active reasoning capabilities and impart intelligence to the editing model, we introduce ReasonPix2Pix, a comprehensive reasoning-attentive instruction editing dataset. The dataset is characterized by 1) reasoning instruction, 2) more realistic images from fine-grained categories, and 3) increased variances between input and edited images. When fine-tuned with our dataset under supervised conditions, the model demonstrates superior performance in instructional editing tasks, independent of whether the tasks require reasoning or not. The code will be available at https://github.com/Jin-Ying/ReasonPix2Pix.
• Abstract（参考訳）: インストラクションベースの画像編集は、画像編集のための人書きの指示に従う能力を持つ生成モデルを装備することに焦点を当てる。 現在のアプローチは、通常、明示的で特定の指示を理解する。 しかし、暗黙的または不十分に定義された指示を理解するのに必要な能動的推論能力の実行に欠如することが多い。 能動的推論能力を向上し、編集モデルにインテリジェンスを付与するために、包括的な推論注意型命令編集データセットであるReasonPix2Pixを導入する。 データセットの特徴は 1)理性指導 2)細かなカテゴリのよりリアルなイメージ 3) 入力画像と編集画像のばらつきは増大した。 教師付き条件下でのデータセットの微調整では、タスクが推論を必要とするか否かに関わらず、命令編集タスクにおいて優れたパフォーマンスを示す。 コードはhttps://github.com/Jin-Ying/ReasonPix2Pixで入手できる。

関連論文リスト

• Learning Action and Reasoning-Centric Image Editing from Videos and Simulations [45.637947364341436]
  AURORAデータセット(AURORA data)は、ビデオやシミュレーションエンジンから人間に注釈を付け、キュレートされた高品質なトレーニングデータの集合である。 AURORA-finetuned model on a new expert-curated benchmark across 8 various editing task。 我々のモデルは従来の編集モデルよりもはるかに優れており、人間のレーティングによって判断される。
  論文  参考訳（メタデータ） (2024-07-03T19:36:33Z)
• InstructRL4Pix: Training Diffusion for Image Editing by Reinforcement Learning [31.799923647356458]
  本稿では,対象物体の注意図で導かれる画像を生成するために拡散モデルを訓練するための強化学習ガイド画像編集法(InstructRL4Pix)を提案する。 実験結果から、InstructRL4Pixは従来のデータセットの限界を突破し、教師なし学習を用いて、編集目標を最適化し、自然な人間のコマンドに基づいて正確な画像編集を実現することがわかった。
  論文  参考訳（メタデータ） (2024-06-14T12:31:48Z)
• SmartEdit: Exploring Complex Instruction-based Image Editing with Multimodal Large Language Models [91.22477798288003]
  本稿では,命令ベースの画像編集の新しいアプローチであるSmartEditを紹介する。 MLLM(Multimodal Large Language Models)を利用して、その理解と推論能力を強化する。 我々は,より複雑な命令に対して,SmartEditの編集機能を効果的に刺激することのできる,少量の複雑な命令編集データを示す。
  論文  参考訳（メタデータ） (2023-12-11T17:54:11Z)
• Emu Edit: Precise Image Editing via Recognition and Generation Tasks [62.95717180730946]
  本稿では,マルチタスク画像編集モデルであるEmu Editについて述べる。 我々は、地域ベースの編集、自由形式の編集、コンピュータビジョンタスクなど、前例のない範囲でマルチタスクに訓練する。 Emu Editは画像インペイント、超解像、編集タスクの構成といった新しいタスクに、ラベル付き例で一般化できることを示す。
  論文  参考訳（メタデータ） (2023-11-16T18:55:58Z)
• Learning to Follow Object-Centric Image Editing Instructions Faithfully [26.69032113274608]
  自然言語命令による画像編集に焦点をあてる現在のアプローチは、自動生成されたペアデータに依存している。 我々は、ペアデータの品質を大幅に改善し、監視信号を強化する。 我々のモデルは、最先端のベースラインよりもきめ細かいオブジェクト中心の編集を行うことができる。
  論文  参考訳（メタデータ） (2023-10-29T20:39:11Z)
• StyleDiffusion: Prompt-Embedding Inversion for Text-Based Editing [86.92711729969488]
  我々は、画像の編集に事前訓練された拡散モデルの驚くべき能力を利用する。 彼らはモデルを微調整するか、事前訓練されたモデルの潜在空間で画像を反転させる。 選択された地域に対する不満足な結果と、非選択された地域における予期せぬ変化の2つの問題に悩まされている。
  論文  参考訳（メタデータ） (2023-03-28T00:16:45Z)
• InstructPix2Pix: Learning to Follow Image Editing Instructions [103.77092910685764]
  人間の指示から画像を編集する手法を提案する。 入力画像とモデルに何をすべきかを指示する命令が与えられたら、我々のモデルはこれらの命令に従って画像を編集します。 入力画像と書き起こしの多様なコレクションに対して、魅力的な編集結果を示す。
  論文  参考訳（メタデータ） (2022-11-17T18:58:43Z)
• Learning by Planning: Language-Guided Global Image Editing [53.72807421111136]
  あいまいな編集言語要求を一連の編集操作にマッピングするテキスト・ツー・オペレーティング・モデルを開発した。 タスクの唯一の監督はターゲットイメージであり、シーケンシャルな決定の安定したトレーニングには不十分である。 本研究では,対象画像から可能な編集シーケンスを疑似基底真理として生成する,新たな操作計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-24T16:30:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。