論文の概要: Multi-Reward as Condition for Instruction-based Image Editing

• arxiv url: http://arxiv.org/abs/2411.04713v1
• Date: Wed, 06 Nov 2024 05:02:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:38:33.130703
• Title: Multi-Reward as Condition for Instruction-based Image Editing
• Title（参考訳）: インストラクションに基づく画像編集の条件としてのマルチリワード
• Authors: Xin Gu, Ming Li, Libo Zhang, Fan Chen, Longyin Wen, Tiejian Luo, Sijie Zhu,
• Abstract要約: そこで本研究では,地味画像の品質を改良する代わりに,多視点報酬データを用いたトレーニングデータ品質問題に対処することを提案する。 実験により、我々のマルチリワード条件付きモデルは、2つの人気のある編集パイプラインにおいて非リワードモデルよりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 32.77114231615961
• License:
• Abstract: High-quality training triplets (instruction, original image, edited image) are essential for instruction-based image editing. Predominant training datasets (e.g., InsPix2Pix) are created using text-to-image generative models (e.g., Stable Diffusion, DALL-E) which are not trained for image editing. Accordingly, these datasets suffer from inaccurate instruction following, poor detail preserving, and generation artifacts. In this paper, we propose to address the training data quality issue with multi-perspective reward data instead of refining the ground-truth image quality. 1) we first design a quantitative metric system based on best-in-class LVLM (Large Vision Language Model), i.e., GPT-4o in our case, to evaluate the generation quality from 3 perspectives, namely, instruction following, detail preserving, and generation quality. For each perspective, we collected quantitative score in $0\sim 5$ and text descriptive feedback on the specific failure points in ground-truth edited images, resulting in a high-quality editing reward dataset, i.e., RewardEdit20K. 2) We further proposed a novel training framework to seamlessly integrate the metric output, regarded as multi-reward, into editing models to learn from the imperfect training triplets. During training, the reward scores and text descriptions are encoded as embeddings and fed into both the latent space and the U-Net of the editing models as auxiliary conditions. During inference, we set these additional conditions to the highest score with no text description for failure points, to aim at the best generation outcome. Experiments indicate that our multi-reward conditioned model outperforms its no-reward counterpart on two popular editing pipelines, i.e., InsPix2Pix and SmartEdit. The code and dataset will be released.
• Abstract（参考訳）: インストラクションベースの画像編集には、高品質なトレーニング三脚(インストラクション、オリジナル画像、編集画像)が不可欠である。 事前トレーニングデータセット(例:InsPix2Pix)は、画像編集のトレーニングを受けていないテキストから画像生成モデル(例:Stable Diffusion、DALL-E)を使用して作成される。 したがって、これらのデータセットは、次の不正確な命令、不適切な詳細保存、および生成アーティファクトに悩まされる。 本稿では,地味画像の品質を改良する代わりに,多視点報酬データを用いたトレーニングデータ品質問題に対処することを提案する。 1)最良クラスLVLM(Large Vision Language Model, GPT-4o)に基づく定量的計量系をまず設計し, 生成品質を3つの視点, 命令追従, 詳細保存, 生成品質から評価する。 それぞれの視点で,0\sim 5$の定量的スコアと,地文編集画像の特定の障害点に関するテキスト記述的フィードバックを収集し,高品質な編集報酬データセット,すなわちRewardEdit20Kを得た。 2) 不完全なトレーニングトレーレットから学習するためのモデルに,マルチリワード(multi-reward)とみなすメトリックアウトプットをシームレスに統合する新たなトレーニングフレームワークを提案する。 トレーニング中、報酬スコアとテキスト記述は埋め込みとしてエンコードされ、編集モデルの潜在空間とU-Netの両方に補助条件として供給される。 推論において,これらの追加条件を障害点のテキスト記述のない最高点に設定し,最適な生成結果を目指す。 実験の結果、我々のマルチリワード条件付きモデルは、InsPix2PixとSmartEditという2つの一般的な編集パイプラインにおいて、非リワードモデルよりも優れていることが示された。 コードとデータセットがリリースされる。

関連論文リスト

• Learning Action and Reasoning-Centric Image Editing from Videos and Simulations [45.637947364341436]
  AURORAデータセット(AURORA data)は、ビデオやシミュレーションエンジンから人間に注釈を付け、キュレートされた高品質なトレーニングデータの集合である。 AURORA-finetuned model on a new expert-curated benchmark across 8 various editing task。 我々のモデルは従来の編集モデルよりもはるかに優れており、人間のレーティングによって判断される。
  論文  参考訳（メタデータ） (2024-07-03T19:36:33Z)
• ReasonPix2Pix: Instruction Reasoning Dataset for Advanced Image Editing [77.12834553200632]
  本稿ではReasonPix2Pixを紹介した。 データセットの特徴は,1)推論命令,2)細かなカテゴリのよりリアルな画像,3)入力画像と編集画像のばらつきの増大である。 教師付き条件下でのデータセットの微調整では、タスクが推論を必要とするか否かに関わらず、命令編集タスクにおいて優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-05-18T06:03:42Z)
• Retrieval Enhanced Zero-Shot Video Captioning [69.96136689829778]
  一般的な映像理解モデルXCLIP,一般画像理解モデルCLIP,テキスト生成モデルGPT-2の3つの主要なモデルを用いて映像とテキストをブリッジする。 そこで本研究では,凍結したGPT-2と凍結したXCLIPとの間の通信媒体として,学習可能なトークンを提案する。 実験では、従来の最先端の手法と比較して、主要な測定基準であるCIDErが4%から20%改善されている。
  論文  参考訳（メタデータ） (2024-05-11T16:22:00Z)
• HQ-Edit: A High-Quality Dataset for Instruction-based Image Editing [38.13162627140172]
  HQ-Editは、約20万の編集が可能な高品質な命令ベースの画像編集データセットである。 高品質を確実にするために、多様なサンプルはまずオンラインで収集され、拡張され、次に高品質なディプチチを作るために使用される。 HQ-Editは、細部が豊富で包括的な編集プロンプトを伴う高解像度の画像を編集し、既存の画像編集モデルの能力を大幅に強化する。
  論文  参考訳（メタデータ） (2024-04-15T17:59:31Z)
• Learning to Follow Object-Centric Image Editing Instructions Faithfully [26.69032113274608]
  自然言語命令による画像編集に焦点をあてる現在のアプローチは、自動生成されたペアデータに依存している。 我々は、ペアデータの品質を大幅に改善し、監視信号を強化する。 我々のモデルは、最先端のベースラインよりもきめ細かいオブジェクト中心の編集を行うことができる。
  論文  参考訳（メタデータ） (2023-10-29T20:39:11Z)
• ImagenHub: Standardizing the evaluation of conditional image generation models [48.51117156168]
  本稿では,条件付き画像生成モデルの推論と評価を標準化するワンストップライブラリであるImagenHubを提案する。 本研究では,感性一貫性と知覚品質という2つの評価スコアと,生成した画像を評価するための包括的なガイドラインを設計する。 人間の評価は,0.4以上の値を持つ76%のモデル上で,クリッペンドルフのαに対する高い労働者間合意を達成する。
  論文  参考訳（メタデータ） (2023-10-02T19:41:42Z)
• MagicBrush: A Manually Annotated Dataset for Instruction-Guided Image Editing [48.204992417461575]
  MagicBrushは、命令誘導の実画像編集のための、手動で手動の大規模データセットである。 人による評価により,新しいモデルによりより優れた画像が生成できることが示される。
  論文  参考訳（メタデータ） (2023-06-16T17:58:58Z)
• iEdit: Localised Text-guided Image Editing with Weak Supervision [53.082196061014734]
  テキスト誘導画像編集のための新しい学習法を提案する。 ソースイメージに条件付けされた画像とテキスト編集プロンプトを生成する。 画像の忠実度、CLIPアライメントスコア、および生成された画像と実際の画像の両方を定性的に編集する点において、画像に対して好ましい結果を示す。
  論文  参考訳（メタデータ） (2023-05-10T07:39:14Z)
• InstructPix2Pix: Learning to Follow Image Editing Instructions [103.77092910685764]
  人間の指示から画像を編集する手法を提案する。 入力画像とモデルに何をすべきかを指示する命令が与えられたら、我々のモデルはこれらの命令に従って画像を編集します。 入力画像と書き起こしの多様なコレクションに対して、魅力的な編集結果を示す。
  論文  参考訳（メタデータ） (2022-11-17T18:58:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。