論文の概要: SingleInsert: Inserting New Concepts from a Single Image into Text-to-Image Models for Flexible Editing

• arxiv url: http://arxiv.org/abs/2310.08094v1
• Date: Thu, 12 Oct 2023 07:40:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 12:31:38.647814
• Title: SingleInsert: Inserting New Concepts from a Single Image into Text-to-Image Models for Flexible Editing
• Title（参考訳）: SingleInsert: フレキシブル編集のための単一画像からテキスト間モデルへの新たな概念導入
• Authors: Zijie Wu, Chaohui Yu, Zhen Zhu, Fan Wang, Xiang Bai
• Abstract要約: SingleInsert(シングルインサート)は、イメージ・トゥ・テキスト(I2T)のインバージョン手法であり、同じ概念を含む単一のソースイメージを持つ。 本研究では,SingleInsertという,シングルイメージI2Tインバージョンのためのシンプルで効果的なベースラインを提案する。 提案手法により、SingleInsertは、フレキシブルな編集を可能にしながら、高い視覚的忠実度でシングルコンセプト生成に優れる。
• 参考スコア（独自算出の注目度）: 59.3017821001455
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent progress in text-to-image (T2I) models enables high-quality image generation with flexible textual control. To utilize the abundant visual priors in the off-the-shelf T2I models, a series of methods try to invert an image to proper embedding that aligns with the semantic space of the T2I model. However, these image-to-text (I2T) inversion methods typically need multiple source images containing the same concept or struggle with the imbalance between editing flexibility and visual fidelity. In this work, we point out that the critical problem lies in the foreground-background entanglement when learning an intended concept, and propose a simple and effective baseline for single-image I2T inversion, named SingleInsert. SingleInsert adopts a two-stage scheme. In the first stage, we regulate the learned embedding to concentrate on the foreground area without being associated with the irrelevant background. In the second stage, we finetune the T2I model for better visual resemblance and devise a semantic loss to prevent the language drift problem. With the proposed techniques, SingleInsert excels in single concept generation with high visual fidelity while allowing flexible editing. Additionally, SingleInsert can perform single-image novel view synthesis and multiple concepts composition without requiring joint training. To facilitate evaluation, we design an editing prompt list and introduce a metric named Editing Success Rate (ESR) for quantitative assessment of editing flexibility. Our project page is: https://jarrentwu1031.github.io/SingleInsert-web/
• Abstract（参考訳）: テキスト・ツー・イメージ(T2I)モデルの最近の進歩は、柔軟なテキスト制御による高品質な画像生成を可能にする。 市販のT2Iモデルの豊富な視覚的先行性を利用するため、一連の手法はT2Iモデルのセマンティック空間と整合する適切な埋め込みに画像を反転させようとする。 しかし、これらの画像からテキストへ変換する方法は、通常、同じ概念を含む複数のソースイメージを必要とするか、編集の柔軟性と視覚的忠実さの不均衡に苦慮する。 本研究は,意図した概念を学習する際,背景の絡み合いが重要な問題であることを指摘し,シングルイメージI2Tインバージョンのためのシンプルで効果的なベースラインであるSingleInsertを提案する。 SingleInsertは2段階のスキームを採用している。 第1段階では,無関係な背景に関連付けられることなく,前景領域に集中するように学習埋め込みを規制する。 第2段階では,t2iモデルを用いて視覚的な類似性を向上し,言語ドリフト問題を防止するために意味的損失を考案する。 提案手法により,singleinsertは,フレキシブルな編集が可能ながら,高い視覚忠実度を持つ単一概念生成に優れる。 さらに、SingleInsertは、ジョイントトレーニングを必要とせずに、シングルイメージのノベルビュー合成と複数のコンセプトコンポジションを実行することができる。 評価を容易にするために,編集プロンプトリストをデザインし,編集の柔軟性を定量的に評価するためのesrを導入する。 私たちのプロジェクトページは以下のとおりです。

関連論文リスト

• Object-Attribute Binding in Text-to-Image Generation: Evaluation and Control [58.37323932401379]
  現在の拡散モデルは、入力としてテキストプロンプトが与えられたイメージを生成するが、テキストで言及されている属性を画像の正しいオブジェクトに正しく結び付けるのに苦労する。 入力文中の構文的制約により視覚的注意マップを制御できる集中的横断注意(FCA)を提案する。 我々は、T2I生成の大幅な改善、特にいくつかのデータセットに対する属性オブジェクトのバインディングを示す。
  論文  参考訳（メタデータ） (2024-04-21T20:26:46Z)
• Direct Consistency Optimization for Compositional Text-to-Image Personalization [73.94505688626651]
  テキスト・ツー・イメージ(T2I)拡散モデルは、いくつかの個人画像に微調整された場合、高い一貫性で視覚を生成することができる。 本稿では,参照画像との整合性を最大化しつつ,事前学習したモデルからの偏差を補償することにより,T2Iモデルを微調整する。
  論文  参考訳（メタデータ） (2024-02-19T09:52:41Z)
• Forgedit: Text Guided Image Editing via Learning and Forgetting [17.26772361532044]
  我々は Forgedit という新しいテキスト誘導画像編集手法を設計する。 まず,30秒で元の画像を再構成できる視覚言語共同最適化フレームワークを提案する。 次に,拡散モデルのテキスト埋め込み空間におけるベクトル投影機構を提案する。
  論文  参考訳（メタデータ） (2023-09-19T12:05:26Z)
• Continuous Layout Editing of Single Images with Diffusion Models [24.581184791106562]
  本稿では,その視覚的特性を保ちながら,単一の画像のレイアウト編集を行うための最初のフレームワークを提案する。 私たちのアプローチは2つの重要なモジュールを通じて実現されます。 私たちのコードは受理後、無料で公開されます。
  論文  参考訳（メタデータ） (2023-06-22T17:51:05Z)
• Prompt-Free Diffusion: Taking "Text" out of Text-to-Image Diffusion Models [94.25020178662392]
  テキスト・トゥ・イメージ(T2I)の研究はこの1年で爆発的に成長した。 テキストプロンプトエンジニアリングと、カスタマイズされた結果のための高品質なテキストプロンプトの検索は、科学よりも芸術的だ。 本稿では,事前学習したT2I拡散モデルから"Text"を抽出し,ユーザの負担を軽減した。
  論文  参考訳（メタデータ） (2023-05-25T16:30:07Z)
• StyleDiffusion: Prompt-Embedding Inversion for Text-Based Editing [86.92711729969488]
  我々は、画像の編集に事前訓練された拡散モデルの驚くべき能力を利用する。 彼らはモデルを微調整するか、事前訓練されたモデルの潜在空間で画像を反転させる。 選択された地域に対する不満足な結果と、非選択された地域における予期せぬ変化の2つの問題に悩まされている。
  論文  参考訳（メタデータ） (2023-03-28T00:16:45Z)
• Zero-shot Image-to-Image Translation [57.46189236379433]
  手動のプロンプトを使わずに元の画像を保存できる画像から画像への変換法であるpix2pix-zeroを提案する。 本稿では,拡散過程全体を通して入力画像の相互注意マップを維持することを目的とした,相互注意誘導を提案する。 本手法では,これらの編集のための追加のトレーニングを必要とせず,既存のテキスト・画像拡散モデルを直接使用することができる。
  論文  参考訳（メタデータ） (2023-02-06T18:59:51Z)
• UniTune: Text-Driven Image Editing by Fine Tuning a Diffusion Model on a Single Image [2.999198565272416]
  我々は,画像生成モデルを単一画像上で微調整することで,画像編集モデルに変換できることを観察する。 我々は、任意の画像とテキストによる編集記述を入力として取得し、入力画像への忠実度を維持しながら編集を行う、新しい画像編集方法UniTuneを提案する。 従来不可能であった視覚的変化を必要とするものを含む,驚くほど広い範囲の表現的編集操作を行うことが可能であることを実証した。
  論文  参考訳（メタデータ） (2022-10-17T23:46:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。