論文の概要: LIPE: Learning Personalized Identity Prior for Non-rigid Image Editing

• arxiv url: http://arxiv.org/abs/2406.17236v1
• Date: Tue, 25 Jun 2024 02:56:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 16:01:10.835072
• Title: LIPE: Learning Personalized Identity Prior for Non-rigid Image Editing
• Title（参考訳）: LIPE:非厳密な画像編集に先立ってパーソナライズされたアイデンティティを学習する
• Authors: Aoyang Liu, Qingnan Fan, Shuai Qin, Hong Gu, Yansong Tang,
• Abstract要約: LIPEは、2段階のフレームワークであり、同じ主題の画像の限られたセットを利用して生成モデルをカスタマイズするように設計されている。 LIPEは、同じ対象の限られた画像集合を用いて生成モデルをカスタマイズする2段階のフレームワークであり、その後、非厳密な画像編集のために学習済みのモデルを用いる。
• 参考スコア（独自算出の注目度）: 20.861672583434718
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although recent years have witnessed significant advancements in image editing thanks to the remarkable progress of text-to-image diffusion models, the problem of non-rigid image editing still presents its complexities and challenges. Existing methods often fail to achieve consistent results due to the absence of unique identity characteristics. Thus, learning a personalized identity prior might help with consistency in the edited results. In this paper, we explore a novel task: learning the personalized identity prior for text-based non-rigid image editing. To address the problems in jointly learning prior and editing the image, we present LIPE, a two-stage framework designed to customize the generative model utilizing a limited set of images of the same subject, and subsequently employ the model with learned prior for non-rigid image editing. Experimental results demonstrate the advantages of our approach in various editing scenarios over past related leading methods in qualitative and quantitative ways.
• Abstract（参考訳）: 近年,テキスト・画像拡散モデルの顕著な進歩により,画像編集の大幅な進歩が見られたが,非剛性画像編集の問題点は,その複雑さと課題を示している。 既存の手法では、ユニークなアイデンティティ特性が欠如しているため、一貫した結果が得られないことが多い。 したがって、パーソナライズされたアイデンティティを事前に学習することは、編集結果の一貫性を促進することができる。 本稿では,テキストベースの非剛性画像編集に先立ってパーソナライズされたアイデンティティを学習する,新しい課題について検討する。 画像の事前学習と編集の課題に対処するため,同一対象の画像の限られたセットを用いて生成モデルをカスタマイズする2段階のフレームワークLIPEを提案し,その後,学習済みのモデルを非剛性画像編集に利用する。 実験により,過去の先行手法を質的,定量的に比較し,様々な編集シナリオにおけるアプローチの利点を実証した。

関連論文リスト

• Learning Feature-Preserving Portrait Editing from Generated Pairs [11.122956539965761]
  そこで本研究では,自動生成ペアデータを活用して,所望の編集を学習する学習手法を提案する。 本手法は,最先端の品質を定量的かつ質的に達成する。
  論文  参考訳（メタデータ） (2024-07-29T23:19:42Z)
• JeDi: Joint-Image Diffusion Models for Finetuning-Free Personalized Text-to-Image Generation [49.997839600988875]
  既存のパーソナライズ手法は、ユーザのカスタムデータセット上でテキスト・ツー・イメージの基礎モデルを微調整することに依存している。 ファインタニングフリーのパーソナライズモデルを学ぶための効果的な手法として,ジョイントイメージ拡散(jedi)を提案する。 本モデルは,従来のファインタニングベースとファインタニングフリーのパーソナライゼーションベースの両方において,定量的かつ定性的に,高い品質を実現する。
  論文  参考訳（メタデータ） (2024-07-08T17:59:02Z)
• MasterWeaver: Taming Editability and Face Identity for Personalized Text-to-Image Generation [59.13765130528232]
  MasterWeaverは、忠実なアイデンティティとフレキシブルな編集性の両方でパーソナライズされた画像を生成するために設計された、テスト時のチューニング不要な手法である。 具体的には、MasterWeaverはエンコーダを採用して、アイデンティティ機能を抽出し、追加のクロスアテンションを通じて画像生成をステアリングする。 同一性を維持しながら編集性を向上させるため,MasterWeaverの編集方向をオリジナルのT2Iモデルと整合させる訓練用編集方向損失を提案する。
  論文  参考訳（メタデータ） (2024-05-09T14:42:16Z)
• Instilling Multi-round Thinking to Text-guided Image Generation [72.2032630115201]
  シングルラウンド世代は、特に靴やスリーブのようなきめ細かい変更の領域において、重要な詳細を見落としていることが多い。 既存の手法と互換性のある,新たな自己監督型正規化,すなわちマルチラウンド正規化を導入する。 修正順序が最終結果に概して影響を与えないという観察に基づいている。
  論文  参考訳（メタデータ） (2024-01-16T16:19:58Z)
• AdapEdit: Spatio-Temporal Guided Adaptive Editing Algorithm for Text-Based Continuity-Sensitive Image Editing [24.9487669818162]
  本稿では,適応的な画像編集を実現するための時間的ガイド付き適応編集アルゴリズムAdapEditを提案する。 我々のアプローチは、モデルの事前保存において大きな利点があり、モデルトレーニング、微調整された追加データ、最適化を必要としない。 提案手法は,様々な原画像や編集命令を対象とし,競争性能を実証し,従来の手法よりも優れていたことを示す。
  論文  参考訳（メタデータ） (2023-12-13T09:45:58Z)
• PhotoVerse: Tuning-Free Image Customization with Text-to-Image Diffusion Models [19.519789922033034]
  PhotoVerseは、テキストドメインと画像ドメインの両方にデュアルブランチ条件設定機構を組み込んだ革新的な方法論である。 1つのトレーニングフェーズの後、我々の手法は数秒で高品質な画像を生成することができる。
  論文  参考訳（メタデータ） (2023-09-11T19:59:43Z)
• Paste, Inpaint and Harmonize via Denoising: Subject-Driven Image Editing with Pre-Trained Diffusion Model [22.975965453227477]
  textitPaste, Inpaint, Harmonize と呼ばれる新しいフレームワークをDenoising (PhD) を通じて導入する。 本実験では,主観的画像編集作業にPhDを適用し,参照対象のテキスト駆動シーン生成を探索する。
  論文  参考訳（メタデータ） (2023-06-13T07:43:10Z)
• Cones 2: Customizable Image Synthesis with Multiple Subjects [50.54010141032032]
  本研究では,特定の対象を効率的に表現する方法と,異なる対象を適切に構成する方法について検討する。 クロスアテンションマップ内のアクティベーションを修正することにより、レイアウトはイメージ内の異なる被写体の位置を指定して分離する。
  論文  参考訳（メタデータ） (2023-05-30T18:00:06Z)
• End-to-End Visual Editing with a Generatively Pre-Trained Artist [78.5922562526874]
  対象画像編集の問題として、ソース画像内の領域と、所望の変更を指定したドライバ画像とをブレンドすることを考える。 対象領域のオフザシェルフ画像を拡大することにより編集をシミュレートする自己教師型アプローチを提案する。 我々は、モデルアーキテクチャに他の変更を加えることなく、拡張プロセスの直感的な制御によって異なるブレンディング効果が学習できることを示します。
  論文  参考訳（メタデータ） (2022-05-03T17:59:30Z)
• Enjoy Your Editing: Controllable GANs for Image Editing via Latent Space Navigation [136.53288628437355]
  コントロール可能なセマンティックイメージ編集により、ユーザーはクリック数回で画像属性全体を変更できる。 現在のアプローチでは、絡み合った属性編集、グローバルなイメージアイデンティティの変更、フォトリアリズムの低下に悩まされることが多い。 本稿では,主に定性評価に焦点を当てた先行研究とは異なり,制御可能な編集性能を測定するための定量的評価手法を提案する。
  論文  参考訳（メタデータ） (2021-02-01T21:38:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。