論文の概要: ImPoster: Text and Frequency Guidance for Subject Driven Action Personalization using Diffusion Models

• arxiv url: http://arxiv.org/abs/2409.15650v1
• Date: Tue, 24 Sep 2024 01:25:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 11:32:56.000646
• Title: ImPoster: Text and Frequency Guidance for Subject Driven Action Personalization using Diffusion Models
• Title（参考訳）: ImPoster:拡散モデルを用いた主観的行動パーソナライゼーションのためのテキストと周波数誘導
• Authors: Divya Kothandaraman, Kuldeep Kulkarni, Sumit Shekhar, Balaji Vasan Srinivasan, Dinesh Manocha,
• Abstract要約: 提案するImPosterは,「運転」動作を行う「ソース」対象のターゲット画像を生成する新しいアルゴリズムである。 私たちのアプローチは完全に教師なしで、キーポイントやポーズといった追加のアノテーションへのアクセスは不要です。
• 参考スコア（独自算出の注目度）: 55.43801602995778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present ImPoster, a novel algorithm for generating a target image of a 'source' subject performing a 'driving' action. The inputs to our algorithm are a single pair of a source image with the subject that we wish to edit and a driving image with a subject of an arbitrary class performing the driving action, along with the text descriptions of the two images. Our approach is completely unsupervised and does not require any access to additional annotations like keypoints or pose. Our approach builds on a pretrained text-to-image latent diffusion model and learns the characteristics of the source and the driving image by finetuning the diffusion model for a small number of iterations. At inference time, ImPoster performs step-wise text prompting i.e. it denoises by first moving in the direction of the image manifold corresponding to the driving image followed by the direction of the image manifold corresponding to the text description of the desired target image. We propose a novel diffusion guidance formulation, image frequency guidance, to steer the generation towards the manifold of the source subject and the driving action at every step of the inference denoising. Our frequency guidance formulations are derived from the frequency domain properties of images. We extensively evaluate ImPoster on a diverse set of source-driving image pairs to demonstrate improvements over baselines. To the best of our knowledge, ImPoster is the first approach towards achieving both subject-driven as well as action-driven image personalization. Code and data is available at https://github.com/divyakraman/ImPosterDiffusion2024.
• Abstract（参考訳）: 提案するImPosterは,「運転」動作を行う「ソース」対象のターゲット画像を生成する新しいアルゴリズムである。 アルゴリズムへの入力は、編集したい対象のソースイメージの1対と、運転動作を行う任意のクラスの対象のドライブイメージと、その2つのイメージのテキスト記述である。 私たちのアプローチは完全に教師なしで、キーポイントやポーズといった追加のアノテーションへのアクセスは不要です。 提案手法は,事前学習したテキストから画像への潜伏拡散モデルに基づいて,少数の反復に対して拡散モデルを微調整することにより,ソースと駆動画像の特徴を学習する。 推論時に、ImPosterは、第1に駆動画像に対応する画像多様体の方向に移動し、次いで所望の目標画像のテキスト記述に対応する画像多様体の方向を指示するステップワイズテキストプロンプトを行う。 提案手法は, 音源の多様体に向けて発生を制御し, 推論の全てのステップで駆動動作を行うための, 拡散誘導定式化, 画像周波数誘導を提案する。 周波数誘導の定式化は画像の周波数領域特性から導かれる。 我々はImPosterを多種多様なソース駆動イメージペアで広範囲に評価し、ベースラインの改善を実証した。 私たちの知る限りでは、ImPosterは主観的および行動的イメージパーソナライゼーションの両方を達成するための最初のアプローチです。 コードとデータはhttps://github.com/divyakraman/ImPosterDiffusion2024で公開されている。

関連論文リスト

• Tuning-Free Image Customization with Image and Text Guidance [65.9504243633169]
  テキスト画像の同時カスタマイズのためのチューニング不要なフレームワークを提案する。 提案手法は,テキスト記述に基づく詳細な属性の修正が可能でありながら,参照画像のセマンティックな特徴を保っている。 提案手法は,人的・定量的評価において,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-03-19T11:48:35Z)
• Contrastive Prompts Improve Disentanglement in Text-to-Image Diffusion Models [68.47333676663312]
  テキスト・ツー・イメージ・モデルにおける画像要素のアンタングル化に有効な分類器フリーガイダンスの簡単な修正法を示す。 提案手法のキーとなる考え方は、最小限のトークンで異なる2つのプロンプトを持つ意図された要因を特徴づけることである。 我々は,(1)オブジェクトクラスで訓練されたドメイン固有拡散モデル,(2)テキスト・画像生成のための連続的なリグライクな制御,(3)ゼロショット画像エディタの性能向上の3つのシナリオにおいて,その利点を説明する。
  論文  参考訳（メタデータ） (2024-02-21T03:01:17Z)
• Dense Text-to-Image Generation with Attention Modulation [49.287458275920514]
  既存のテキストと画像の拡散モデルは、高密度キャプションを与えられた現実的なイメージを合成するのに苦労する。 そこで我々はDenseDiffusionを提案する。DenseDiffusionは、訓練済みのテキスト・ツー・イメージ・モデルを用いて、そのような高密度キャプションを扱う訓練自由な方法である。 レイアウト条件に特化して訓練したモデルを用いて、同様の品質の視覚的結果を得る。
  論文  参考訳（メタデータ） (2023-08-24T17:59:01Z)
• Paste, Inpaint and Harmonize via Denoising: Subject-Driven Image Editing with Pre-Trained Diffusion Model [22.975965453227477]
  textitPaste, Inpaint, Harmonize と呼ばれる新しいフレームワークをDenoising (PhD) を通じて導入する。 本実験では,主観的画像編集作業にPhDを適用し,参照対象のテキスト駆動シーン生成を探索する。
  論文  参考訳（メタデータ） (2023-06-13T07:43:10Z)
• Conditional Score Guidance for Text-Driven Image-to-Image Translation [52.73564644268749]
  本稿では,事前訓練されたテキスト・画像拡散モデルに基づく,テキスト駆動型画像・画像変換のための新しいアルゴリズムを提案する。 本手法は,ソース画像の関心領域を選択的に編集することで,対象画像を生成することを目的とする。
  論文  参考訳（メタデータ） (2023-05-29T10:48:34Z)
• Discriminative Class Tokens for Text-to-Image Diffusion Models [107.98436819341592]
  自由形式のテキストの表現可能性を利用した非侵襲的な微調整手法を提案する。 本手法は,従来の微調整法と比較して高速で,クラス内の画像の収集を必要としない。 i)標準拡散モデルよりも正確で高品質な生成画像,(ii)低リソース環境でのトレーニングデータの拡張,および(iii)誘導分類器の訓練に使用されるデータ情報を明らかにする。
  論文  参考訳（メタデータ） (2023-03-30T05:25:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。