論文の概要: PALP: Prompt Aligned Personalization of Text-to-Image Models

• arxiv url: http://arxiv.org/abs/2401.06105v1
• Date: Thu, 11 Jan 2024 18:35:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-12 13:09:21.052967
• Title: PALP: Prompt Aligned Personalization of Text-to-Image Models
• Title（参考訳）: PALP:テキスト・画像モデルのパーソナライズ
• Authors: Moab Arar, Andrey Voynov, Amir Hertz, Omri Avrahami, Shlomi Fruchter, Yael Pritch, Daniel Cohen-Or, Ariel Shamir
• Abstract要約: 既存のパーソナライズ手法は、パーソナライズ能力や複雑なプロンプトへのアライメントを損なう。 本稿では,この問題に対処するエフィンスル・プロンプトのためのパーソナライズ手法に着目した新しいアプローチを提案する。 本手法はテキストアライメントの改善に優れ,複雑かつ複雑なプロンプトによる画像作成を可能にする。
• 参考スコア（独自算出の注目度）: 68.91005384187348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Content creators often aim to create personalized images using personal subjects that go beyond the capabilities of conventional text-to-image models. Additionally, they may want the resulting image to encompass a specific location, style, ambiance, and more. Existing personalization methods may compromise personalization ability or the alignment to complex textual prompts. This trade-off can impede the fulfillment of user prompts and subject fidelity. We propose a new approach focusing on personalization methods for a \emph{single} prompt to address this issue. We term our approach prompt-aligned personalization. While this may seem restrictive, our method excels in improving text alignment, enabling the creation of images with complex and intricate prompts, which may pose a challenge for current techniques. In particular, our method keeps the personalized model aligned with a target prompt using an additional score distillation sampling term. We demonstrate the versatility of our method in multi- and single-shot settings and further show that it can compose multiple subjects or use inspiration from reference images, such as artworks. We compare our approach quantitatively and qualitatively with existing baselines and state-of-the-art techniques.
• Abstract（参考訳）: コンテンツクリエーターは、従来のテキスト・ツー・イメージ・モデルの能力を超越したパーソナライズされた画像を作ることがしばしばある。 さらに、結果の画像が特定の場所、スタイル、あいまいさなどを含むようにしたい場合もあります。 既存のパーソナライズ手法は、パーソナライズ能力や複雑なテキストプロンプトへのアライメントを損なう可能性がある。 このトレードオフは、ユーザのプロンプトの履行と忠実さを損なう可能性がある。 本稿では,この問題に対処するために,emph{single}プロンプトのパーソナライズ手法に着目した新しいアプローチを提案する。 われわれのアプローチを即席のパーソナライズと呼ぶ。 これは制限的であるように思えるが、本手法はテキストアライメントの改善に優れており、複雑で複雑なプロンプトによる画像作成が可能であり、現在の技術に挑戦する可能性がある。 特に,本手法では,個別モデルと目標プロンプトとの整合性を,追加のスコア蒸留サンプリング項を用いて維持する。 マルチショットとシングルショットの設定において,本手法の汎用性を実証し,複数の主題を合成したり,アートワークなどの参照画像からインスピレーションを得られることを示す。 既存のベースラインや最先端技術と定量的・質的に比較した。

関連論文リスト

• Learning to Customize Text-to-Image Diffusion In Diverse Context [23.239646132590043]
  殆どのテキスト・ツー・イメージのカスタマイズ技術は、最小限のコンテキストでキャプチャされた少数の人物のコンセプトイメージを微調整する。 我々は、文脈的にリッチなテキストプロンプトを単に作成することで、これらの個人概念のコンテキストを多様化する。 驚くべきことに、この単純で費用対効果の高い手法は、テキスト空間における意味的アライメントを大幅に改善する。 当社のアプローチではアーキテクチャの変更は一切必要とせず、既存のテキスト・ツー・イメージのカスタマイズ手法と互換性が高い。
  論文  参考訳（メタデータ） (2024-10-14T00:53:59Z)
• JeDi: Joint-Image Diffusion Models for Finetuning-Free Personalized Text-to-Image Generation [49.997839600988875]
  既存のパーソナライズ手法は、ユーザのカスタムデータセット上でテキスト・ツー・イメージの基礎モデルを微調整することに依存している。 ファインタニングフリーのパーソナライズモデルを学ぶための効果的な手法として,ジョイントイメージ拡散(jedi)を提案する。 本モデルは,従来のファインタニングベースとファインタニングフリーのパーソナライゼーションベースの両方において,定量的かつ定性的に,高い品質を実現する。
  論文  参考訳（メタデータ） (2024-07-08T17:59:02Z)
• Training-Free Consistent Text-to-Image Generation [80.4814768762066]
  テキスト・ツー・イメージ・モデルは様々なプロンプトで同じ主題を表現できる。 既存のアプローチは、特定のユーザが提供する主題を記述する新しい単語を教えるためにモデルを微調整する。 本研究では、事前学習モデルの内部アクティベーションを共有することによって、一貫した主題生成を可能にする、トレーニング不要なアプローチであるConsiStoryを提案する。
  論文  参考訳（メタデータ） (2024-02-05T18:42:34Z)
• Pick-and-Draw: Training-free Semantic Guidance for Text-to-Image Personalization [56.12990759116612]
  Pick-and-Drawは、パーソナライズ手法のアイデンティティ一貫性と生成多様性を高めるためのトレーニング不要なセマンティックガイダンスアプローチである。 提案手法は、パーソナライズされた拡散モデルに適用可能であり、単一の参照画像のみを必要とする。
  論文  参考訳（メタデータ） (2024-01-30T05:56:12Z)
• Decoupled Textual Embeddings for Customized Image Generation [62.98933630971543]
  カスタマイズされたテキスト・ツー・イメージ生成は、ユーザが指定した概念を少数の画像で学習することを目的としている。 既存の方法は、通常、過剰な問題に悩まされ、学習された概念と対象と無関係な情報を絡み合わせる。 フレキシブルなテキスト・ツー・イメージ生成のための不整合概念の埋め込みを学習する新しいアプローチであるDETEXを提案する。
  論文  参考訳（メタデータ） (2023-12-19T03:32:10Z)
• InstructBooth: Instruction-following Personalized Text-to-Image Generation [30.89054609185801]
  InstructBoothは、パーソナライズされたテキスト・ツー・イメージモデルにおける画像テキストアライメントを強化するために設計された新しい方法である。 提案手法はまず,一意の識別子を用いて,少数の被写体固有の画像でテキスト・ツー・イメージ・モデルをパーソナライズする。 パーソナライズ後、強化学習を用いてパーソナライズされたテキスト・ツー・イメージモデルを微調整し、画像・テキストのアライメントを定量化する報酬を最大化する。
  論文  参考訳（メタデータ） (2023-12-04T20:34:46Z)
• The Chosen One: Consistent Characters in Text-to-Image Diffusion Models [71.15152184631951]
  そこで本研究では,テキストプロンプトのみを入力として,一貫した文字生成を完全自動化する手法を提案する。 本手法は, 基本手法と比較して, 即時アライメントと同一性整合性のバランスが良くなる。
  論文  参考訳（メタデータ） (2023-11-16T18:59:51Z)
• Enhancing Detail Preservation for Customized Text-to-Image Generation: A Regularization-Free Approach [43.53330622723175]
  正規化を使わずにカスタマイズされたテキスト・画像生成のための新しいフレームワークを提案する。 提案したフレームワークでは,1つのGPU上で30分以内に大規模テキスト・画像生成モデルをカスタマイズできる。
  論文  参考訳（メタデータ） (2023-05-23T01:14:53Z)
• Highly Personalized Text Embedding for Image Manipulation by Stable Diffusion [34.662798793560995]
  高度にパーソナライズされた(PerHi)テキスト埋め込みを用いたパーソナライズ手法を提案する。 本手法では, モデル微調整や識別子を必要としないが, 背景, テクスチャ, 動きを1つの画像とターゲットテキストで操作できる。
  論文  参考訳（メタデータ） (2023-03-15T17:07:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。