論文の概要: Prompt Augmentation for Self-supervised Text-guided Image Manipulation

• arxiv url: http://arxiv.org/abs/2412.13081v1
• Date: Tue, 17 Dec 2024 16:54:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:58:23.803861
• Title: Prompt Augmentation for Self-supervised Text-guided Image Manipulation
• Title（参考訳）: 自己教師付きテキスト誘導画像マニピュレーションのためのプロンプト強化
• Authors: Rumeysa Bodur, Binod Bhattarai, Tae-Kyun Kim,
• Abstract要約: 本稿では,複数のターゲットプロンプトに単一入力プロンプトを増幅し,テキストコンテキストを強化し,局所的な画像編集を可能にするプロンプト拡張手法を提案する。 本稿では,編集領域を分割し,保存領域を近くまで描画することで,効率的な画像編集を行うためのコントラストロスを提案する。 拡散モデルに新たな損失が組み込まれ、公開データセット上の改善された、あるいは競合的な画像編集結果と、最先端のアプローチによる生成画像が示される。
• 参考スコア（独自算出の注目度）: 34.01939157351624
• License:
• Abstract: Text-guided image editing finds applications in various creative and practical fields. While recent studies in image generation have advanced the field, they often struggle with the dual challenges of coherent image transformation and context preservation. In response, our work introduces prompt augmentation, a method amplifying a single input prompt into several target prompts, strengthening textual context and enabling localised image editing. Specifically, we use the augmented prompts to delineate the intended manipulation area. We propose a Contrastive Loss tailored to driving effective image editing by displacing edited areas and drawing preserved regions closer. Acknowledging the continuous nature of image manipulations, we further refine our approach by incorporating the similarity concept, creating a Soft Contrastive Loss. The new losses are incorporated to the diffusion model, demonstrating improved or competitive image editing results on public datasets and generated images over state-of-the-art approaches.
• Abstract（参考訳）: テキスト誘導画像編集は、様々な創造的・実践的な分野の応用を見出す。 画像生成における最近の研究は分野を進歩させてきたが、コヒーレントな画像変換とコンテキスト保存という2つの課題に悩まされることが多い。 そこで本研究では,複数のターゲットプロンプトに単一入力プロンプトを増幅し,テキストコンテキストを強化し,局所的な画像編集を可能にするプロンプト拡張手法を提案する。 具体的には、拡張プロンプトを使用して、意図した操作領域を記述します。 本稿では,編集領域を分割し,保存領域を近くまで描画することで,効率的な画像編集を行うためのコントラストロスを提案する。 画像操作の継続的な性質を認識し、類似性の概念を取り入れ、ソフトコントラストロスを創り出すことにより、我々のアプローチをさらに洗練する。 新たな損失は拡散モデルに組み込まれ、公開データセット上の改善された、あるいは競合的な画像編集結果と、最先端のアプローチによる生成画像を示す。

関連論文リスト

• Vision-guided and Mask-enhanced Adaptive Denoising for Prompt-based Image Editing [28.904419606450876]
  視覚誘導・マスク強調適応編集法(ViMAEdit)を提案する。 まず,画像の埋め込みを明示的なガイダンスとして活用し,従来のテキストのプロンプトに基づく記述プロセスを強化することを提案する。 第2に,自己注意型反復編集領域接地戦略を考案する。
  論文  参考訳（メタデータ） (2024-10-14T13:41:37Z)
• Zero-shot Image Editing with Reference Imitation [50.75310094611476]
  我々は、ユーザーがより便利に創造性を発揮できるように、模倣編集と呼ばれる新しい形態の編集を提示する。 ビデオクリップから2つのフレームをランダムに選択し、あるフレームのいくつかの領域をマスクし、他のフレームからの情報を用いてマスクされた領域を復元する、MimicBrushと呼ばれる生成学習フレームワークを提案する。 各種試験事例における本手法の有効性を実験的に示すとともに,既存手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-11T17:59:51Z)
• Text Guided Image Editing with Automatic Concept Locating and Forgetting [27.70615803908037]
  画像中の潜在的なターゲット概念を特定するために,Locate and Forget (LaF) と呼ばれる新しい手法を提案する。 本手法はベースラインと比較して,テキスト誘導画像編集作業において質的かつ定量的に優位性を示す。
  論文  参考訳（メタデータ） (2024-05-30T05:36:32Z)
• Unified Diffusion-Based Rigid and Non-Rigid Editing with Text and Image Guidance [15.130419159003816]
  本稿では,厳密な編集と非厳密な編集の両方を実行できる多用途画像編集フレームワークを提案する。 我々は、多種多様な編集シナリオを扱うために、デュアルパスインジェクション方式を利用する。 外観と構造情報の融合のための統合自己認識機構を導入する。
  論文  参考訳（メタデータ） (2024-01-04T08:21:30Z)
• Text-Driven Image Editing via Learnable Regions [74.45313434129005]
  本研究では,ユーザが提供するマスクやスケッチを必要とせずに,テキストプロンプトによって駆動される領域ベースの画像編集手法を提案する。 この単純なアプローチにより、現在の画像生成モデルと互換性のあるフレキシブルな編集が可能になることを示す。 実験では,提案した言語記述に対応する忠実度とリアリズムの高い画像の操作において,提案手法の競合性能を示す。
  論文  参考訳（メタデータ） (2023-11-28T02:27:31Z)
• Dynamic Prompt Learning: Addressing Cross-Attention Leakage for Text-Based Image Editing [23.00202969969574]
  そこで本稿では,テキストプロンプト中の名詞の正しい単語に注意を向けるために,クロスアテンションマップを強制する動的プロンプト学習(DPL)を提案する。 本稿では,Word-Swap, Prompt Refinement, Attention Re-weightingの編集結果の改善について述べる。
  論文  参考訳（メタデータ） (2023-09-27T13:55:57Z)
• StyleDiffusion: Prompt-Embedding Inversion for Text-Based Editing [115.49488548588305]
  画像の編集のために、事前訓練された拡散モデルの驚くべき能力を活用することに重点が置かれている。 彼らはモデルを微調整するか、事前訓練されたモデルの潜在空間で画像を反転させる。 選択された地域に対する不満足な結果と、非選択された地域における予期せぬ変化の2つの問題に悩まされている。
  論文  参考訳（メタデータ） (2023-03-28T00:16:45Z)
• Zero-shot Image-to-Image Translation [57.46189236379433]
  手動のプロンプトを使わずに元の画像を保存できる画像から画像への変換法であるpix2pix-zeroを提案する。 本稿では,拡散過程全体を通して入力画像の相互注意マップを維持することを目的とした,相互注意誘導を提案する。 本手法では,これらの編集のための追加のトレーニングを必要とせず,既存のテキスト・画像拡散モデルを直接使用することができる。
  論文  参考訳（メタデータ） (2023-02-06T18:59:51Z)
• Direct Inversion: Optimization-Free Text-Driven Real Image Editing with Diffusion Models [0.0]
  本稿では,テキストプロンプトを介し,複雑な非厳密な編集を1つの実画像に適用する最適化フリーでゼロな微調整フレームワークを提案する。 高品質,多様性,セマンティック・コヒーレント,忠実な実画像編集において,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-11-15T01:07:38Z)
• DiffEdit: Diffusion-based semantic image editing with mask guidance [64.555930158319]
  DiffEditは、セマンティック画像編集のタスクにテキスト条件付き拡散モデルを利用する方法である。 私たちの主なコントリビューションは、編集が必要な入力画像の領域をハイライトするマスクを自動的に生成できることです。
  論文  参考訳（メタデータ） (2022-10-20T17:16:37Z)
• Make-A-Scene: Scene-Based Text-to-Image Generation with Human Priors [58.71128866226768]
  近年のテキスト・ツー・イメージ生成手法は、生成した画像の忠実度とテキスト関連性を漸進的に改善している。 i)シーンの形式でテキストを補完する単純な制御機構を実現することで,これらのギャップに対処する新しいテキスト・ツー・イメージ手法を提案する。 このモデルにより,512×512ピクセルの解像度で高忠実度画像を生成することができる。
  論文  参考訳（メタデータ） (2022-03-24T15:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。