論文の概要: DragText: Rethinking Text Embedding in Point-based Image Editing

• arxiv url: http://arxiv.org/abs/2407.17843v1
• Date: Thu, 25 Jul 2024 07:57:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-26 14:48:09.290164
• Title: DragText: Rethinking Text Embedding in Point-based Image Editing
• Title（参考訳）: DragText:ポイントベースの画像編集におけるテキスト埋め込みの再考
• Authors: Gayoon Choi, Taejin Jeong, Sujung Hong, Jaehoon Joo, Seong Jae Hwang,
• Abstract要約: 拡散モデルにおける入力画像のプログレッシブな編集において,テキスト埋め込みは一定であることを示す。 そこで我々はDragTextを提案する。DragTextはドラッグ処理と同時にテキスト埋め込みを最適化し、修正された画像埋め込みと組み合わせる。
• 参考スコア（独自算出の注目度）: 3.1923251959845214
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Point-based image editing enables accurate and flexible control through content dragging. However, the role of text embedding in the editing process has not been thoroughly investigated. A significant aspect that remains unexplored is the interaction between text and image embeddings. In this study, we show that during the progressive editing of an input image in a diffusion model, the text embedding remains constant. As the image embedding increasingly diverges from its initial state, the discrepancy between the image and text embeddings presents a significant challenge. Moreover, we found that the text prompt significantly influences the dragging process, particularly in maintaining content integrity and achieving the desired manipulation. To utilize these insights, we propose DragText, which optimizes text embedding in conjunction with the dragging process to pair with the modified image embedding. Simultaneously, we regularize the text optimization process to preserve the integrity of the original text prompt. Our approach can be seamlessly integrated with existing diffusion-based drag methods with only a few lines of code.
• Abstract（参考訳）: ポイントベースの画像編集は、コンテンツドラッグによる正確で柔軟な制御を可能にする。 しかし, 編集プロセスにおけるテキスト埋め込みの役割については, 十分に検討されていない。 探索されていない重要な側面は、テキストと画像の埋め込みの相互作用である。 本研究では,拡散モデルにおける入力画像のプログレッシブな編集において,テキスト埋め込みが一定であることを示す。 画像の埋め込みが初期状態から分岐するにつれて、画像とテキストの埋め込みの相違は重大な課題となる。 さらに,本文はドラッギングプロセス,特にコンテンツ整合性の維持と操作の達成に大きく影響していることがわかった。 これらの知見を活用するために、DragTextを提案する。DragTextは、テキストの埋め込みをドラッグ処理と組み合わせて最適化し、修正された画像埋め込みと組み合わせる。 同時に、原文プロンプトの整合性を維持するために、テキスト最適化プロセスの定期化を行う。 私たちのアプローチは、数行のコードだけで、既存の拡散ベースのドラッグメソッドとシームレスに統合できます。

関連論文リスト

• Prompt-Softbox-Prompt: A free-text Embedding Control for Image Editing [10.12329842607126]
  テキスト埋め込みの絡み合いと不透明さは、正確な画像編集を実現する上で重要な課題である。 PSP (Prompt-Softbox-Prompt) と呼ばれる自由テキスト埋め込み制御方式を用いた新しい画像編集手法を提案する。 PSPは、クロスアテンション層にテキスト埋め込みを挿入または追加し、Softboxを使用してセマンティックインジェクションの特定の領域を定義し制御することで、正確な画像編集を可能にする。
  論文  参考訳（メタデータ） (2024-08-24T16:33:26Z)
• E4C: Enhance Editability for Text-Based Image Editing by Harnessing Efficient CLIP Guidance [13.535394339438428]
  拡散ベースの画像編集は、ソースイメージコンテンツを保存し、新しいコンテンツを生成したり、修正を加えたりする複合プロセスである。 テキストベースのtextbf 編集のための textbfCLIP 誘導によるゼロショット画像編集手法である textbfEnhance textbfEditability を提案する。
  論文  参考訳（メタデータ） (2024-03-15T09:26:48Z)
• Latent Inversion with Timestep-aware Sampling for Training-free Non-rigid Editing [56.536695050042546]
  安定拡散を用いた非剛性編集のための学習自由アプローチを提案する。 提案手法は,テキスト最適化,潜時反転,タイムステップ対応テキストインジェクションサンプリングの3段階からなる。 本手法の有効性を,アイデンティティの保存,編集性,美的品質の観点から示す。
  論文  参考訳（メタデータ） (2024-02-13T17:08:35Z)
• Unified Diffusion-Based Rigid and Non-Rigid Editing with Text and Image Guidance [15.130419159003816]
  本稿では,厳密な編集と非厳密な編集の両方を実行できる多用途画像編集フレームワークを提案する。 我々は、多種多様な編集シナリオを扱うために、デュアルパスインジェクション方式を利用する。 外観と構造情報の融合のための統合自己認識機構を導入する。
  論文  参考訳（メタデータ） (2024-01-04T08:21:30Z)
• Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using Diffusion Models [63.99110667987318]
  DiffTextは、前景のテキストと背景の本質的な特徴をシームレスにブレンドするパイプラインです。 テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。
  論文  参考訳（メタデータ） (2023-11-28T06:51:28Z)
• Zero-shot Image-to-Image Translation [57.46189236379433]
  手動のプロンプトを使わずに元の画像を保存できる画像から画像への変換法であるpix2pix-zeroを提案する。 本稿では,拡散過程全体を通して入力画像の相互注意マップを維持することを目的とした,相互注意誘導を提案する。 本手法では,これらの編集のための追加のトレーニングを必要とせず,既存のテキスト・画像拡散モデルを直接使用することができる。
  論文  参考訳（メタデータ） (2023-02-06T18:59:51Z)
• Towards Arbitrary Text-driven Image Manipulation via Space Alignment [49.3370305074319]
  スペースアライメント(TMSA)を用いた新しいテキスト駆動画像操作フレームワークを提案する。 TMSAはCLIPとStyleGAN空間で同じセマンティック領域を整列することを目的としている。 このフレームワークは、追加コストなしで任意の画像編集モードをサポートすることができる。
  論文  参考訳（メタデータ） (2023-01-25T16:20:01Z)
• Imagen Editor and EditBench: Advancing and Evaluating Text-Guided Image Inpainting [53.708523312636096]
  本稿では,テキスト誘導画像のインペイントを微調整し,カスケード拡散モデルであるImagen Editorを提案する。 編集はテキストプロンプトに忠実で、オブジェクト検出器を使用してトレーニング中に塗装マスクを提案する。 質的,定量的な評価を改善するために,テキスト誘導画像の塗り絵の体系的ベンチマークであるEditBenchを導入する。
  論文  参考訳（メタデータ） (2022-12-13T21:25:11Z)
• Interactive Image Manipulation with Complex Text Instructions [14.329411711887115]
  複雑なテキスト命令を用いてインタラクティブに画像を編集する新しい画像操作法を提案する。 ユーザーは画像操作の精度を向上できるだけでなく、拡大、縮小、オブジェクトの削除といった複雑なタスクも実現できる。 CUB(Caltech-UCSD Birds-200-2011)データセットとMicrosoft Common Objects in Context(MSCOCO)データセットの大規模な実験により、提案手法がリアルタイムにインタラクティブで柔軟で正確な画像操作を可能にすることを示す。
  論文  参考訳（メタデータ） (2022-11-25T08:05:52Z)
• DiffEdit: Diffusion-based semantic image editing with mask guidance [64.555930158319]
  DiffEditは、セマンティック画像編集のタスクにテキスト条件付き拡散モデルを利用する方法である。 私たちの主なコントリビューションは、編集が必要な入力画像の領域をハイライトするマスクを自動的に生成できることです。
  論文  参考訳（メタデータ） (2022-10-20T17:16:37Z)
• Prompt-to-Prompt Image Editing with Cross Attention Control [41.26939787978142]
  本稿では,テキストのみによる編集を行う直感的なプロンプト・プロンプト編集フレームワークを提案する。 様々な画像やプロンプトに対して結果を示し、高品質な合成と忠実さを編集されたプロンプトに示す。
  論文  参考訳（メタデータ） (2022-08-02T17:55:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。