論文の概要: EditCLIP: Representation Learning for Image Editing

• arxiv url: http://arxiv.org/abs/2503.20318v1
• Date: Wed, 26 Mar 2025 08:36:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:20:28.709686
• Title: EditCLIP: Representation Learning for Image Editing
• Title（参考訳）: EditCLIP:画像編集のための表現学習
• Authors: Qian Wang, Aleksandar Cvejic, Abdelrahman Eldesokey, Peter Wonka,
• Abstract要約: 画像編集のための表現学習手法であるEditCLIPを紹介する。 InstructPix2Pixのテキストベースの命令を参照例画像ペアから計算したEditCLIP埋め込みに置き換える。 自動評価のために、EditCLIPは、所定の画像対のEditCLIP埋め込みとテキスト編集命令または他の参照画像対のEditCLIP埋め込みの類似度を測定することにより、画像編集を評価する。
• 参考スコア（独自算出の注目度）: 80.90787415853626
• License:
• Abstract: We introduce EditCLIP, a novel representation-learning approach for image editing. Our method learns a unified representation of edits by jointly encoding an input image and its edited counterpart, effectively capturing their transformation. To evaluate its effectiveness, we employ EditCLIP to solve two tasks: exemplar-based image editing and automated edit evaluation. In exemplar-based image editing, we replace text-based instructions in InstructPix2Pix with EditCLIP embeddings computed from a reference exemplar image pair. Experiments demonstrate that our approach outperforms state-of-the-art methods while being more efficient and versatile. For automated evaluation, EditCLIP assesses image edits by measuring the similarity between the EditCLIP embedding of a given image pair and either a textual editing instruction or the EditCLIP embedding of another reference image pair. Experiments show that EditCLIP aligns more closely with human judgments than existing CLIP-based metrics, providing a reliable measure of edit quality and structural preservation.
• Abstract（参考訳）: 画像編集のための新しい表現学習手法であるEditCLIPを紹介する。 本手法は,入力画像とその編集画像を共同で符号化することで編集の統一表現を学習し,その変換を効果的にキャプチャする。 その有効性を評価するために、私たちはEditCLIPを使用して、模範的な画像編集と自動編集評価という2つの課題を解決する。 InstructPix2Pixのテキストベースの命令を参照例画像ペアから計算したEditCLIP埋め込みに置き換える。 実験により,本手法は最先端手法よりも効率が高く,汎用性が高いことがわかった。 自動評価のために、EditCLIPは、所定の画像対のEditCLIP埋め込みとテキスト編集命令または他の参照画像対のEditCLIP埋め込みの類似度を測定することにより、画像編集を評価する。 実験によると、EditCLIPは既存のCLIPベースのメトリクスよりも人間の判断と密接に一致しており、編集品質と構造保存の信頼性の高い尺度を提供する。

関連論文リスト

• UIP2P: Unsupervised Instruction-based Image Editing via Cycle Edit Consistency [69.33072075580483]
  本研究では,教師なしの教師なし画像編集モデルを提案する。 CEC(Cycle Edit Consistency)と呼ばれる新しい編集機構を導入することで,これらの課題に対処する。 CECは1つのトレーニングステップで前方と後方の編集を適用し、画像と注意空間の一貫性を強制する。
  論文  参考訳（メタデータ） (2024-12-19T18:59:58Z)
• E4C: Enhance Editability for Text-Based Image Editing by Harnessing Efficient CLIP Guidance [13.535394339438428]
  拡散ベースの画像編集は、ソースイメージコンテンツを保存し、新しいコンテンツを生成したり、修正を加えたりする複合プロセスである。 テキストベースのtextbf 編集のための textbfCLIP 誘導によるゼロショット画像編集手法である textbfEnhance textbfEditability を提案する。
  論文  参考訳（メタデータ） (2024-03-15T09:26:48Z)
• Optimisation-Based Multi-Modal Semantic Image Editing [58.496064583110694]
  本稿では,複数の編集命令型に対応するために,推論時編集の最適化を提案する。 各損失関数の影響を調整することで、ユーザの好みに合わせてフレキシブルな編集ソリューションを構築することができる。 本手法は,テキスト,ポーズ,スクリブルといった編集条件を用いて評価し,複雑な編集を行う能力を強調した。
  論文  参考訳（メタデータ） (2023-11-28T15:31:11Z)
• Object-aware Inversion and Reassembly for Image Editing [61.19822563737121]
  オブジェクトレベルのきめ細かい編集を可能にするために,オブジェクト認識型インバージョンと再アセンブリ(OIR)を提案する。 画像の編集時に各編集ペアに対して最適な反転ステップを見つけるために,検索基準を用いる。 本手法は,オブジェクトの形状,色,材料,カテゴリなどの編集において,特に多目的編集シナリオにおいて優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-10-18T17:59:02Z)
• CLIP-Guided StyleGAN Inversion for Text-Driven Real Image Editing [22.40686064568406]
  提案するCLIPInverterは,複数属性の変更を効率よく,かつ確実に行うことのできる,テキスト駆動型画像編集手法である。 本手法は,人間の顔,猫,鳥など,さまざまな領域における操作精度とフォトリアリズムにおいて,競合するアプローチよりも優れる。
  論文  参考訳（メタデータ） (2023-07-17T11:29:48Z)
• Imagen Editor and EditBench: Advancing and Evaluating Text-Guided Image Inpainting [53.708523312636096]
  本稿では,テキスト誘導画像のインペイントを微調整し,カスケード拡散モデルであるImagen Editorを提案する。 編集はテキストプロンプトに忠実で、オブジェクト検出器を使用してトレーニング中に塗装マスクを提案する。 質的,定量的な評価を改善するために,テキスト誘導画像の塗り絵の体系的ベンチマークであるEditBenchを導入する。
  論文  参考訳（メタデータ） (2022-12-13T21:25:11Z)
• EditGAN: High-Precision Semantic Image Editing [120.49401527771067]
  EditGANは高品質で高精度なセマンティック画像編集のための新しい手法である。 EditGANは前例のない細部と自由度で画像を操作可能であることを示す。 また、複数の編集を組み合わせることも簡単で、EditGANのトレーニングデータ以外の編集も可能になります。
  論文  参考訳（メタデータ） (2021-11-04T22:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。