論文の概要: CorrFill: Enhancing Faithfulness in Reference-based Inpainting with Correspondence Guidance in Diffusion Models

• arxiv url: http://arxiv.org/abs/2501.02355v1
• Date: Sat, 04 Jan 2025 18:31:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:07:23.911743
• Title: CorrFill: Enhancing Faithfulness in Reference-based Inpainting with Correspondence Guidance in Diffusion Models
• Title（参考訳）: CorrFill: 拡散モデルにおける対応誘導による参照ベース塗装における忠実度向上
• Authors: Kuan-Hung Liu, Cheng-Kun Yang, Min-Hung Chen, Yu-Lun Liu, Yen-Yu Lin,
• Abstract要約: 基準画像と対象画像との幾何的相関の認識を高めるために設計されたトレーニングフリーモジュールであるCorrFillを提案する。 実験の結果,CorrFillは複数のベースライン拡散法の性能を著しく向上させることがわかった。
• 参考スコア（独自算出の注目度）: 21.798183378799667
• License:
• Abstract: In the task of reference-based image inpainting, an additional reference image is provided to restore a damaged target image to its original state. The advancement of diffusion models, particularly Stable Diffusion, allows for simple formulations in this task. However, existing diffusion-based methods often lack explicit constraints on the correlation between the reference and damaged images, resulting in lower faithfulness to the reference images in the inpainting results. In this work, we propose CorrFill, a training-free module designed to enhance the awareness of geometric correlations between the reference and target images. This enhancement is achieved by guiding the inpainting process with correspondence constraints estimated during inpainting, utilizing attention masking in self-attention layers and an objective function to update the input tensor according to the constraints. Experimental results demonstrate that CorrFill significantly enhances the performance of multiple baseline diffusion-based methods, including state-of-the-art approaches, by emphasizing faithfulness to the reference images.
• Abstract（参考訳）: 参照ベース画像の塗装作業において、損傷した対象画像を元の状態に復元する追加の参照画像が提供される。 拡散モデルの進歩、特に安定拡散は、このタスクで単純な定式化を可能にする。 しかし, 既存の拡散法では, 基準画像と損傷画像との相関関係に明確な制約を欠くことが多く, その結果, 塗装結果の基準画像への忠実度は低下する。 本研究では,参照画像と対象画像との幾何的相関の認識を高めるために設計されたトレーニングフリーモジュールであるCorrFillを提案する。 この強化は、塗布中に推定される対応制約で塗布工程を案内し、自己注意層における注意マスキングと、その制約に応じて入力テンソルを更新する目的関数を活用することにより達成される。 実験により,CorrFillは参照画像への忠実さを強調することによって,最先端のアプローチを含む複数のベースライン拡散法の性能を著しく向上することが示された。

関連論文リスト

• Oscillation Inversion: Understand the structure of Large Flow Model through the Lens of Inversion Method [60.88467353578118]
  実世界のイメージを逆転させる固定点インスパイアされた反復的アプローチは収束を達成せず、異なるクラスタ間で振動することを示す。 本稿では,画像強調,ストロークベースのリカラー化,および視覚的プロンプト誘導画像編集を容易にする,シンプルで高速な分布転送手法を提案する。
  論文  参考訳（メタデータ） (2024-11-17T17:45:37Z)
• PrefPaint: Aligning Image Inpainting Diffusion Model with Human Preference [62.72779589895124]
  画像インペイントのための拡散モデルと人間の審美基準との整合性を、強化学習フレームワークを用いて初めて試みる。 我々は、人間の好みを付加した約51,000枚の画像からなるデータセットで報酬モデルを訓練する。 画像拡張や3次元再構成などの下流タスクの塗装比較実験により, 提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-10-29T11:49:39Z)
• Robust Classification by Coupling Data Mollification with Label Smoothing [25.66357344079206]
  本稿では,ラベルのスムーズ化を図り,ラベルの信頼度を画像劣化と整合させることにより,画像のノイズ化とぼやけという形でデータモリフィケーションを結合する手法を提案する。 CIFARおよびTinyImageNetデータセットの劣化画像ベンチマークにおいて、ロバスト性および不確実性の向上を実証した。
  論文  参考訳（メタデータ） (2024-06-03T16:21:29Z)
• DiffHarmony: Latent Diffusion Model Meets Image Harmonization [11.500358677234939]
  拡散モデルは画像から画像への翻訳タスクの迅速な開発を促進する。 スクラッチからの微調整事前学習潜伏拡散モデルは計算集約的である。 本稿では,事前学習した潜伏拡散モデルを画像調和タスクに適用し,調和性はあるが曖昧な初期画像を生成する。
  論文  参考訳（メタデータ） (2024-04-09T09:05:23Z)
• Enhancing Semantic Fidelity in Text-to-Image Synthesis: Attention Regulation in Diffusion Models [23.786473791344395]
  拡散モデルにおけるクロスアテンション層は、生成プロセス中に特定のトークンに不均等に集中する傾向がある。 本研究では,アテンションマップと入力テキストプロンプトを一致させるために,アテンション・レギュレーション(アテンション・レギュレーション)という,オン・ザ・フライの最適化手法を導入する。 実験結果から,本手法が他のベースラインより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-11T02:18:27Z)
• JoReS-Diff: Joint Retinex and Semantic Priors in Diffusion Model for Low-light Image Enhancement [69.6035373784027]
  低照度画像強調(LLIE)は条件付き拡散モデルを用いて有望な性能を実現している。 従来手法は、タスク固有の条件戦略の十分な定式化の重要性を無視するものであった。 本稿では,Retinex および semantic-based pre-processing condition を付加した新しいアプローチである JoReS-Diff を提案する。
  論文  参考訳（メタデータ） (2023-12-20T08:05:57Z)
• Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
  我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。 このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。 様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2023-08-28T08:47:06Z)
• LLDiffusion: Learning Degradation Representations in Diffusion Models for Low-Light Image Enhancement [118.83316133601319]
  現在の低照度画像強調(LLIE)の深層学習法は、通常、ペア化されたデータから学んだピクセルワイドマッピングに依存している。 本稿では,拡散モデルを用いたLLIEの劣化認識学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-27T07:22:51Z)
• Towards Coherent Image Inpainting Using Denoising Diffusion Implicit Models [43.83732051916894]
  ミスマッチを伴わずに全体像をコヒーレントに描けるCOPAINTを提案する。 COPAINTはまた、ベイジアンフレームワークを使用して、明らかにされていない領域と未公開領域の両方を共同で修正している。 実験により,COPAINTは,客観的,主観的両方の指標の下で,既存の拡散法よりも優れていることを確認した。
  論文  参考訳（メタデータ） (2023-04-06T18:35:13Z)
• Learning Discriminative Shrinkage Deep Networks for Image Deconvolution [122.79108159874426]
  本稿では,これらの用語を暗黙的にモデル化する識別的縮小関数を学習することで,効果的に非盲検デコンボリューション手法を提案する。 実験結果から,提案手法は最先端の手法に対して,効率と精度の点で好適に動作することがわかった。
  論文  参考訳（メタデータ） (2021-11-27T12:12:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。