論文の概要: FreeInpaint: Tuning-free Prompt Alignment and Visual Rationality Enhancement in Image Inpainting

• arxiv url: http://arxiv.org/abs/2512.21104v1
• Date: Wed, 24 Dec 2025 11:06:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-25 19:43:21.761655
• Title: FreeInpaint: Tuning-free Prompt Alignment and Visual Rationality Enhancement in Image Inpainting
• Title（参考訳）: FreeInpaint: 画像処理における調整不要なプロンプトアライメントと視覚性向上
• Authors: Chao Gong, Dong Li, Yingwei Pan, Jingjing Chen, Ting Yao, Tao Mei,
• Abstract要約: ユーザからのテキストプロンプトを用いて,画像の特定領域内で新たなコンテンツを生成する。 FreeInpaintは,画像の忠実度を向上させるために,インジェクション中の拡散潜水剤を直接最適化する,プラグアンドプレイのチューニング不要な手法である。
• 参考スコア（独自算出の注目度）: 98.04041133839088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-guided image inpainting endeavors to generate new content within specified regions of images using textual prompts from users. The primary challenge is to accurately align the inpainted areas with the user-provided prompts while maintaining a high degree of visual fidelity. While existing inpainting methods have produced visually convincing results by leveraging the pre-trained text-to-image diffusion models, they still struggle to uphold both prompt alignment and visual rationality simultaneously. In this work, we introduce FreeInpaint, a plug-and-play tuning-free approach that directly optimizes the diffusion latents on the fly during inference to improve the faithfulness of the generated images. Technically, we introduce a prior-guided noise optimization method that steers model attention towards valid inpainting regions by optimizing the initial noise. Furthermore, we meticulously design a composite guidance objective tailored specifically for the inpainting task. This objective efficiently directs the denoising process, enhancing prompt alignment and visual rationality by optimizing intermediate latents at each step. Through extensive experiments involving various inpainting diffusion models and evaluation metrics, we demonstrate the effectiveness and robustness of our proposed FreeInpaint.
• Abstract（参考訳）: ユーザからのテキストプロンプトを用いて,画像の特定領域内で新たなコンテンツを生成する。 主な課題は、視覚的忠実度を高く保ちながら、塗布された領域をユーザが提供するプロンプトと正確に整合させることである。 既存の塗装法は、事前訓練されたテキスト-画像拡散モデルを活用することで、視覚的に説得力のある結果を生み出してきたが、彼らは、迅速なアライメントと視覚的合理性の両方を同時に維持することに苦慮している。 本研究は,提案手法を用いて,画像の忠実度を向上させるために,フライ時の拡散潜水剤を直接最適化するプラグイン・アンド・プレイ・チューニングフリーな手法であるFreeInpaintを紹介する。 技術的には、初期雑音を最適化することで、有効な塗装領域に注意を向ける事前誘導雑音最適化手法を導入する。 さらに,塗装作業に適した複合誘導目標を慎重に設計する。 この目的は、各段階における中間潜伏者を最適化することにより、素早いアライメントと視覚的合理性を向上する。 様々な塗布拡散モデルと評価指標を含む広範囲な実験を通して,提案したFreeInpaintの有効性とロバスト性を実証した。

関連論文リスト

• GuidPaint: Class-Guided Image Inpainting with Diffusion Models [1.1902474395094222]
  GuidPaintは、トレーニング不要でクラス誘導型画像インペイントフレームワークである。 GuidPaintは、定性評価と定量的評価の両方において、既存の文脈認識の塗り絵法よりも明らかに改善されていることを示す。
  論文  参考訳（メタデータ） (2025-07-29T09:36:52Z)
• Towards Seamless Borders: A Method for Mitigating Inconsistencies in Image Inpainting and Outpainting [22.46566055053259]
  拡散型塗布モデルにおける不一致問題に対処する2つの新しい手法を提案する。 まず,色不均衡を補正する修正変分オートエンコーダを導入する。 次に,拡散過程において生成した画像と既存の画像のブレンディングを改善するための2段階のトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-14T15:02:56Z)
• PrefPaint: Aligning Image Inpainting Diffusion Model with Human Preference [62.72779589895124]
  画像インペイントのための拡散モデルと人間の審美基準との整合性を、強化学習フレームワークを用いて初めて試みる。 我々は、人間の好みを付加した約51,000枚の画像からなるデータセットで報酬モデルを訓練する。 画像拡張や3次元再構成などの下流タスクの塗装比較実験により, 提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-10-29T11:49:39Z)
• FreeEnhance: Tuning-Free Image Enhancement via Content-Consistent Noising-and-Denoising Process [120.91393949012014]
  FreeEnhanceは、既製の画像拡散モデルを用いたコンテンツ一貫性のある画像強調のためのフレームワークである。 ノイズ発生段階では、FreeEnhanceは、元の画像の高頻度パターンを保存するために、より周波数の高い領域により軽いノイズを加えるように考案されている。 この段階では3つの目標特性を予測された雑音の規則化の制約として提示し,高精度で視覚的品質の高い画像の強調を行う。
  論文  参考訳（メタデータ） (2024-09-11T17:58:50Z)
• Coherent and Multi-modality Image Inpainting via Latent Space Optimization [61.99406669027195]
  PILOT(intextbfPainting vtextbfIa textbfOptextbfTimization)は、新しいテキストセマンティック中央化とテキストセマンティック保存損失に基づく最適化手法である。 本手法は,背景とのコヒーレンスを維持しつつ,ユーザが提供するプロンプトに対して高い忠実度を示す塗装領域を生成できる潜時空間を探索する。
  論文  参考訳（メタデータ） (2024-07-10T19:58:04Z)
• HD-Painter: High-Resolution and Prompt-Faithful Text-Guided Image Inpainting with Diffusion Models [59.01600111737628]
  HD-Painterはトレーニングフリーのアプローチで、プロンプトを正確に追従し、高解像度の画像インパインティングにコヒーレントにスケールする。 そこで我々は,自己注意スコアを向上するPrompt-Aware Introverted Attention (PAIntA) 層を設計した。 実験の結果,HD-Painterは既存の最先端アプローチを定量的に,質的に超越していることがわかった。
  論文  参考訳（メタデータ） (2023-12-21T18:09:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。