論文の概要: Reference-based Painterly Inpainting via Diffusion: Crossing the Wild Reference Domain Gap

• arxiv url: http://arxiv.org/abs/2307.10584v1
• Date: Thu, 20 Jul 2023 04:51:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 14:38:31.123480
• Title: Reference-based Painterly Inpainting via Diffusion: Crossing the Wild Reference Domain Gap
• Title（参考訳）: 拡散を経由する参照ベースの画家的インペインティング:野生参照ドメインギャップを横断する
• Authors: Dejia Xu, Xingqian Xu, Wenyan Cong, Humphrey Shi, Zhangyang Wang
• Abstract要約: RefPaintは、野生の参照ドメインギャップを横断して、新しいオブジェクトをアートワークに埋め込む新しいタスクである。 提案手法は,他の方法では達成し難い参照オブジェクトで絵を描くことができる。
• 参考スコア（独自算出の注目度）: 80.19252970827552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Have you ever imagined how it would look if we placed new objects into paintings? For example, what would it look like if we placed a basketball into Claude Monet's ``Water Lilies, Evening Effect''? We propose Reference-based Painterly Inpainting, a novel task that crosses the wild reference domain gap and implants novel objects into artworks. Although previous works have examined reference-based inpainting, they are not designed for large domain discrepancies between the target and the reference, such as inpainting an artistic image using a photorealistic reference. This paper proposes a novel diffusion framework, dubbed RefPaint, to ``inpaint more wildly'' by taking such references with large domain gaps. Built with an image-conditioned diffusion model, we introduce a ladder-side branch and a masked fusion mechanism to work with the inpainting mask. By decomposing the CLIP image embeddings at inference time, one can manipulate the strength of semantic and style information with ease. Experiments demonstrate that our proposed RefPaint framework produces significantly better results than existing methods. Our method enables creative painterly image inpainting with reference objects that would otherwise be difficult to achieve. Project page: https://vita-group.github.io/RefPaint/
• Abstract（参考訳）: 絵に新しい物体を入れたらどうなるか想像したことがありますか? 例えば、クロード・モネ(claude monet)の『water lilies, evening effect』にバスケットボールを入れるとどうなるか? 本研究では,参照ドメインギャップを越え,新しいオブジェクトをアートワークに埋め込む新しいタスクであるPaterly Inpaintingを提案する。 これまでの文献では, 対象と参照との間に大きな領域不一致を考慮せず, フォトリアリスティックな参照を用いて, 芸術的イメージを描けるように設計されている。 本稿では,'inpaint more wildly'と呼ばれる新しい拡散フレームワークを提案する。 画像条件付き拡散モデルを用いて構築され,塗布マスクで動作するラダーサイドブランチとマスク融合機構を導入する。 CLIPイメージの埋め込みを推論時に分解することで、セマンティックな情報とスタイル情報の強度を容易に操作できる。 実験により,提案するrefpaintフレームワークが既存の手法よりもはるかに優れた結果をもたらすことを実証した。 提案手法は,他の方法では達成し難い参照オブジェクトで絵を描くことができる。 プロジェクトページ: https://vita-group.github.io/RefPaint/

関連論文リスト

• Inverse Painting: Reconstructing The Painting Process [24.57538165449989]
  我々はこれを自己回帰画像生成問題として定式化し、初期空白の「キャンバス」を反復的に更新する。 モデルは、多くのペイントビデオのトレーニングによって、実際のアーティストから学習する。
  論文  参考訳（メタデータ） (2024-09-30T17:56:52Z)
• RefFusion: Reference Adapted Diffusion Models for 3D Scene Inpainting [63.567363455092234]
  RefFusionは,画像インペイント拡散モデルのマルチスケールパーソナライズに基づく,新しい3Dインペイント手法である。 我々のフレームワークは、制御性を維持しながら、オブジェクト除去の最先端の成果を達成する。
  論文  参考訳（メタデータ） (2024-04-16T17:50:02Z)
• RealFill: Reference-Driven Generation for Authentic Image Completion [84.98377627001443]
  RealFillは、シーンの参照画像のみを使用してパーソナライズされた生成的インペイントモデルである。 RealFillは、オリジナルシーンに忠実な視覚的に魅力的なコンテンツでターゲットイメージを完成させることができます。
  論文  参考訳（メタデータ） (2023-09-28T17:59:29Z)
• Inst-Inpaint: Instructing to Remove Objects with Diffusion Models [18.30057229657246]
  本研究では,自然言語入力に基づいて除去対象を推定し,同時に除去する画像インペイントアルゴリズムに興味を持つ。 本稿では,テキストプロンプトとして与えられた命令に基づいて画像からオブジェクトを除去する新しいインペイントフレームワークInst-Inpaintを提案する。
  論文  参考訳（メタデータ） (2023-04-06T17:29:50Z)
• Perceptual Artifacts Localization for Inpainting [60.5659086595901]
  そこで本研究では,知覚的アーティファクトの自動セグメンテーションの学習タスクを提案する。 データセット上で高度なセグメンテーションネットワークをトレーニングし、インペイントされた画像内のインペイントされたアーティファクトを確実にローカライズする。 また, 対象領域と対象領域全体との比率である知覚人工物比 (PAR) という新しい評価指標を提案する。
  論文  参考訳（メタデータ） (2022-08-05T18:50:51Z)
• Cylin-Painting: Seamless {360\textdegree} Panoramic Image Outpainting and Beyond [136.18504104345453]
  塗り絵と塗り絵の間に有意義な協調関係を持つキリン塗り絵の枠組みを提示する。 提案アルゴリズムは、オブジェクト検出、深さ推定、画像超解像などの他のパノラマ視覚タスクに効果的に拡張できる。
  論文  参考訳（メタデータ） (2022-04-18T21:18:49Z)
• Markpainting: Adversarial Machine Learning meets Inpainting [17.52885087481822]
  インペインティング(英: Inpainting)とは、画像にマスクや欠落したピースを投入する学習技法である。 塗り絵モデルにアクセスできる画像所有者が、そのモデルを使って編集しようとすると、任意の可視情報を追加するように、どのようにイメージを増大させることができるかを示す。 私たちのマークペイント技術は、異なるアーキテクチャを持つモデルや異なるデータセットでトレーニングされたモデルに転送可能であることを示します。
  論文  参考訳（メタデータ） (2021-06-01T17:45:52Z)
• In&Out : Diverse Image Outpainting via GAN Inversion [89.84841983778672]
  image outpaintingは、利用可能なコンテンツを超えて、入力画像の意味的に一貫した拡張を求める。 本研究では、生成的対向ネットワークの反転の観点から問題を定式化する。 私達の発電機はイメージの彼らの共同潜入コードそして個々の位置で調節されるマイクロ パッチをレンダリングします。
  論文  参考訳（メタデータ） (2021-04-01T17:59:10Z)
• Paint by Word [32.05329583044764]
  ゼロショット・セマンティック・イメージ・ペインティングの問題点について検討する。 具体的な色やセマンティックな概念の有限セットのみを用いて画像に修正を描き込む代わりに、オープンなフルテキスト記述に基づいてセマンティックペイントを作成する方法について尋ねる。 本手法は,現実的な画像の最先端生成モデルと,最先端のテキスト画像意味的類似性ネットワークを組み合わせる。
  論文  参考訳（メタデータ） (2021-03-19T17:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。