論文の概要: Inpainting at Modern Camera Resolution by Guided PatchMatch with Auto-Curation

• arxiv url: http://arxiv.org/abs/2208.03552v1
• Date: Sat, 6 Aug 2022 17:59:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-09 13:21:06.576390
• Title: Inpainting at Modern Camera Resolution by Guided PatchMatch with Auto-Curation
• Title（参考訳）: オートキュレーションを用いた誘導パッチマッチングによる現代のカメラ解像度のインペインティング
• Authors: Lingzhi Zhang, Connelly Barnes, Kevin Wampler, Sohrab Amirghodsi, Eli Shechtman, Zhe Lin, Jianbo Shi
• Abstract要約: ディープモデルは低解像度画像の塗装にSOTAの性能を確立してきたが、4K以上の現代のカメラに付随する解像度に忠実さは欠如している。 ディープラーニングと従来の手法を組み合わせた新しいフレームワークを実証する。
• 参考スコア（独自算出の注目度）: 50.99775798080724
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, deep models have established SOTA performance for low-resolution image inpainting, but they lack fidelity at resolutions associated with modern cameras such as 4K or more, and for large holes. We contribute an inpainting benchmark dataset of photos at 4K and above representative of modern sensors. We demonstrate a novel framework that combines deep learning and traditional methods. We use an existing deep inpainting model LaMa to fill the hole plausibly, establish three guide images consisting of structure, segmentation, depth, and apply a multiply-guided PatchMatch to produce eight candidate upsampled inpainted images. Next, we feed all candidate inpaintings through a novel curation module that chooses a good inpainting by column summation on an 8x8 antisymmetric pairwise preference matrix. Our framework's results are overwhelmingly preferred by users over 8 strong baselines, with improvements of quantitative metrics up to 7.4 over the best baseline LaMa, and our technique when paired with 4 different SOTA inpainting backbones improves each such that ours is overwhelmingly preferred by users over a strong super-res baseline.
• Abstract（参考訳）: 近年、深部モデルでは低解像度画像の塗装にSOTAの性能が確立されているが、4K以上の近代カメラや大穴の分解能に欠ける。 我々は、4kおよび現代のセンサーの代表的な画像のインペインティングベンチマークデータセットに寄与する。 深層学習と従来の手法を組み合わせた新しい枠組みを提案する。 既存の深層塗装モデルlamaを用いて, 穴を適切に埋め, 構造, セグメント化, 深さ, および多重誘導パッチマッチングによる3つのガイド画像を構築し, アップサンプリングした8つの画像を生成する。 次に,8x8の非対称な対の選好行列上で,カラム和による良好な着色を選択する新しいキュレーションモジュールを通じて,すべての候補の着色をフィードする。 私たちのフレームワークの結果は、8つの強力なベースライン以上のユーザによって圧倒的に好まれており、最高のベースラインlamaよりも7.4までの定量的メトリクスが改善されています。

関連論文リスト

• HD-Painter: High-Resolution and Prompt-Faithful Text-Guided Image Inpainting with Diffusion Models [59.01600111737628]
  HD-Painterはトレーニングフリーのアプローチで、プロンプトを正確に追従し、高解像度の画像インパインティングにコヒーレントにスケールする。 そこで我々は,自己注意スコアを向上するPrompt-Aware Introverted Attention (PAIntA) 層を設計した。 実験の結果,HD-Painterは既存の最先端アプローチを定量的に,質的に超越していることがわかった。
  論文  参考訳（メタデータ） (2023-12-21T18:09:30Z)
• Segmentation-Based Parametric Painting [22.967620358813214]
  本研究では,人間のような質とスタイルのバリエーションを持つ大規模で高忠実な絵画の作成を容易にする,新しい画像から絵画へのアプローチを提案する。 我々は,人間の絵画戦略に触発されたセグメンテーションに基づく絵画プロセスとダイナミックアテンションマップアプローチを導入する。 最適化されたバッチ処理とパッチベースの損失フレームワークは、大きなキャンバスの効率的な処理を可能にします。
  論文  参考訳（メタデータ） (2023-11-24T04:15:10Z)
• Kandinsky: an Improved Text-to-Image Synthesis with Image Prior and Latent Diffusion [50.59261592343479]
  本稿では、潜伏拡散アーキテクチャの新しい探索であるKandinsky1を紹介する。 提案したモデルは、CLIPのイメージ埋め込みにテキスト埋め込みをマッピングするために別々に訓練されている。 また,テキスト・ツー・イメージ生成,画像融合,テキスト・画像融合,画像のバリエーション生成,テキスト・インペイント/アウトペイントなど,多様な生成モードをサポートするユーザフレンドリーなデモシステムも展開した。
  論文  参考訳（メタデータ） (2023-10-05T12:29:41Z)
• Towards Efficient and Scale-Robust Ultra-High-Definition Image Demoireing [71.62289021118983]
  本研究では、4Kモアレ画像に対処する効率的なベースラインモデルESDNetを提案する。 我々の手法は、より軽量でありながら、最先端の手法よりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2022-07-20T14:20:52Z)
• MAT: Mask-Aware Transformer for Large Hole Image Inpainting [79.67039090195527]
  本稿では, 変圧器と畳み込みの利点を統一する, 大穴塗装の新しいモデルを提案する。 実験では、複数のベンチマークデータセット上で、新しいモデルの最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-03-29T06:36:17Z)
• Improve Deep Image Inpainting by Emphasizing the Complexity of Missing Regions [20.245637164975594]
  本稿では,古典的画像複雑性メトリクスの助けを借りて,ディープイメージのインペイントモデルを強化する。 学習手順におけるバッチ選択を導くために、不足複雑性と前方損失からなる知識支援指標を示す。 我々は,最近開発された様々なデータセットに対する画像インペイントモデルの改良を実験的に実証した。
  論文  参考訳（メタデータ） (2022-02-13T09:14:52Z)
• Texture Memory-Augmented Deep Patch-Based Image Inpainting [121.41395272974611]
  本研究では,未成熟領域から抽出したパッチサンプルのテクスチャメモリによってテクスチャ生成をガイドする,新しいディープ・インペイント・フレームワークを提案する。 このフレームワークは、テクスチャメモリの検索を、ディープ・インパインティング・ネットワークでエンドツーエンドにトレーニングできる新しい設計である。 提案手法は,3つの課題の画像ベンチマークにおいて,質的かつ定量的に優れた性能を示す。
  論文  参考訳（メタデータ） (2020-09-28T12:09:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。