論文の概要: GLaMa: Joint Spatial and Frequency Loss for General Image Inpainting
- arxiv url: http://arxiv.org/abs/2205.07162v1
- Date: Sun, 15 May 2022 02:18:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-17 17:01:23.625243
- Title: GLaMa: Joint Spatial and Frequency Loss for General Image Inpainting
- Title（参考訳）: GLaMa: 一般的な画像塗布のための共同空間・周波数損失
- Authors: Zeyu Lu and Junjun Jiang and Junqin Huang and Gang Wu and Xianming Liu
- Abstract要約: 画像インパインティングの目的は、残部からコンテキスト情報を用いて傷跡や損傷領域を復元することである。
本稿では、GLaMaと呼ばれるLaMa画像の塗布フレームワークに基づいて、この問題を簡易かつ汎用的に解決する手法を提案する。
提案したGLaMaは、より多くの種類のマスクを使用することで、様々な種類の行方不明情報をよりよくキャプチャできる。
- 参考スコア（独自算出の注目度）: 44.04779984090629
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The purpose of image inpainting is to recover scratches and damaged areas
using context information from remaining parts. In recent years, thanks to the
resurgence of convolutional neural networks (CNNs), image inpainting task has
made great breakthroughs. However, most of the work consider insufficient types
of mask, and their performance will drop dramatically when encountering unseen
masks. To combat these challenges, we propose a simple yet general method to
solve this problem based on the LaMa image inpainting framework, dubbed GLaMa.
Our proposed GLaMa can better capture different types of missing information by
using more types of masks. By incorporating more degraded images in the
training phase, we can expect to enhance the robustness of the model with
respect to various masks. In order to yield more reasonable results, we further
introduce a frequency-based loss in addition to the traditional spatial
reconstruction loss and adversarial loss. In particular, we introduce an
effective reconstruction loss both in the spatial and frequency domain to
reduce the chessboard effect and ripples in the reconstructed image. Extensive
experiments demonstrate that our method can boost the performance over the
original LaMa method for each type of mask on FFHQ, ImageNet, Places2 and
WikiArt dataset. The proposed GLaMa was ranked first in terms of PSNR, LPIPS
and SSIM in the NTIRE 2022 Image Inpainting Challenge Track 1 Unsupervised.
- Abstract（参考訳）: 画像塗布の目的は,残部からコンテキスト情報を用いて傷や損傷箇所を復元することである。
近年、畳み込みニューラルネットワーク(cnns)の復活により、画像インペインティングタスクは大きなブレークスルーを遂げている。
しかし、ほとんどの作品ではマスクの種類が不十分であり、目に見えないマスクに遭遇すると性能が劇的に低下する。
これらの課題に対処するために、GLaMaと呼ばれるLaMa画像の塗布フレームワークに基づいて、この問題を解決するためのシンプルな方法を提案する。
提案するglamaは,より多くの種類のマスクを用いることで,様々な種類の欠落情報をよりよく捉えることができる。
トレーニングフェーズにさらに劣化したイメージを組み込むことで,各種マスクに対するモデルの堅牢性を高めることが可能となる。
より合理的な結果を得るために,従来の空間再構成損失と対向損失に加えて,周波数に基づく損失も導入する。
特に,空間領域と周波数領域の両方において有効な再構成損失を導入し,再構成画像のチェス盤効果とリップルを低減する。
広範な実験により,ffhq,imagenet,places2,wikiartデータセットの各タイプのマスクに対するlamaメソッドの性能が向上することを実証した。
提案されたGLaMaは、NTIRE 2022 Image Inpainting Challenge Track 1 UnsupervisedのPSNR、LPIPS、SSIMで第1位となった。
関連論文リスト
- Restore Anything with Masks: Leveraging Mask Image Modeling for Blind All-in-One Image Restoration [35.3663995646582]
オールインワン画像復元は、複数の劣化タイプを1つのモデルで処理することを目的としている。
本稿では,オールインワンブラインド画像復元のための簡易パイプラインを提案する。
論文 参考訳（メタデータ） (2024-09-28T16:33:43Z) - Face Mask Removal with Region-attentive Face Inpainting [0.7433327915285965]
本研究では,顔のマスク部分の復元・再構成を行う生成顔インペイント法を提案する。
提案手法は,空間情報損失を軽減するため,M-CSAM (M-scale Channel-Spatial Attention Module) を含む。
我々は、CelebAデータセットから5種類のマスクを組み込むことで、独自のMasked-Facesデータセットを合成する。
論文 参考訳（メタデータ） (2024-09-10T20:10:11Z) - DPPMask: Masked Image Modeling with Determinantal Point Processes [49.65141962357528]
Masked Image Modeling (MIM)は、ランダムにマスキングされた画像の再構成を目的として、印象的な代表的性能を達成した。
先行研究で広く使われている一様ランダムマスキングは、必然的にいくつかの重要なオブジェクトを失い、元のセマンティック情報を変更する。
この問題に対処するため、MIMを新しいマスキング戦略であるDPPMaskで強化する。
提案手法は単純だが有効であり,様々なフレームワークで実装される場合,余分に学習可能なパラメータは不要である。
論文 参考訳（メタデータ） (2023-03-13T13:40:39Z) - Masked Face Inpainting Through Residual Attention UNet [0.7868449549351486]
本稿では,残像UNetを用いたブラインドマスク面塗装法を提案する。
残差ブロックは次の層に情報を供給し、2ホップ離れた層に直接入力し、消滅する勾配問題を解決する。
公開されているCelebAデータセットの実験は、提案モデルの有効性と堅牢性を示している。
論文 参考訳（メタデータ） (2022-09-19T08:49:53Z) - Learning Prior Feature and Attention Enhanced Image Inpainting [63.21231753407192]
本稿では,事前学習に基づくMasked AutoEncoder(MAE)を塗装モデルに組み込む。
マスク付き領域とマスキングされていない領域間の長距離依存性をより学習させるために,MAE の注意点を用いた手法を提案する。
論文 参考訳（メタデータ） (2022-08-03T04:32:53Z) - Shape-Aware Masking for Inpainting in Medical Imaging [49.61617087640379]
インペイントは、教師なしの医用画像モデル発見のためのディープラーニング技術として成功している。
本稿では, 先行する統計的形状の学習を目的とした, 塗装用形状認識マスクの生成手法を提案する。
市販の塗装モデルとスーパーピクセルオーバーセグメンテーションアルゴリズムに基づく教師なしマスキング手法を提案する。
論文 参考訳（メタデータ） (2022-07-12T18:35:17Z) - RePaint: Inpainting using Denoising Diffusion Probabilistic Models [161.74792336127345]
Free-form Inpaintingは任意のバイナリマスクで指定された領域のイメージに新しいコンテンツを追加するタスクである。
RePaint: A Denoising Probabilistic Model (DDPM) を用いた塗装手法を提案する。
本手法は,標準的なマスクと極端マスクを用いて,顔と汎用画像の塗装の両面で検証する。
論文 参考訳（メタデータ） (2022-01-24T18:40:15Z) - Resolution-robust Large Mask Inpainting with Fourier Convolutions [10.152370311844445]
塗装システムは、大きな欠落した領域、複雑な幾何学構造、高解像度の画像にしばしば苦労する。
その主な原因の1つは、塗装ネットワークと損失関数の両方において、効果的な受容野が欠如していることである。
本稿では,この問題を緩和するために,大型マスク塗装 (LaMa) と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2021-09-15T08:54:29Z) - Image Inpainting by End-to-End Cascaded Refinement with Mask Awareness [66.55719330810547]
任意の欠落領域を塗りつぶすことは、様々なマスクされた領域で有効な特徴を学ぶことは非自明だから難しい。
符号化フェーズにおける欠落領域のマルチスケール特徴を学習する新しいマスク対応インペイントソリューションを提案する。
私たちのフレームワークは、3つの公開データセットに関する広範な実験を通じて定量的および定性的に検証されます。
論文 参考訳（メタデータ） (2021-04-28T13:17:47Z) - DeepGIN: Deep Generative Inpainting Network for Extreme Image Inpainting [45.39552853543588]
本稿では,様々な種類のマスク画像を扱うために,DeepGINというディープ・ジェネレーション・インパインティング・ネットワークを提案する。
私たちのモデルは、野生でマスクされた画像を完成させることができます。
論文 参考訳（メタデータ） (2020-08-17T09:30:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。