論文の概要: RGI: robust GAN-inversion for mask-free image inpainting and unsupervised pixel-wise anomaly detection

• arxiv url: http://arxiv.org/abs/2302.12464v1
• Date: Fri, 24 Feb 2023 05:43:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-27 14:34:45.159416
• Title: RGI: robust GAN-inversion for mask-free image inpainting and unsupervised pixel-wise anomaly detection
• Title（参考訳）: RGI:ロバストなGANインバージョンによるマスフリー画像の描出と教師なし画素ワイド異常検出
• Authors: Shancong Mou, Xiaoyi Gu, Meng Cao, Haoping Bai, Ping Huang, Jiulong Shan, Jianjun Shi
• Abstract要約: 本稿では,未知のテクストグロス汚損による画像復元を実現するために,ロバスト・ガン・インバージョン(RGI)法を提案する。 復元された画像と識別された領域のマスクは、地上の真実に収束することを示す。 提案したRGI/R-RGI法は,2つの重要な応用とSOTA(State-of-the-art)性能を統一する。
• 参考スコア（独自算出の注目度）: 18.10039647382319
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Generative adversarial networks (GANs), trained on a large-scale image dataset, can be a good approximator of the natural image manifold. GAN-inversion, using a pre-trained generator as a deep generative prior, is a promising tool for image restoration under corruptions. However, the performance of GAN-inversion can be limited by a lack of robustness to unknown gross corruptions, i.e., the restored image might easily deviate from the ground truth. In this paper, we propose a Robust GAN-inversion (RGI) method with a provable robustness guarantee to achieve image restoration under unknown \textit{gross} corruptions, where a small fraction of pixels are completely corrupted. Under mild assumptions, we show that the restored image and the identified corrupted region mask converge asymptotically to the ground truth. Moreover, we extend RGI to Relaxed-RGI (R-RGI) for generator fine-tuning to mitigate the gap between the GAN learned manifold and the true image manifold while avoiding trivial overfitting to the corrupted input image, which further improves the image restoration and corrupted region mask identification performance. The proposed RGI/R-RGI method unifies two important applications with state-of-the-art (SOTA) performance: (i) mask-free semantic inpainting, where the corruptions are unknown missing regions, the restored background can be used to restore the missing content; (ii) unsupervised pixel-wise anomaly detection, where the corruptions are unknown anomalous regions, the retrieved mask can be used as the anomalous region's segmentation mask.
• Abstract（参考訳）: GAN(Generative Adversarial Network)は、大規模な画像データセットに基づいて訓練され、自然な画像多様体の近似としてよい。 GAN-インバージョンは、事前学習されたジェネレータを深い生成前として使用することで、腐敗下でのイメージ復元に有望なツールである。 しかし、gan反転の性能は、未知の総腐敗に対する頑健さの欠如、すなわち復元された画像が基礎的真理から容易に逸脱することによって制限される。 本稿では,未知の \textit{gross} 腐敗下で画像復元を実現するための,証明可能なロバスト性保証を備えたロバスト gan-inversion (rgi) 法を提案する。 軽微な仮定では,復元された画像と同定された領域マスクが,地中真実に漸近的に収束していることが示されている。 さらに,RGIをRelaxed-RGI(R-RGI)に拡張することで,GAN学習多様体と真の画像多様体とのギャップを緩和し,劣化した入力画像への自明なオーバーフィットを回避し,画像復元や領域マスク識別性能を向上する。 提案したRGI/R-RGI法は,2つの重要な応用を最先端(SOTA)性能で統一する。 (i)腐敗が未知の欠落領域であるマスクフリーセマンティック・インペインティングでは、復元された背景を用いて、欠落したコンテンツを復元することができる。 (II)不規則領域が未知の異常領域である画素ワイド異常検出において、取得したマスクを異常領域のセグメンテーションマスクとして使用することができる。

関連論文リスト

• Panoramic Image Inpainting With Gated Convolution And Contextual Reconstruction Loss [19.659176149635417]
  フェースジェネレータ,キューブジェネレータ,サイドブランチ,および2つの識別器からなるパノラマ画像インペイントフレームワークを提案する。 提案手法は,PSNRおよびSSIMの観点から,SUN360ストリートビューデータセット上の最先端(SOTA)手法と比較する。
  論文  参考訳（メタデータ） (2024-02-05T11:58:08Z)
• DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [55.48770333927732]
  本稿では,拡散型異常検出(Difusion-based Anomaly Detection, DAD)フレームワークを提案する。 画素空間オートエンコーダ、安定拡散の復調ネットワークに接続する潜在空間セマンティックガイド(SG)ネットワーク、特徴空間事前学習機能抽出器から構成される。 MVTec-ADとVisAデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-12-11T18:38:28Z)
• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• PAEDID: Patch Autoencoder Based Deep Image Decomposition For Pixel-level Defective Region Segmentation [16.519583839906904]
  欠陥領域分割のための非教師パッチオートエンコーダに基づくディープ画像分解法(PAEDID)を提案する。 パッチオートエンコーダ(PAE)ネットワークにより,より深い画像として共通の背景を学習する。 提案手法を採用することにより、画像中の欠陥領域を教師なしで正確に抽出することができる。
  論文  参考訳（メタデータ） (2022-03-28T02:50:06Z)
• Inverse Problems Leveraging Pre-trained Contrastive Representations [88.70821497369785]
  破損したデータの表現を復元するための新しい逆問題群について検討する。 コントラスト目的を用いた教師付きインバージョン手法を提案する。 提案手法は,幅広いフォワード演算子においてラベル付きデータのごく一部であっても,エンド・ツー・エンドのベースラインよりも優れる。
  論文  参考訳（メタデータ） (2021-10-14T15:06:30Z)
• Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
  空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。 本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
  論文  参考訳（メタデータ） (2021-08-19T11:02:25Z)
• Pixel-wise Dense Detector for Image Inpainting [34.721991959357425]
  近年のGANベースの画像インパインティング手法では,画像の識別とスカラー出力に平均的手法が採用されている。 本稿では, 画像インパインティングのための新たな検出ベース生成フレームワークを提案し, 逆方向のプロセスにおいてmin-max戦略を採用する。 複数の公開データセットの実験は、提案したフレームワークの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2020-11-04T13:45:27Z)
• Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation [181.08127307338654]
  本研究は, 大規模自然画像に基づいて学習したGAN(Generative Adversarial Network)により, 得られた画像の有効利用方法を示す。 深層生成前駆体(DGP)は、色、パッチ、解像度、様々な劣化した画像の欠落したセマンティクスを復元するための説得力のある結果を提供する。
  論文  参考訳（メタデータ） (2020-03-30T17:45:07Z)
• Blur, Noise, and Compression Robust Generative Adversarial Networks [85.68632778835253]
  劣化画像から直接クリーンな画像生成装置を学習するために, ぼかし, ノイズ, 圧縮堅牢なGAN(BNCR-GAN)を提案する。 NR-GANにインスパイアされたBNCR-GANは、画像、ぼやけたカーネル、ノイズ、品質要素ジェネレータで構成される多重ジェネレータモデルを使用する。 CIFAR-10の大規模比較とFFHQの一般性解析によるBNCR-GANの有効性を実証する。
  論文  参考訳（メタデータ） (2020-03-17T17:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。