論文の概要: Self-supervised Matting-specific Portrait Enhancement and Generation

• arxiv url: http://arxiv.org/abs/2208.06601v1
• Date: Sat, 13 Aug 2022 09:00:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-16 13:03:16.241470
• Title: Self-supervised Matting-specific Portrait Enhancement and Generation
• Title（参考訳）: 自己監督型マッティング特有のポートレートの強化と生成
• Authors: Yangyang Xu Zeyang Zhou and Shengfeng He
• Abstract要約: 我々はStyleGANを使ってGANモデルの潜伏空間を探索する。 我々は、4つの調整された損失の下で、潜伏空間における多スケール潜伏ベクトルを最適化する。 提案手法は,任意のマッチングモデルに対して,実際のポートレート画像を洗練することができることを示す。
• 参考スコア（独自算出の注目度）: 40.444011984347505
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We resolve the ill-posed alpha matting problem from a completely different perspective. Given an input portrait image, instead of estimating the corresponding alpha matte, we focus on the other end, to subtly enhance this input so that the alpha matte can be easily estimated by any existing matting models. This is accomplished by exploring the latent space of GAN models. It is demonstrated that interpretable directions can be found in the latent space and they correspond to semantic image transformations. We further explore this property in alpha matting. Particularly, we invert an input portrait into the latent code of StyleGAN, and our aim is to discover whether there is an enhanced version in the latent space which is more compatible with a reference matting model. We optimize multi-scale latent vectors in the latent spaces under four tailored losses, ensuring matting-specificity and subtle modifications on the portrait. We demonstrate that the proposed method can refine real portrait images for arbitrary matting models, boosting the performance of automatic alpha matting by a large margin. In addition, we leverage the generative property of StyleGAN, and propose to generate enhanced portrait data which can be treated as the pseudo GT. It addresses the problem of expensive alpha matte annotation, further augmenting the matting performance of existing models. Code is available at~\url{https://github.com/cnnlstm/StyleGAN_Matting}.
• Abstract（参考訳）: 我々は、全く異なる視点から、不測のアルファ・マッティング問題を解決した。 入力ポートレート画像が与えられると、対応するアルファマットを推定する代わりに、もう一方の端に焦点を合わせ、この入力を微妙に強化し、既存の任意のマットモデルでアルファマットを簡単に推定できるようにします。 これは GAN モデルの潜在空間を探索することによって達成される。 解釈可能な方向は潜在空間に存在し,意味的画像変換に対応することが実証された。 アルファマッティングにおけるこの性質をさらに探求する。 特に、入力ポートレートをstyleganの潜在コードに反転させ、参照マットングモデルとより互換性のある潜在空間に拡張バージョンが存在するかどうかを検出することを目的としています。 静止空間におけるマルチスケール潜伏ベクトルを4つの補正された損失の下で最適化し, マッチング特異性を確保し, ポートレートに微妙な修正を加える。 提案手法は,任意のマッティングモデルの実際のポートレート画像を洗練し,自動アルファマッティングの性能を大きなマージンで高めることを実証する。 さらに、StyleGANの生成特性を活用し、擬似GTとして扱える拡張されたポートレートデータを生成することを提案する。 高価なアルファマットアノテーションの問題に対処し、既存のモデルのマッチング性能をさらに強化する。 コードは~\url{https://github.com/cnnlstm/StyleGAN_Matting}で入手できる。

関連論文リスト

• Stabilize the Latent Space for Image Autoregressive Modeling: A Unified Perspective [52.778766190479374]
  遅延ベース画像生成モデルは、画像生成タスクにおいて顕著な成功を収めた。 同じ遅延空間を共有するにもかかわらず、自己回帰モデルは画像生成において LDM や MIM よりもかなり遅れている。 本稿では,画像生成モデルのための遅延空間を安定化する,単純だが効果的な離散画像トークン化手法を提案する。
  論文  参考訳（メタデータ） (2024-10-16T12:13:17Z)
• Training Matting Models without Alpha Labels [22.249204770416927]
  この研究は、前景/背景を監督として粗く示すトリマップのような粗いアノテーションを用いて調査する。 本研究は, 既知領域からの学習意味論と適切な仮定マッチング規則との協調が, 遷移領域におけるアルファ値の推測に有効であることが示唆された。 AM-2K と P3M-10K のデータセットを用いた実験により,我々のパラダイムはファインレーベルの教師付きベースラインと同等の性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-08-20T04:34:06Z)
• DiffusionMat: Alpha Matting as Sequential Refinement Learning [87.76572845943929]
  DiffusionMatは、粗いアルファマットから洗練されたアルファマットへの移行に拡散モデルを利用する画像マッチングフレームワークである。 補正モジュールは、各復調ステップで出力を調整し、最終的な結果が入力画像の構造と一致していることを保証する。 その結果,DiffusionMatは既存の手法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-11-22T17:16:44Z)
• Adversarially-Guided Portrait Matting [0.0]
  限られたデータソースを用いてアルファ行列を生成する方法を提案する。 ポートレートデータセット上で,新しいトランスフォーマーモデル(StyleMatte)を事前訓練する。 このモデルを用いて、StyleMatteGAN(StyleMatteGAN)ベースのネットワークのための画像マスクペアを提供する。
  論文  参考訳（メタデータ） (2023-05-04T16:45:04Z)
• High-Resolution GAN Inversion for Degraded Images in Large Diverse Datasets [39.21692649763314]
  本稿では,StyleGAN-XLの強力な生成能力を利用した新しいGANインバージョンフレームワークを提案する。 StyleGAN-XLによる逆問題を軽減するために、Clustering & Regularize Inversion (CRI)を提案する。 我々は、複雑な自然画像の複数の復元作業(例えば、塗装、着色、超解像)において、CRI方式を検証し、定量的および定性的な結果を示す。
  論文  参考訳（メタデータ） (2023-02-07T11:24:11Z)
• Spatial Steerability of GANs via Self-Supervision from Discriminator [123.27117057804732]
  本稿では,GANの空間的ステアビリティを向上させるための自己教師型アプローチを提案する。 具体的には、空間帰納バイアスとして生成モデルの中間層に符号化されるランダムなガウス熱マップを設計する。 推論中、ユーザは直感的に空間のヒートマップと対話し、シーンのレイアウトを調整したり、移動したり、オブジェクトを削除したりすることで、出力画像を編集することができる。
  論文  参考訳（メタデータ） (2023-01-20T07:36:29Z)
• Alpha Matte Generation from Single Input for Portrait Matting [79.62140902232628]
  目標は、各画素が前景の被写体に与える影響を識別するアルファマットを予測することである。 従来のアプローチや既存の作業の多くは、アルファマットの予測にトリマップ、背景画像などの追加入力を使用していた。 我々は、GAN(Generative Adversarial Nets)を用いたポートレート・マッティングを行うための追加の入力不要アプローチを導入する。
  論文  参考訳（メタデータ） (2021-06-06T18:53:42Z)
• Smart Scribbles for Image Mating [90.18035889903909]
  本稿では,ユーザが入力画像に数個のスクリブルを描画できるように,smart scribblesと呼ばれる対話型フレームワークを提案する。 異なるカテゴリを示すために、スクリブルを描画するための画像の最も情報性の高い領域を推測する。 その後、このクリブルを、よく設計された二相伝播によって画像の残りの部分に拡散させる。
  論文  参考訳（メタデータ） (2021-03-31T13:30:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。