論文の概要: Efficient Portrait Matte Creation With Layer Diffusion and Connectivity Priors

• arxiv url: http://arxiv.org/abs/2501.16147v1
• Date: Mon, 27 Jan 2025 15:41:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:56:12.541582
• Title: Efficient Portrait Matte Creation With Layer Diffusion and Connectivity Priors
• Title（参考訳）: 層拡散と接続性前駆体を用いたポートレートマットの効率的な創製
• Authors: Zhiyuan Lu, Hao Lu, Hua Huang,
• Abstract要約: この研究は、テキストプロンプトを利用して高品質な肖像画前景を生成し、潜伏した肖像画のマットを抽出できることを示している。 LD-Portrait-20Kと呼ばれる大規模なポートレート・マッティング・データセットが作成され、20,051ドルのポートレート・フォアグラウンドと高品質のアルファ・マットを備える。 このデータセットは、単純なビデオセグメンテーションと、このデータセットでトレーニングされたトリマップベースの画像マッチングモデルによって実装された、最先端のビデオポートレートマッチングにも貢献する。
• 参考スコア（独自算出の注目度）: 16.916645195696137
• License:
• Abstract: Learning effective deep portrait matting models requires training data of both high quality and large quantity. Neither quality nor quantity can be easily met for portrait matting, however. Since the most accurate ground-truth portrait mattes are acquired in front of the green screen, it is almost impossible to harvest a large-scale portrait matting dataset in reality. This work shows that one can leverage text prompts and the recent Layer Diffusion model to generate high-quality portrait foregrounds and extract latent portrait mattes. However, the portrait mattes cannot be readily in use due to significant generation artifacts. Inspired by the connectivity priors observed in portrait images, that is, the border of portrait foregrounds always appears connected, a connectivity-aware approach is introduced to refine portrait mattes. Building on this, a large-scale portrait matting dataset is created, termed LD-Portrait-20K, with $20,051$ portrait foregrounds and high-quality alpha mattes. Extensive experiments demonstrated the value of the LD-Portrait-20K dataset, with models trained on it significantly outperforming those trained on other datasets. In addition, comparisons with the chroma keying algorithm and an ablation study on dataset capacity further confirmed the effectiveness of the proposed matte creation approach. Further, the dataset also contributes to state-of-the-art video portrait matting, implemented by simple video segmentation and a trimap-based image matting model trained on this dataset.
• Abstract（参考訳）: 効果的なディープ・ポートレート・マッティング・モデルを学ぶには、高品質と大量のトレーニングデータが必要である。 しかし、ポートレート・マッティングには品質も量も容易には満たせない。 グリーンスクリーンの前には、最も正確な地表面の肖像画マットが取得されているため、大規模な肖像画マットデータセットを実際に取得することはほぼ不可能である。 この研究は、テキストプロンプトと最近のレイヤー拡散モデルを利用して、高品質なポートレートフォアグラウンドを生成し、潜在ポートレートマットを抽出できることを示している。 しかし、肖像画のマットは、重要な世代の遺物のため、容易には使用できない。 ポートレート画像に見られる接続先、すなわち、ポートレートフォアグラウンドの境界は常に接続しているように見えることに着想を得て、ポートレートマットを洗練するためにコネクテッド・アウェア・アプローチを導入している。 LD-Portrait-20Kと呼ばれる、20,051ドルの肖像画フォアグラウンドと高品質のアルファマットを備えた、大規模なポートレート・マッティングデータセットが作成されている。 大規模な実験では、LD-Portrait-20Kデータセットの価値が実証された。 さらに,クロマキーイングアルゴリズムとの比較とデータセット容量に関するアブレーション研究により,提案手法の有効性がさらに確認された。 さらに、このデータセットは、単純なビデオセグメンテーションと、このデータセットでトレーニングされたトリマップベースの画像マッチングモデルによって実装された、最先端のビデオポートレートマッチングにも貢献する。

関連論文リスト

• Adversarially-Guided Portrait Matting [0.0]
  限られたデータソースを用いてアルファ行列を生成する方法を提案する。 ポートレートデータセット上で,新しいトランスフォーマーモデル(StyleMatte)を事前訓練する。 このモデルを用いて、StyleMatteGAN(StyleMatteGAN)ベースのネットワークのための画像マスクペアを提供する。
  論文  参考訳（メタデータ） (2023-05-04T16:45:04Z)
• EasyPortrait -- Face Parsing and Portrait Segmentation Dataset [79.16635054977068]
  リアルタイムの背景除去や顔の美化といったコンピュータビジョンベースの機能を実現することで,ビデオ会議アプリが機能的になった。 これらのタスクを同時に行うために、新しいデータセット、EasyPortraitを作成します。 13,705人のユニークなユーザーと9つのクラスに分かれたきめ細かいセグメンテーションマスクを備えた、ビデオ会議のシナリオを繰り返す4万枚の屋内写真が含まれている。
  論文  参考訳（メタデータ） (2023-04-26T12:51:34Z)
• Self-supervised Matting-specific Portrait Enhancement and Generation [40.444011984347505]
  我々はStyleGANを使ってGANモデルの潜伏空間を探索する。 我々は、4つの調整された損失の下で、潜伏空間における多スケール潜伏ベクトルを最適化する。 提案手法は,任意のマッチングモデルに対して,実際のポートレート画像を洗練することができることを示す。
  論文  参考訳（メタデータ） (2022-08-13T09:00:02Z)
• CtlGAN: Few-shot Artistic Portraits Generation with Contrastive Transfer Learning [77.27821665339492]
  CtlGANは、新しいコントラッシブ・トランスファー学習戦略を備えた、数発のアート・ポートレート生成モデルである。 ソースドメインで事前訓練したStyleGANを,対象の芸術領域に適応させる。 実面をZ+空間に埋め込んだ新しいエンコーダを提案し,適応型デコーダに対処するためのデュアルパストレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-16T13:28:17Z)
• Alpha Matte Generation from Single Input for Portrait Matting [79.62140902232628]
  目標は、各画素が前景の被写体に与える影響を識別するアルファマットを予測することである。 従来のアプローチや既存の作業の多くは、アルファマットの予測にトリマップ、背景画像などの追加入力を使用していた。 我々は、GAN(Generative Adversarial Nets)を用いたポートレート・マッティングを行うための追加の入力不要アプローチを導入する。
  論文  参考訳（メタデータ） (2021-06-06T18:53:42Z)
• Privacy-Preserving Portrait Matting [73.98225485513905]
  P3M-10kは、プライバシー保護ポートレートマットのための最初の大規模な匿名化ベンチマークです。 P3M-10kは1万枚の高解像度顔写真と高品質のアルファマットで構成されています。 意味認識と詳細マッチングの両方に統一されたフレームワークのパワーを利用するP3M-Netを提案する。
  論文  参考訳（メタデータ） (2021-04-29T09:20:19Z)
• Smart Scribbles for Image Mating [90.18035889903909]
  本稿では,ユーザが入力画像に数個のスクリブルを描画できるように,smart scribblesと呼ばれる対話型フレームワークを提案する。 異なるカテゴリを示すために、スクリブルを描画するための画像の最も情報性の高い領域を推測する。 その後、このクリブルを、よく設計された二相伝播によって画像の残りの部分に拡散させる。
  論文  参考訳（メタデータ） (2021-03-31T13:30:49Z)
• Bridging Composite and Real: Towards End-to-end Deep Image Matting [88.79857806542006]
  画像マッチングにおける意味論と細部の役割について検討する。 本稿では,共有エンコーダと2つの分離デコーダを用いた新しいGlance and Focus Matting Network(GFM)を提案する。 総合的な実証研究により、GFMは最先端の手法より優れていることが示されている。
  論文  参考訳（メタデータ） (2020-10-30T10:57:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。