論文の概要: Alpha Matte Generation from Single Input for Portrait Matting
- arxiv url: http://arxiv.org/abs/2106.03210v1
- Date: Sun, 6 Jun 2021 18:53:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-08 18:03:59.736892
- Title: Alpha Matte Generation from Single Input for Portrait Matting
- Title（参考訳）: ポートレートマット化のための単一入力によるアルファマット生成
- Authors: Dogucan Yaman and Haz{\i}m Kemal Ekenel and Alexander Waibel
- Abstract要約: 目標は、各画素が前景の被写体に与える影響を識別するアルファマットを予測することである。
従来のアプローチや既存の作業の多くは、アルファマットの予測にトリマップ、背景画像などの追加入力を使用していた。
我々は、GAN(Generative Adversarial Nets)を用いたポートレート・マッティングを行うための追加の入力不要アプローチを導入する。
- 参考スコア（独自算出の注目度）: 79.62140902232628
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Portrait matting is an important research problem with a wide range of
applications, such as video conference app, image/video editing, and
post-production. The goal is to predict an alpha matte that identifies the
effect of each pixel on the foreground subject. Traditional approaches and most
of the existing works utilized an additional input, e.g., trimap, background
image, to predict alpha matte. However, providing additional input is not
always practical. Besides, models are too sensitive to these additional inputs.
In this paper, we introduce an additional input-free approach to perform
portrait matting using Generative Adversarial Nets (GANs). We divide the main
task into two subtasks. For this, we propose a segmentation network for the
person segmentation and the alpha generation network for alpha matte
prediction. While the segmentation network takes an input image and produces a
coarse segmentation map, the alpha generation network utilizes the same input
image as well as a coarse segmentation map that is produced by the segmentation
network to predict the alpha matte. Besides, we present a segmentation encoding
block to downsample the coarse segmentation map and provide feature
representation to the residual block. Furthermore, we propose border loss to
penalize only the borders of the subject separately which is more likely to be
challenging and we also adapt perceptual loss for portrait matting. To train
the proposed system, we combine two different popular training datasets to
improve the amount of data as well as diversity to address domain shift
problems in the inference time. We tested our model on three different
benchmark datasets, namely Adobe Image Matting dataset, Portrait Matting
dataset, and Distinctions dataset. The proposed method outperformed the MODNet
method that also takes a single input.
- Abstract（参考訳）: ポートレート・マッティングは、ビデオ会議アプリ、画像/ビデオ編集、ポストプロダクションなど、幅広いアプリケーションにおいて重要な研究課題である。
目標は、各ピクセルが前景の被写体に与える影響を識別するアルファマットを予測することである。
従来のアプローチや既存の作品の多くは、アルファマットの予測にtrimap、バックグラウンドイメージなどの追加入力を利用した。
しかし、追加入力を提供することは必ずしも実用的ではない。
さらに、モデルはこれらの追加入力に敏感すぎる。
本稿では,GAN(Generative Adversarial Nets)を用いたポートレートマッチングを行うための追加の入力不要アプローチを提案する。
メインタスクを2つのサブタスクに分割します。
そこで本研究では,人物分割のためのセグメンテーションネットワークと,アルファ行列予測のためのアルファ生成ネットワークを提案する。
セグメンテーションネットワークは入力画像を取得して粗いセグメンテーションマップを生成するが、アルファ生成ネットワークは同じ入力画像と、セグメンテーションネットワークによって生成された粗いセグメンテーションマップを利用してアルファマットを予測する。
さらに,粗いセグメンテーションマップをダウンサンプル化するためのセグメンテーション符号化ブロックを提案し,残余ブロックに特徴表現を提供する。
さらに, 被写体の境界のみを個別に罰する境界損失を提案し, また, ポートレート・マッティングの知覚損失にも適応する。
提案システムのトレーニングには,2つの一般的なトレーニングデータセットを組み合わせることで,データの量と多様性を改善し,推論時間におけるドメインシフト問題に対処する。
我々は,adobe image matting dataset, portrait matting dataset, distinguisheds datasetという,3つのベンチマークデータセットでモデルをテストした。
提案手法は単一の入力を受信するMODNet法よりも優れていた。
関連論文リスト
- Training Matting Models without Alpha Labels [22.249204770416927]
この研究は、前景/背景を監督として粗く示すトリマップのような粗いアノテーションを用いて調査する。
本研究は, 既知領域からの学習意味論と適切な仮定マッチング規則との協調が, 遷移領域におけるアルファ値の推測に有効であることが示唆された。
AM-2K と P3M-10K のデータセットを用いた実験により,我々のパラダイムはファインレーベルの教師付きベースラインと同等の性能を発揮することが示された。
論文 参考訳（メタデータ） (2024-08-20T04:34:06Z) - Facial Wrinkle Segmentation for Cosmetic Dermatology: Pretraining with Texture Map-Based Weak Supervision [0.053801353100098995]
私たちは、NVIDIA FFHQデータセットの拡張である、最初の公開顔しわデータセット 'FFHQ-Wrinkle' を構築し、リリースします。
人間のラベル付き1000枚の画像と、自動生成された弱いラベル付き5万枚の画像が含まれている。
このデータセットは、研究コミュニティが高度なしわ検出アルゴリズムを開発する基盤となる可能性がある。
論文 参考訳（メタデータ） (2024-08-19T14:54:12Z) - DiffusionMat: Alpha Matting as Sequential Refinement Learning [87.76572845943929]
DiffusionMatは、粗いアルファマットから洗練されたアルファマットへの移行に拡散モデルを利用する画像マッチングフレームワークである。
補正モジュールは、各復調ステップで出力を調整し、最終的な結果が入力画像の構造と一致していることを保証する。
その結果,DiffusionMatは既存の手法よりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2023-11-22T17:16:44Z) - Lidar Annotation Is All You Need [0.0]
本稿では,畳み込みニューラルネットワークを用いたマルチセンサ構成による画像分割の効率向上を目的とする。
当社のアプローチにおける重要な革新は、点雲からの粗い接地トラスマスクに対処する、マスク付き損失である。
ベンチマークデータセットに対するアプローチの実験的検証は、高品質の画像セグメンテーションモデルに匹敵する性能を示す。
論文 参考訳（メタデータ） (2023-11-08T15:55:18Z) - Scrape, Cut, Paste and Learn: Automated Dataset Generation Applied to
Parcel Logistics [58.720142291102135]
4つのステップでインスタンスセグメンテーションのための合成データセットを生成するために,完全に自動化されたパイプラインを提案する。
まず、人気のある画像検索エンジンから興味ある対象の画像を抽出する。
画像選択には,オブジェクトに依存しない事前処理,手動画像選択,CNNに基づく画像選択の3つの方法を比較する。
論文 参考訳（メタデータ） (2022-10-18T12:49:04Z) - Attention-guided Temporal Coherent Video Object Matting [78.82835351423383]
本稿では,時間的コヒーレントなマッチング結果が得られる深層学習に基づくオブジェクトマッチング手法を提案する。
中心となるコンポーネントは、画像マッチングネットワークの強度を最大化するアテンションベースの時間アグリゲーションモジュールである。
本稿では,最先端のビデオオブジェクトセグメンテーションネットワークを微調整することで,トリマップ生成問題を効果的に解決する方法を示す。
論文 参考訳（メタデータ） (2021-05-24T17:34:57Z) - Semantic Segmentation with Generative Models: Semi-Supervised Learning
and Strong Out-of-Domain Generalization [112.68171734288237]
本論文では,画像とラベルの再生モデルを用いた識別画素レベルのタスクのための新しいフレームワークを提案する。
我々は,共同画像ラベルの分布を捕捉し,未ラベル画像の大規模な集合を用いて効率的に訓練する生成的対向ネットワークを学習する。
ドメイン内性能をいくつかのベースラインと比較し,ドメイン外一般化を極端に示す最初の例である。
論文 参考訳（メタデータ） (2021-04-12T21:41:25Z) - Boosting Semantic Human Matting with Coarse Annotations [66.8725980604434]
粗いアノテートされた人間のデータセットは、公開データセットから取得し、収集するのがずっと簡単です。
マットリファインメントネットワークは、統一マスクと入力画像とを取り込み、最終アルファマットを予測する。
論文 参考訳（メタデータ） (2020-04-10T09:11:02Z) - $F$, $B$, Alpha Matting [0.0]
我々は,前景や背景の色を予測するために,アルファ・マッティング・ネットワークの低コストな修正を提案する。
提案手法は, アルファマットと合成色質のためのAdobe composition-1kデータセット上で, アートパフォーマンスの状態を達成している。
論文 参考訳（メタデータ） (2020-03-17T13:27:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。