論文の概要: Layered Depth Refinement with Mask Guidance
- arxiv url: http://arxiv.org/abs/2206.03048v1
- Date: Tue, 7 Jun 2022 06:42:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-08 14:59:01.053851
- Title: Layered Depth Refinement with Mask Guidance
- Title(参考訳): マスク誘導による層状深さ微細化
- Authors: Soo Ye Kim, Jianming Zhang, Simon Niklaus, Yifei Fan, Simon Chen, Zhe
Lin, Munchurl Kim
- Abstract要約: 汎用マスクを用いてSIDEモデルの深度予測を洗練させるマスク誘導深度改善の新しい問題を定式化する。
本フレームワークは,奥行きマップをマスクと逆マスクで表される2つの別々の層に分解し,層状改質・塗装・塗装を行う。
本手法は,内面境界領域と外面境界領域の深度を正確に補正し,異なる種類のマスクや初期深度予測に対して堅牢であることを示す。
- 参考スコア(独自算出の注目度): 61.10654666344419
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Depth maps are used in a wide range of applications from 3D rendering to 2D
image effects such as Bokeh. However, those predicted by single image depth
estimation (SIDE) models often fail to capture isolated holes in objects and/or
have inaccurate boundary regions. Meanwhile, high-quality masks are much easier
to obtain, using commercial auto-masking tools or off-the-shelf methods of
segmentation and matting or even by manual editing. Hence, in this paper, we
formulate a novel problem of mask-guided depth refinement that utilizes a
generic mask to refine the depth prediction of SIDE models. Our framework
performs layered refinement and inpainting/outpainting, decomposing the depth
map into two separate layers signified by the mask and the inverse mask. As
datasets with both depth and mask annotations are scarce, we propose a
self-supervised learning scheme that uses arbitrary masks and RGB-D datasets.
We empirically show that our method is robust to different types of masks and
initial depth predictions, accurately refining depth values in inner and outer
mask boundary regions. We further analyze our model with an ablation study and
demonstrate results on real applications. More information can be found at
https://sooyekim.github.io/MaskDepth/ .
- Abstract(参考訳): 深度マップは、3dレンダリングからボケのような2dイメージ効果まで幅広いアプリケーションで使われている。
しかし、単一画像深度推定(SIDE)モデルによって予測されるものは、しばしば物体の孤立した穴を捉えたり、不正確な境界領域を持つ。
一方、高品質のマスクは、商用の自動マスキングツールや、セグメンテーションやマットの既製の方法、あるいは手作業による編集など、入手がずっと容易である。
そこで本稿では,SIDEモデルの深度予測を改良するために汎用マスクを用いたマスク誘導深度補正の新たな問題を定式化する。
本フレームワークは,奥行きマップをマスクと逆マスクで表される2つの別々の層に分解し,層状改質・塗装・塗装を行う。
奥行きとマスクアノテーションの両方のデータセットが不足しているため,任意のマスクとRGB-Dデータセットを用いた自己教師付き学習手法を提案する。
本手法は,異なる種類のマスクと初期深度予測に頑健であり,内面と外面の境界領域の深さ値を正確に精錬できることを実証的に示す。
さらに,このモデルをアブレーション研究により解析し,実応用結果を示す。
詳細はhttps://sooyekim.github.io/MaskDepth/ で確認できる。
関連論文リスト
- SmartMask: Context Aware High-Fidelity Mask Generation for Fine-grained
Object Insertion and Layout Control [37.25722058326221]
初心者が正確なオブジェクト挿入のための詳細なマスクを作成できるSmartMaskを紹介した。
実験により,SmartMaskはより優れたオブジェクト挿入品質を実現することが示された。
従来の手法とは異なり、提案手法はユーザ・マスクのガイダンスを使わずに利用できる。
論文 参考訳(メタデータ) (2023-12-08T13:38:22Z) - DFormer: Diffusion-guided Transformer for Universal Image Segmentation [86.73405604947459]
提案したDFormerは,拡散モデルを用いて画像分割タスクをデノナイズプロセスとみなしている。
我々のDFormerは、ランダムに生成されたマスクの集合から、マスクとそれに対応するカテゴリを直接予測します。
我々のDFormerは、最近の拡散型汎光学分割法Pix2Seq-Dより優れており、MS COCO val 2017セットで3.6%向上している。
論文 参考訳(メタデータ) (2023-06-06T06:33:32Z) - Mask Hierarchical Features For Self-Supervised Learning [23.140060988999352]
本稿では,Masking the Deep Hierarchical featuresは,MaskDeepとして表される効率的な自己教師手法であることを示す。
我々は、表現空間内のパッチの一部を隠蔽し、疎可視パッチを使用して、高い意味的イメージ表現を再構築する。
200エポックでResNet50でトレーニングされたMaskDeepは、ImageNet上で71.2%の精度で線形分類を行う。
論文 参考訳(メタデータ) (2023-04-01T04:14:57Z) - MM-3DScene: 3D Scene Understanding by Customizing Masked Modeling with
Informative-Preserved Reconstruction and Self-Distilled Consistency [120.9499803967496]
本稿では,地域統計を探索し,代表的構造化点の発見と保存を行う新しい情報保存型再構築法を提案する。
本手法は, 地域形状のモデル化に集中し, マスク復元のあいまいさを軽減できる。
マスク付き領域における情報保存型再構築と未加工領域からの連続自己蒸留を組み合わせることにより,MM-3DSceneと呼ばれる統合フレームワークが提供される。
論文 参考訳(メタデータ) (2022-12-20T01:53:40Z) - Towards Improved Input Masking for Convolutional Neural Networks [66.99060157800403]
層マスキングと呼ぶCNNのための新しいマスキング手法を提案する。
本手法は,マスク形状や色がモデル出力に与える影響を排除あるいは最小化することができることを示す。
また,マスクの形状がクラスに関する情報を漏洩させる可能性を示し,クラス関連特徴に対するモデル依存度の推定に影響を及ぼすことを示した。
論文 参考訳(メタデータ) (2022-11-26T19:31:49Z) - Masked Face Inpainting Through Residual Attention UNet [0.7868449549351486]
本稿では,残像UNetを用いたブラインドマスク面塗装法を提案する。
残差ブロックは次の層に情報を供給し、2ホップ離れた層に直接入力し、消滅する勾配問題を解決する。
公開されているCelebAデータセットの実験は、提案モデルの有効性と堅牢性を示している。
論文 参考訳(メタデータ) (2022-09-19T08:49:53Z) - A Deep Learning Framework to Reconstruct Face under Mask [0.0]
本研究の目的は、マスク画像からマスク領域を抽出し、検出された領域を再構築することである。
この問題は、(i)マスクの裏側に隠された画像の性別を決定することが困難であるため、ネットワークが混乱し、女性として、あるいはその逆で男性の顔が復元されるため複雑である。
この複雑な課題を解決するために,課題をランドマーク検出,ターゲットマスク領域の物体検出,アドレスマスク領域の塗装の3段階に分けた。
論文 参考訳(メタデータ) (2022-03-23T15:23:24Z) - High-Accuracy RGB-D Face Recognition via Segmentation-Aware Face Depth
Estimation and Mask-Guided Attention Network [16.50097148165777]
ディープラーニングアプローチは、非常に大きな顔画像データセットでモデルをトレーニングすることで、極めて正確な顔認識を実現している。
大規模な2D顔画像データセットが利用可能であるのと異なり、大規模な3D顔データセットが公開されていない。
本稿では,RGB-D顔認識タスクを改善するための2つのCNNモデルを提案する。
論文 参考訳(メタデータ) (2021-12-22T07:46:23Z) - Image Inpainting by End-to-End Cascaded Refinement with Mask Awareness [66.55719330810547]
任意の欠落領域を塗りつぶすことは、様々なマスクされた領域で有効な特徴を学ぶことは非自明だから難しい。
符号化フェーズにおける欠落領域のマルチスケール特徴を学習する新しいマスク対応インペイントソリューションを提案する。
私たちのフレームワークは、3つの公開データセットに関する広範な実験を通じて定量的および定性的に検証されます。
論文 参考訳(メタデータ) (2021-04-28T13:17:47Z) - Contrastive Context-Aware Learning for 3D High-Fidelity Mask Face
Presentation Attack Detection [103.7264459186552]
顔認識システムには、顔提示攻撃検出(PAD)が不可欠である。
ほとんどの既存の3DマスクPADベンチマークにはいくつかの欠点があります。
現実世界のアプリケーションとのギャップを埋めるために、大規模なハイファイアリティマスクデータセットを紹介します。
論文 参考訳(メタデータ) (2021-04-13T12:48:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。