論文の概要: Layered Depth Refinement with Mask Guidance

• arxiv url: http://arxiv.org/abs/2206.03048v1
• Date: Tue, 7 Jun 2022 06:42:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-08 14:59:01.053851
• Title: Layered Depth Refinement with Mask Guidance
• Title（参考訳）: マスク誘導による層状深さ微細化
• Authors: Soo Ye Kim, Jianming Zhang, Simon Niklaus, Yifei Fan, Simon Chen, Zhe Lin, Munchurl Kim
• Abstract要約: 汎用マスクを用いてSIDEモデルの深度予測を洗練させるマスク誘導深度改善の新しい問題を定式化する。 本フレームワークは,奥行きマップをマスクと逆マスクで表される2つの別々の層に分解し,層状改質・塗装・塗装を行う。 本手法は,内面境界領域と外面境界領域の深度を正確に補正し,異なる種類のマスクや初期深度予測に対して堅牢であることを示す。
• 参考スコア（独自算出の注目度）: 61.10654666344419
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Depth maps are used in a wide range of applications from 3D rendering to 2D image effects such as Bokeh. However, those predicted by single image depth estimation (SIDE) models often fail to capture isolated holes in objects and/or have inaccurate boundary regions. Meanwhile, high-quality masks are much easier to obtain, using commercial auto-masking tools or off-the-shelf methods of segmentation and matting or even by manual editing. Hence, in this paper, we formulate a novel problem of mask-guided depth refinement that utilizes a generic mask to refine the depth prediction of SIDE models. Our framework performs layered refinement and inpainting/outpainting, decomposing the depth map into two separate layers signified by the mask and the inverse mask. As datasets with both depth and mask annotations are scarce, we propose a self-supervised learning scheme that uses arbitrary masks and RGB-D datasets. We empirically show that our method is robust to different types of masks and initial depth predictions, accurately refining depth values in inner and outer mask boundary regions. We further analyze our model with an ablation study and demonstrate results on real applications. More information can be found at https://sooyekim.github.io/MaskDepth/ .
• Abstract（参考訳）: 深度マップは、3dレンダリングからボケのような2dイメージ効果まで幅広いアプリケーションで使われている。 しかし、単一画像深度推定(SIDE)モデルによって予測されるものは、しばしば物体の孤立した穴を捉えたり、不正確な境界領域を持つ。 一方、高品質のマスクは、商用の自動マスキングツールや、セグメンテーションやマットの既製の方法、あるいは手作業による編集など、入手がずっと容易である。 そこで本稿では,SIDEモデルの深度予測を改良するために汎用マスクを用いたマスク誘導深度補正の新たな問題を定式化する。 本フレームワークは,奥行きマップをマスクと逆マスクで表される2つの別々の層に分解し,層状改質・塗装・塗装を行う。 奥行きとマスクアノテーションの両方のデータセットが不足しているため,任意のマスクとRGB-Dデータセットを用いた自己教師付き学習手法を提案する。 本手法は,異なる種類のマスクと初期深度予測に頑健であり,内面と外面の境界領域の深さ値を正確に精錬できることを実証的に示す。 さらに,このモデルをアブレーション研究により解析し,実応用結果を示す。 詳細はhttps://sooyekim.github.io/MaskDepth/ で確認できる。

関連論文リスト

• DiffSTR: Controlled Diffusion Models for Scene Text Removal [5.790630195329777]
  Scene Text removed (STR) は、画像中のテキストの不正使用を防止することを目的としている。 STRは、バウンダリアーティファクト、一貫性のないテクスチャと色、正しいシャドウの保存など、いくつかの課題に直面している。 STRを塗装タスクとして扱う制御ネット拡散モデルを提案する。 拡散モデルを満たすためのマスク事前学習パイプラインを開発した。
  論文  参考訳（メタデータ） (2024-10-29T04:20:21Z)
• ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
  Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。 データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。 ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
  論文  参考訳（メタデータ） (2024-07-17T22:04:00Z)
• MonoMAE: Enhancing Monocular 3D Detection through Depth-Aware Masked Autoencoders [93.87585467898252]
  Masked Autoencodersにインスパイアされたモノクラー3D検出器MonoMAEを設計する。 MonoMAEは2つの新しい設計で構成されている。第一に、非閉塞オブジェクトクエリの特定の部分を選択的にマスキングするディープ・アウェア・マスクである。 2つ目は軽量なクエリ補完で、ディープ・アウェア・マスキングと連携して、マスキングされたオブジェクトクエリの再構築と完了を学習する。
  論文  参考訳（メタデータ） (2024-05-13T12:32:45Z)
• Mask Hierarchical Features For Self-Supervised Learning [23.140060988999352]
  本稿では,Masking the Deep Hierarchical featuresは,MaskDeepとして表される効率的な自己教師手法であることを示す。 我々は、表現空間内のパッチの一部を隠蔽し、疎可視パッチを使用して、高い意味的イメージ表現を再構築する。 200エポックでResNet50でトレーニングされたMaskDeepは、ImageNet上で71.2%の精度で線形分類を行う。
  論文  参考訳（メタデータ） (2023-04-01T04:14:57Z)
• MM-3DScene: 3D Scene Understanding by Customizing Masked Modeling with Informative-Preserved Reconstruction and Self-Distilled Consistency [120.9499803967496]
  本稿では,地域統計を探索し,代表的構造化点の発見と保存を行う新しい情報保存型再構築法を提案する。 本手法は, 地域形状のモデル化に集中し, マスク復元のあいまいさを軽減できる。 マスク付き領域における情報保存型再構築と未加工領域からの連続自己蒸留を組み合わせることにより,MM-3DSceneと呼ばれる統合フレームワークが提供される。
  論文  参考訳（メタデータ） (2022-12-20T01:53:40Z)
• Towards Improved Input Masking for Convolutional Neural Networks [66.99060157800403]
  層マスキングと呼ぶCNNのための新しいマスキング手法を提案する。 本手法は,マスク形状や色がモデル出力に与える影響を排除あるいは最小化することができることを示す。 また,マスクの形状がクラスに関する情報を漏洩させる可能性を示し,クラス関連特徴に対するモデル依存度の推定に影響を及ぼすことを示した。
  論文  参考訳（メタデータ） (2022-11-26T19:31:49Z)
• Masked Face Inpainting Through Residual Attention UNet [0.7868449549351486]
  本稿では,残像UNetを用いたブラインドマスク面塗装法を提案する。 残差ブロックは次の層に情報を供給し、2ホップ離れた層に直接入力し、消滅する勾配問題を解決する。 公開されているCelebAデータセットの実験は、提案モデルの有効性と堅牢性を示している。
  論文  参考訳（メタデータ） (2022-09-19T08:49:53Z)
• A Deep Learning Framework to Reconstruct Face under Mask [0.0]
  本研究の目的は、マスク画像からマスク領域を抽出し、検出された領域を再構築することである。 この問題は、(i)マスクの裏側に隠された画像の性別を決定することが困難であるため、ネットワークが混乱し、女性として、あるいはその逆で男性の顔が復元されるため複雑である。 この複雑な課題を解決するために,課題をランドマーク検出,ターゲットマスク領域の物体検出,アドレスマスク領域の塗装の3段階に分けた。
  論文  参考訳（メタデータ） (2022-03-23T15:23:24Z)
• High-Accuracy RGB-D Face Recognition via Segmentation-Aware Face Depth Estimation and Mask-Guided Attention Network [16.50097148165777]
  ディープラーニングアプローチは、非常に大きな顔画像データセットでモデルをトレーニングすることで、極めて正確な顔認識を実現している。 大規模な2D顔画像データセットが利用可能であるのと異なり、大規模な3D顔データセットが公開されていない。 本稿では,RGB-D顔認識タスクを改善するための2つのCNNモデルを提案する。
  論文  参考訳（メタデータ） (2021-12-22T07:46:23Z)
• Image Inpainting by End-to-End Cascaded Refinement with Mask Awareness [66.55719330810547]
  任意の欠落領域を塗りつぶすことは、様々なマスクされた領域で有効な特徴を学ぶことは非自明だから難しい。 符号化フェーズにおける欠落領域のマルチスケール特徴を学習する新しいマスク対応インペイントソリューションを提案する。 私たちのフレームワークは、3つの公開データセットに関する広範な実験を通じて定量的および定性的に検証されます。
  論文  参考訳（メタデータ） (2021-04-28T13:17:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。