論文の概要: Pyramid Deep Fusion Network for Two-Hand Reconstruction from RGB-D Images
- arxiv url: http://arxiv.org/abs/2307.06038v2
- Date: Wed, 10 Apr 2024 03:27:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-11 19:35:31.965410
- Title: Pyramid Deep Fusion Network for Two-Hand Reconstruction from RGB-D Images
- Title（参考訳）: RGB-D画像からの2手再構成のためのピラミッドディープフュージョンネットワーク
- Authors: Jinwei Ren, Jianke Zhu,
- Abstract要約: 両手で高密度メッシュを復元するためのエンドツーエンドフレームワークを提案する。
我々のフレームワークはResNet50とPointNet++を使って、RGBとpoint cloudから機能を派生しています。
また,異なるスケールで特徴を集約する新しいピラミッド深層核融合ネットワーク (PDFNet) も導入した。
- 参考スコア（独自算出の注目度）: 11.100398985633754
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Accurately recovering the dense 3D mesh of both hands from monocular images poses considerable challenges due to occlusions and projection ambiguity. Most of the existing methods extract features from color images to estimate the root-aligned hand meshes, which neglect the crucial depth and scale information in the real world. Given the noisy sensor measurements with limited resolution, depth-based methods predict 3D keypoints rather than a dense mesh. These limitations motivate us to take advantage of these two complementary inputs to acquire dense hand meshes on a real-world scale. In this work, we propose an end-to-end framework for recovering dense meshes for both hands, which employ single-view RGB-D image pairs as input. The primary challenge lies in effectively utilizing two different input modalities to mitigate the blurring effects in RGB images and noises in depth images. Instead of directly treating depth maps as additional channels for RGB images, we encode the depth information into the unordered point cloud to preserve more geometric details. Specifically, our framework employs ResNet50 and PointNet++ to derive features from RGB and point cloud, respectively. Additionally, we introduce a novel pyramid deep fusion network (PDFNet) to aggregate features at different scales, which demonstrates superior efficacy compared to previous fusion strategies. Furthermore, we employ a GCN-based decoder to process the fused features and recover the corresponding 3D pose and dense mesh. Through comprehensive ablation experiments, we have not only demonstrated the effectiveness of our proposed fusion algorithm but also outperformed the state-of-the-art approaches on publicly available datasets. To reproduce the results, we will make our source code and models publicly available at {https://github.com/zijinxuxu/PDFNet}.
- Abstract（参考訳）: モノクローナル画像から両手の密集した3Dメッシュを正確に回収することは、閉塞と投射の曖昧さのためにかなりの困難を生じさせる。
既存の手法のほとんどは、実世界の重要な深度やスケール情報を無視するルートアラインハンドメッシュを推定するために、カラー画像から特徴を抽出する。
解像度が制限されたノイズの多いセンサの測定から、ディープベースの手法では、密度の高いメッシュではなく、3Dキーポイントを予測できる。
これらの制限は、現実のスケールで高密度の手メッシュを取得するために、これらの2つの補完的な入力を活用する動機となります。
本研究では,片視点RGB-D画像ペアを入力として用いた,両手の高密度メッシュを復元するエンドツーエンドフレームワークを提案する。
主な課題は、RGB画像のぼやけた効果と奥行き画像の雑音を緩和するために、2つの異なる入力モードを効果的に活用することである。
深度マップをRGB画像のための追加チャネルとして直接扱うのではなく、不整点雲に深度情報をエンコードして、より幾何学的な詳細を保存する。
具体的には、当社のフレームワークはResNet50とPointNet++を使用して、それぞれRGBとPoint Cloudから機能を派生しています。
さらに,異なるスケールで特徴を集約する新しいピラミッド深層核融合ネットワーク (PDFNet) を導入し,従来の融合戦略よりも優れた有効性を示した。
さらに、GCNベースのデコーダを用いて、融合した特徴を処理し、対応する3Dポーズと高密度メッシュを復元する。
包括的アブレーション実験を通じて,提案した融合アルゴリズムの有効性を実証しただけでなく,公開データセットに対する最先端のアプローチよりも優れていた。
結果を再現するため、ソースコードとモデルをhttps://github.com/zijinxuxu/PDFNet}で公開します。
関連論文リスト
- AGG-Net: Attention Guided Gated-convolutional Network for Depth Image
Completion [1.8820731605557168]
注意誘導ゲート畳み込みネットワーク(AGG-Net)に基づく深度画像補完のための新しいモデルを提案する。
符号化段階では、異なるスケールでの深度と色の特徴の融合を実現するために、AG-GConvモジュールが提案されている。
復号段階では、アテンションガイドスキップ接続(AG-SC)モジュールが提示され、再構成にあまりにも多くの深度に関係のない特徴を導入することを避ける。
論文 参考訳（メタデータ） (2023-09-04T14:16:08Z) - VPFNet: Improving 3D Object Detection with Virtual Point based LiDAR and
Stereo Data Fusion [62.24001258298076]
VPFNetは、ポイントクラウドとイメージデータを仮想のポイントで巧みに調整し集約する新しいアーキテクチャである。
当社のVPFNetは,KITTIテストセットで83.21%の中等度3D AP,91.86%中等度BEV APを達成し,2021年5月21日以来の1位となった。
論文 参考訳（メタデータ） (2021-11-29T08:51:20Z) - VR3Dense: Voxel Representation Learning for 3D Object Detection and
Monocular Dense Depth Reconstruction [0.951828574518325]
3次元物体検出と単眼深層再構成ニューラルネットワークを共同トレーニングする方法を紹介します。
推論中に入力、LiDARポイントクラウド、単一のRGBイメージとして取得し、オブジェクトポーズ予測と密に再構築された深度マップを生成します。
物体検出は教師付き方式で訓練されるが,自己教師型と教師型の両方の損失関数を用いて深度予測ネットワークを訓練する。
論文 参考訳（メタデータ） (2021-04-13T04:25:54Z) - FFB6D: A Full Flow Bidirectional Fusion Network for 6D Pose Estimation [54.666329929930455]
単一RGBD画像からの6次元ポーズ推定のための双方向融合ネットワークであるFFB6Dを提案する。
表現学習と出力表現選択のための表現情報と幾何学情報を組み合わせることを学ぶ。
提案手法は,いくつかのベンチマークにおいて,最先端の手法よりも大きなマージンを達成している。
論文 参考訳（メタデータ） (2021-03-03T08:07:29Z) - Learning Joint 2D-3D Representations for Depth Completion [90.62843376586216]
2Dおよび3Dの関節の特徴を抽出することを学ぶシンプルで効果的なニューラルネットワークブロックを設計します。
具体的には、画像画素に2D畳み込みと3D点に連続畳み込みを施した2つのドメイン固有のサブネットワークから構成される。
論文 参考訳（メタデータ） (2020-12-22T22:58:29Z) - Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。
次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。
最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。
本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
論文 参考訳（メタデータ） (2020-08-25T06:00:06Z) - Cross-Modality 3D Object Detection [63.29935886648709]
本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。
アーキテクチャ全体が2段階の融合を促進する。
KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
論文 参考訳（メタデータ） (2020-08-16T11:01:20Z) - A Single Stream Network for Robust and Real-time RGB-D Salient Object
Detection [89.88222217065858]
我々は、深度マップを用いて、RGBと深度の間の早期融合と中核融合を誘導する単一ストリームネットワークを設計する。
このモデルは、現在の最も軽量なモデルよりも55.5%軽く、32 FPSのリアルタイム速度で384倍の384ドルの画像を処理している。
論文 参考訳（メタデータ） (2020-07-14T04:40:14Z) - 3dDepthNet: Point Cloud Guided Depth Completion Network for Sparse Depth
and Single Color Image [42.13930269841654]
我々のネットワークは、正確かつ軽量な3次元から2次元の粗大な二重密度化設計を提供する。
KITTIデータセットの実験は、我々のネットワークがより効率的でありながら最先端の精度を実現していることを示している。
論文 参考訳（メタデータ） (2020-03-20T10:19:32Z) - 3D Gated Recurrent Fusion for Semantic Scene Completion [32.86736222106503]
本稿では,セマンティック・シーン・コンプリート(SSC)タスクにおけるデータ融合の問題に取り組む。
本稿では,3次元ゲート型リカレント核融合ネットワーク(GRFNet)を提案する。
2つのベンチマークデータセットに対する実験は、SSCにおけるデータ融合のための提案されたGRFNetの優れた性能と有効性を示す。
論文 参考訳（メタデータ） (2020-02-17T21:45:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。