論文の概要: OcclusionFusion: Occlusion-aware Motion Estimation for Real-time Dynamic 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2203.07977v1
• Date: Tue, 15 Mar 2022 15:09:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-16 15:50:05.118911
• Title: OcclusionFusion: Occlusion-aware Motion Estimation for Real-time Dynamic 3D Reconstruction
• Title（参考訳）: OcclusionFusion:リアルタイム動的3次元再構成のためのOcclusion-aware Motion Estimation
• Authors: Wenbin Lin, Chengwei Zheng, Jun-Hai Yong, Feng Xu
• Abstract要約: RGBDに基づくリアルタイム動的3次元再構成は、フレーム間運動推定の不正確さに悩まされる。 オクルージョンフュージョン(OcclusionFusion, OcclusionFusion)は、オクルージョンを意識した3次元運動を計算し、再構成を誘導する手法である。 本手法は,既存の単一ビューベースリアルタイム手法よりも大きなマージンで性能を向上する。
• 参考スコア（独自算出の注目度）: 14.130915525776055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: RGBD-based real-time dynamic 3D reconstruction suffers from inaccurate inter-frame motion estimation as errors may accumulate with online tracking. This problem is even more severe for single-view-based systems due to strong occlusions. Based on these observations, we propose OcclusionFusion, a novel method to calculate occlusion-aware 3D motion to guide the reconstruction. In our technique, the motion of visible regions is first estimated and combined with temporal information to infer the motion of the occluded regions through an LSTM-involved graph neural network. Furthermore, our method computes the confidence of the estimated motion by modeling the network output with a probabilistic model, which alleviates untrustworthy motions and enables robust tracking. Experimental results on public datasets and our own recorded data show that our technique outperforms existing single-view-based real-time methods by a large margin. With the reduction of the motion errors, the proposed technique can handle long and challenging motion sequences. Please check out the project page for sequence results: https://wenbin-lin.github.io/OcclusionFusion.
• Abstract（参考訳）: RGBDベースのリアルタイム3D再構成は、オンライントラッキングでエラーが蓄積される可能性があるため、フレーム間動作推定の不正確さに悩まされる。 この問題は、強い閉塞のため、シングルビューベースのシステムではさらに深刻である。 そこで本研究では, 咬合認識3次元運動の計算法であるoctorionfusionを提案する。 本手法では,まず可視領域の運動を推定し,時間的情報と組み合わせて,LSTM関連グラフニューラルネットワークを用いて隠蔽領域の運動を推定する。 さらに,ネットワーク出力を確率モデルでモデル化し,信頼できない動きを軽減し,ロバストな追跡を可能にすることにより,推定動作の信頼性を算出する。 公開データセットおよび自記録データを用いた実験結果から,本手法が既存のシングルビューベースリアルタイム手法を大差で上回っていることが判明した。 動作エラーの低減により,提案手法は長大かつ難易度の高い動作シーケンスを処理できる。 シーケンス結果については、プロジェクトページを参照してください。

関連論文リスト

• Occlusion-Aware 3D Motion Interpretation for Abnormal Behavior Detection [10.782354892545651]
  我々は,メッシュ頂点とヒト関節の3次元座標をモノクロビデオから再構成し,運動異常を識別するOAD2Dを提案する。 動作特徴の定量化にVQVAEを用いるM2Tモデルと組み合わせることで、異常姿勢推定を再構成する。 本研究は, 重度・自己閉塞性に対する異常行動検出のロバスト性を示すものである。
  論文  参考訳（メタデータ） (2024-07-23T18:41:16Z)
• RoHM: Robust Human Motion Reconstruction via Diffusion [58.63706638272891]
  RoHMは、モノクロRGB(-D)ビデオから頑健な3次元人間の動きを復元するためのアプローチである。 ノイズと閉鎖された入力データに条件付けし、一貫した大域座標で完全な可塑性運動を再構成した。 本手法は,テスト時に高速でありながら,定性的かつ定量的に最先端の手法より優れる。
  論文  参考訳（メタデータ） (2024-01-16T18:57:50Z)
• NIKI: Neural Inverse Kinematics with Invertible Neural Networks for 3D Human Pose and Shape Estimation [53.25973084799954]
  両方向誤差をモデル化したNIKI(Neural Inverse Kinematics with Invertible Neural Network)を提案する。 NIKIは、非可逆ネットワークによる前処理と逆処理の両方から学習することができる。
  論文  参考訳（メタデータ） (2023-05-15T12:13:24Z)
• Occlusion Robust 3D Human Pose Estimation with StridedPoseGraphFormer and Data Augmentation [69.49430149980789]
  提案手法は最先端技術(SoA)と良好に比較できることを示す。 また, 閉塞処理機構が存在しない場合には, SoA 3D HPE法の性能が著しく低下することが明らかとなった。
  論文  参考訳（メタデータ） (2023-04-24T13:05:13Z)
• Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
  本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。 提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
  論文  参考訳（メタデータ） (2021-08-30T19:45:07Z)
• SCFusion: Real-time Incremental Scene Reconstruction with Semantic Completion [86.77318031029404]
  本研究では,シーン再構成とセマンティックシーン補完を段階的かつリアルタイムに共同で行うフレームワークを提案する。 我々のフレームワークは、3Dグローバルモデルでセマンティックコンプリートを正確かつ効率的に融合させるために、占有マップを処理し、ボクセル状態を活用するように設計された新しいニューラルアーキテクチャに依存している。
  論文  参考訳（メタデータ） (2020-10-26T15:31:52Z)
• Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
  モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。 従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。 我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。 これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
  論文  参考訳（メタデータ） (2020-08-31T17:10:48Z)
• 3D Pose Detection in Videos: Focusing on Occlusion [0.4588028371034406]
  我々は,映像中の隠蔽型3Dポーズ検出のための既存の手法を構築した。 我々は,2次元ポーズ予測を生成するために,積み重ねられた時間ガラスネットワークからなる2段階アーキテクチャを実装した。 閉鎖関節によるポーズの予測を容易にするため,シリンダーマンモデルの直感的な一般化を導入する。
  論文  参考訳（メタデータ） (2020-06-24T07:01:17Z)
• Joint Spatial-Temporal Optimization for Stereo 3D Object Tracking [34.40019455462043]
  本研究では,空間時間最適化に基づくステレオ3次元物体追跡手法を提案する。 ネットワークから隣接画像上の対応する2Dバウンディングボックスを検出し,初期3Dバウンディングボックスを回帰する。 オブジェクトセントロイドに関連づけられた複雑なオブジェクトキューは、リージョンベースのネットワークを使用して予測される。
  論文  参考訳（メタデータ） (2020-04-20T13:59:46Z)
• A Graph Attention Spatio-temporal Convolutional Network for 3D Human Pose Estimation in Video [7.647599484103065]
  我々は,アテンション機構を用いた局所的グローバル空間情報のモデリングにより,人間の骨格における制約の学習を改善する。 提案手法は, 奥行きのあいまいさと自己閉塞性を効果的に軽減し, 半上半身推定を一般化し, 2次元から3次元映像のポーズ推定における競合性能を実現する。
  論文  参考訳（メタデータ） (2020-03-11T14:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。