論文の概要: Body Knowledge and Uncertainty Modeling for Monocular 3D Human Body Reconstruction

• arxiv url: http://arxiv.org/abs/2308.00799v1
• Date: Tue, 1 Aug 2023 19:29:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-03 14:39:44.029991
• Title: Body Knowledge and Uncertainty Modeling for Monocular 3D Human Body Reconstruction
• Title（参考訳）: 単眼3次元人体再構成のための身体知識と不確実性モデリング
• Authors: Yufei Zhang, Hanjing Wang, Jeffrey O. Kephart, Qiang Ji
• Abstract要約: KNOWNは、確立された身体知識から派生した総合的な身体制約の集合を利用する。 KNOWNの身体再建は、以前の弱い監督のアプローチよりも優れていた。
• 参考スコア（独自算出の注目度）: 37.167714468046924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While 3D body reconstruction methods have made remarkable progress recently, it remains difficult to acquire the sufficiently accurate and numerous 3D supervisions required for training. In this paper, we propose \textbf{KNOWN}, a framework that effectively utilizes body \textbf{KNOW}ledge and u\textbf{N}certainty modeling to compensate for insufficient 3D supervisions. KNOWN exploits a comprehensive set of generic body constraints derived from well-established body knowledge. These generic constraints precisely and explicitly characterize the reconstruction plausibility and enable 3D reconstruction models to be trained without any 3D data. Moreover, existing methods typically use images from multiple datasets during training, which can result in data noise (\textit{e.g.}, inconsistent joint annotation) and data imbalance (\textit{e.g.}, minority images representing unusual poses or captured from challenging camera views). KNOWN solves these problems through a novel probabilistic framework that models both aleatoric and epistemic uncertainty. Aleatoric uncertainty is encoded in a robust Negative Log-Likelihood (NLL) training loss, while epistemic uncertainty is used to guide model refinement. Experiments demonstrate that KNOWN's body reconstruction outperforms prior weakly-supervised approaches, particularly on the challenging minority images.
• Abstract（参考訳）: 近年, 3次元身体再建法は目覚ましい進歩を遂げているが, 訓練に必要な十分な精度と多数の3次元監督の取得は困難である。 本稿では,ボディー・ボディー・ \textbf{KNOW}ledge と u\textbf{N}certainty modeling を効果的に活用し,不十分な3D監督を補うフレームワークである \textbf{KNOWN} を提案する。 KNOWNは、確立された身体知識から派生した総合的な身体制約の集合を利用する。 これらの一般的な制約は、復元の可否を正確に明確に特徴付け、3Dデータなしで3D再構成モデルを訓練できるようにする。 さらに、既存の手法ではトレーニング中に複数のデータセットの画像を使用するのが一般的であり、これはデータノイズ(\textit{e.g.}、一貫性のないジョイントアノテーション)とデータ不均衡(\textit{e.e.}、まれなポーズを表すマイノリティーなイメージ)をもたらす。 KNOWNはこれらの問題を、アレタリックおよびエピステマティック不確実性の両方をモデル化する新しい確率的枠組みによって解決する。 aleatoric uncertainty はロバストな負のlog-likelihood (nll) トレーニングロスにコード化され、epstemic uncertainty はモデルの洗練を導くために使用される。 実験により、KNOWNの身体再構成は、特に挑戦的な少数派の画像において、より弱く監督されたアプローチよりも優れていることが示された。

関連論文リスト

• FILP-3D: Enhancing 3D Few-shot Class-incremental Learning with Pre-trained Vision-Language Models [62.663113296987085]
  クラス増分学習(class-incremental learning)は、モデルが限られたデータに基づいて漸進的にトレーニングされている場合、破滅的な忘れの問題を軽減することを目的としている。 冗長特徴除去器(RFE)と空間ノイズ補償器(SNC)の2つの新しいコンポーネントを紹介する。 既存の3次元データセットの不均衡を考慮し、3次元FSCILモデルのより微妙な評価を提供する新しい評価指標を提案する。
  論文  参考訳（メタデータ） (2023-12-28T14:52:07Z)
• STRIDE: Single-video based Temporally Continuous Occlusion Robust 3D Pose Estimation [27.854074900345314]
  ビデオに先立って人間の動作に適合する新しいテストタイムトレーニング(TTT)手法であるSTRIDEを提案する。 筆者らのフレームワークは,モデルに依存しない柔軟性を示し,既製の3Dポーズ推定手法を用いて,堅牢性と時間的整合性を向上させる。 我々は、Occluded Human3.6M、Human3.6M、OCMotionのような挑戦的なデータセットに関する包括的な実験を通じてSTRIDEの有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-24T11:05:10Z)
• Multi-view 3D Object Reconstruction and Uncertainty Modelling with Neural Shape Prior [9.716201630968433]
  セマンティックシーン理解には3次元オブジェクト再構成が重要である。 奥行き情報,閉塞音,ノイズの欠如により,単眼画像から詳細な3次元形状を復元することは困難である。 本研究では,3次元オブジェクトモデルの大規模データセットから物体形状分布を学習し,潜在空間にマッピングするニューラルオブジェクト表現を活用することで,この問題に対処する。 本稿では,その表現の一部として不確実性をモデル化し,個々の入力画像から直接不確実性コードを生成する不確実性認識エンコーダを定義する手法を提案する。
  論文  参考訳（メタデータ） (2023-06-17T03:25:13Z)
• FIND: An Unsupervised Implicit 3D Model of Articulated Human Feet [27.85606375080643]
  我々は高忠実度3次元人足モデルを提案する。 モデルは、形状、テクスチャ、調音されたポーズという観点で、非絡み合った潜在コードによってパラメータ化される。
  論文  参考訳（メタデータ） (2022-10-21T20:47:16Z)
• Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose Estimation [70.32536356351706]
  本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。 ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。 本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T07:14:58Z)
• Advancing 3D Medical Image Analysis with Variable Dimension Transform based Supervised 3D Pre-training [45.90045513731704]
  本稿では,革新的でシンプルな3Dネットワーク事前学習フレームワークを再考する。 再設計された3Dネットワークアーキテクチャにより、データ不足の問題に対処するために、修正された自然画像が使用される。 4つのベンチマークデータセットに関する総合的な実験により、提案した事前学習モデルが収束を効果的に加速できることが示されている。
  論文  参考訳（メタデータ） (2022-01-05T03:11:21Z)
• Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
  入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。 我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。 我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
  論文  参考訳（メタデータ） (2020-08-16T13:38:41Z)
• PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction [67.08350202974434]
  本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。 本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-08T02:26:19Z)
• Kinematic-Structure-Preserved Representation for Unsupervised 3D Human Pose Estimation [58.72192168935338]
  大規模インスタディオデータセットの監視を用いて開発された人間のポーズ推定モデルの一般化可能性については疑問が残る。 本稿では,2対あるいは2対の弱い監督者によって抑制されない,新しいキネマティック構造保存型非教師付き3次元ポーズ推定フレームワークを提案する。 提案モデルでは,前方運動学,カメラ投影,空間マップ変換という3つの連続的な微分可能変換を用いる。
  論文  参考訳（メタデータ） (2020-06-24T23:56:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。