論文の概要: Chasing the Tail in Monocular 3D Human Reconstruction with Prototype Memory

• arxiv url: http://arxiv.org/abs/2012.14739v1
• Date: Tue, 29 Dec 2020 12:57:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-18 20:36:20.284316
• Title: Chasing the Tail in Monocular 3D Human Reconstruction with Prototype Memory
• Title（参考訳）: プロトタイプ記憶を用いた単眼3次元ヒト再建における尾の追尾
• Authors: Yu Rong, Ziwei Liu, Chen Change Loy
• Abstract要約: 本稿では,レアポーズの予測性能を効果的に向上するメモリ拡張ネットワークPM-Netを提案する。 本研究では,1)この学習障害を特定し解析し,2)稀なポーズの予測性能を効果的に向上するメモリ拡張ネットワークPM-Netを提案する。
• 参考スコア（独自算出の注目度）: 98.36233875637168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks have achieved great progress in single-image 3D human reconstruction. However, existing methods still fall short in predicting rare poses. The reason is that most of the current models perform regression based on a single human prototype, which is similar to common poses while far from the rare poses. In this work, we 1) identify and analyze this learning obstacle and 2) propose a prototype memory-augmented network, PM-Net, that effectively improves performances of predicting rare poses. The core of our framework is a memory module that learns and stores a set of 3D human prototypes capturing local distributions for either common poses or rare poses. With this formulation, the regression starts from a better initialization, which is relatively easier to converge. Extensive experiments on several widely employed datasets demonstrate the proposed framework's effectiveness compared to other state-of-the-art methods. Notably, our approach significantly improves the models' performances on rare poses while generating comparable results on other samples.
• Abstract（参考訳）: 深層ニューラルネットワークは、単像3次元人間の再構築において大きな進歩を遂げた。 しかし、既存の手法は稀なポーズを予測できない。 理由は、現在のモデルの多くが1つのプロトタイプに基づいて回帰を行うためであり、これはまれなポーズとは程遠い一般的なポーズに似ている。 本研究では,1)この学習障害を特定し解析し,2)稀なポーズの予測性能を効果的に向上するメモリ拡張ネットワークPM-Netを提案する。 私たちのフレームワークのコアは、共通のポーズまたはまれなポーズのローカル分布をキャプチャする3d人間のプロトタイプのセットを学習し、保存するメモリモジュールです。 この定式化によって回帰はより優れた初期化から始まり、収束が比較的容易になる。 いくつかの広く使われているデータセットに対する大規模な実験は、他の最先端の手法と比較して提案されたフレームワークの有効性を示している。 特に,本手法はレアポーズにおけるモデルの性能を大幅に向上させ,他のサンプルで同等の結果を得る。

関連論文リスト

• ManiPose: Manifold-Constrained Multi-Hypothesis 3D Human Pose Estimation [54.86887812687023]
  ほとんどの3D-HPE法は回帰モデルに依存しており、入力と出力の1対1のマッピングを前提としている。 提案するManiPoseは,2次元入力毎に複数の候補3次元ポーズを提案可能な,新しい多様体制約型マルチハイポテーシスモデルである。 従来のマルチハイブリッドアプローチとは異なり、我々のソリューションは完全に教師付きであり、複雑な生成モデルに依存しない。
  論文  参考訳（メタデータ） (2023-12-11T13:50:10Z)
• Jointformer: Single-Frame Lifting Transformer with Error Prediction and Refinement for 3D Human Pose Estimation [11.592567773739407]
  人間の3次元ポーズ推定技術は、人間の動きデータの可用性を大幅に向上させる可能性がある。 シングルイメージ2D-3Dリフトの最高の性能モデルは、通常、異なる体節間の関係を定義するために手動入力を必要とするグラフ畳み込みネットワーク(GCN)を使用する。 より一般化された自己認識機構を用いてこれらの関係を学習するトランスフォーマーに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-08-07T12:07:19Z)
• Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
  本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。 我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
  論文  参考訳（メタデータ） (2021-08-26T17:55:11Z)
• 3D Multi-bodies: Fitting Sets of Plausible 3D Human Models to Ambiguous Image Data [77.57798334776353]
  単眼・部分閉塞視からヒトの高密度3次元再構成を実現することの問題点を考察する。 身体の形状やポーズをパラメータ化することで、あいまいさをより効果的にモデル化できることを示唆する。 提案手法は, 3次元人間の標準ベンチマークにおいて, あいまいなポーズ回復において, 代替手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-02T13:55:31Z)
• Cascaded deep monocular 3D human pose estimation with evolutionary training data [76.3478675752847]
  深層表現学習は単眼の3次元ポーズ推定において顕著な精度を達成した。 本稿では,大量のトレーニングデータに対してスケーラブルな新しいデータ拡張手法を提案する。 本手法は,先行知識に触発された階層的人体表現と合成に基づいて,未知の3次元人体骨格を合成する。
  論文  参考訳（メタデータ） (2020-06-14T03:09:52Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。