論文の概要: Unified 3D Mesh Recovery of Humans and Animals by Learning Animal Exercise

• arxiv url: http://arxiv.org/abs/2111.02450v1
• Date: Wed, 3 Nov 2021 18:15:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-05 12:40:02.904516
• Title: Unified 3D Mesh Recovery of Humans and Animals by Learning Animal Exercise
• Title（参考訳）: 動物運動の学習による人間と動物の統一3次元メッシュ回復
• Authors: Kim Youwang, Kim Ji-Yeon, Kyungdon Joo, Tae-Hyun Oh
• Abstract要約: そこで本研究では,人間と四足歩行動物の3Dメッシュのエンド・ツー・エンドの統合化について検討する。 我々は人間と動物の形態的類似性を利用して、人間が動物のポーズを模倣する動物運動に動機づけられた。
• 参考スコア（独自算出の注目度）: 29.52068540448424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose an end-to-end unified 3D mesh recovery of humans and quadruped animals trained in a weakly-supervised way. Unlike recent work focusing on a single target class only, we aim to recover 3D mesh of broader classes with a single multi-task model. However, there exists no dataset that can directly enable multi-task learning due to the absence of both human and animal annotations for a single object, e.g., a human image does not have animal pose annotations; thus, we have to devise a new way to exploit heterogeneous datasets. To make the unstable disjoint multi-task learning jointly trainable, we propose to exploit the morphological similarity between humans and animals, motivated by animal exercise where humans imitate animal poses. We realize the morphological similarity by semantic correspondences, called sub-keypoint, which enables joint training of human and animal mesh regression branches. Besides, we propose class-sensitive regularization methods to avoid a mean-shape bias and to improve the distinctiveness across multi-classes. Our method performs favorably against recent uni-modal models on various human and animal datasets while being far more compact.
• Abstract（参考訳）: 本稿では,人間と四足動物のエンドツーエンド統一型3次元メッシュリカバリを提案する。 単一のターゲットクラスのみに焦点を当てた最近の作業とは異なり、我々は単一のマルチタスクモデルでより広いクラスの3dメッシュを回復することを目指している。 しかし、人間と動物の両方のアノテーションが存在しないために、マルチタスク学習を直接可能にするデータセットは存在しない。例えば、人間の画像には動物のポーズのアノテーションがないので、不均一なデータセットを利用する新しい方法を考えなければならない。 不安定なマルチタスク学習を共同学習可能にするために,人間と動物の形態的類似性を活用し,動物のポーズを模倣する動物運動を動機とする。 人間と動物のメッシュ回帰枝の合同訓練を可能にするサブキーポイントと呼ばれる意味対応によって形態的類似性を実現する。 さらに, 平均形バイアスを回避し, 多クラス間の差分性を改善するために, クラス感性正規化手法を提案する。 提案手法は, 様々なヒトおよび動物のデータセット上の最近のユニモーダルモデルに対して, はるかにコンパクトでありながら好適に機能する。

関連論文リスト

• MultiPly: Reconstruction of Multiple People from Monocular Video in the Wild [32.6521941706907]
  モノクラーインザワイルドビデオから3Dで複数の人物を再構成する新しいフレームワークであるMultiPlyを提案する。 まず、シーン全体の階層化されたニューラル表現を定義し、個々の人間と背景モデルで合成する。 階層化可能なボリュームレンダリングを通じて,ビデオから階層化ニューラル表現を学習する。
  論文  参考訳（メタデータ） (2024-06-03T17:59:57Z)
• Learning the 3D Fauna of the Web [70.01196719128912]
  3D-Faunaは,100種以上の動物種を対象に,パンカテゴリーで変形可能な3D動物モデルを共同で学習する手法である。 動物モデリングにおける重要なボトルネックの1つは、トレーニングデータの可用性の制限である。 従来のカテゴリー固有の試みは,訓練画像に制限のある希少種への一般化に失敗することを示す。
  論文  参考訳（メタデータ） (2024-01-04T18:32:48Z)
• Cross-view and Cross-pose Completion for 3D Human Understanding [22.787947086152315]
  画像のみを用いて人間中心のデータを扱う自己教師付き学習に基づく事前学習手法を提案する。 身体中心タスクのためのモデルと手中心タスクのためのモデルを事前訓練する。 汎用的なトランスフォーマーアーキテクチャでは、これらのモデルは、広範囲の人間中心の下流タスクにおいて、既存の自己教師付き事前学習方法より優れている。
  論文  参考訳（メタデータ） (2023-11-15T16:51:18Z)
• LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human Bodies [78.17425779503047]
  本稿では,人体に対する新しい暗黙の表現法を提案する。 完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。 我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
  論文  参考訳（メタデータ） (2021-11-30T04:10:57Z)
• 3D Multi-bodies: Fitting Sets of Plausible 3D Human Models to Ambiguous Image Data [77.57798334776353]
  単眼・部分閉塞視からヒトの高密度3次元再構成を実現することの問題点を考察する。 身体の形状やポーズをパラメータ化することで、あいまいさをより効果的にモデル化できることを示唆する。 提案手法は, 3次元人間の標準ベンチマークにおいて, あいまいなポーズ回復において, 代替手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-02T13:55:31Z)
• Unsupervised Shape and Pose Disentanglement for 3D Meshes [49.431680543840706]
  本研究では,非教師付き環境において,非教師付き形状とポーズ表現を学習するための,シンプルで効果的なアプローチを提案する。 自己整合性と相互整合性の制約を組み合わせて、登録メッシュからポーズと空間の形状を学ぶ。 ポーズ転送や形状検索などのタスクを通じて,学習した表現の有用性を示す。
  論文  参考訳（メタデータ） (2020-07-22T11:00:27Z)
• Transferring Dense Pose to Proximal Animal Classes [83.84439508978126]
  より一般的な対象検出器やセグメンタなどと同様に、密集したポーズ認識に存在する知識を、他のクラスにおける密集したポーズ認識の問題に移すことが可能であることを示す。 我々は、人間と幾何学的に整合した新しい動物のためのDensePoseモデルを確立することでこれを行う。 また、クラスチンパンジーにDensePoseの方法でラベル付けされた2つのベンチマークデータセットを導入し、アプローチを評価するためにそれらを使用します。
  論文  参考訳（メタデータ） (2020-02-28T21:43:53Z)
• Chained Representation Cycling: Learning to Estimate 3D Human Pose and Shape by Cycling Between Representations [73.11883464562895]
  本稿では,教師なし,あるいは教師なしの学習を容易にする新しいアーキテクチャを提案する。 本研究では,非ペア画像と無注釈画像から3次元人物のポーズと形状を学習することにより,その手法を実証する。 人間をモデル化するための結果を示す一方で、私たちの定式化は一般的であり、他の視覚問題にも適用できる。
  論文  参考訳（メタデータ） (2020-01-06T14:54:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。