論文の概要: Cyclic Test-Time Adaptation on Monocular Video for 3D Human Mesh Reconstruction

• arxiv url: http://arxiv.org/abs/2308.06554v1
• Date: Sat, 12 Aug 2023 12:55:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 16:33:01.697530
• Title: Cyclic Test-Time Adaptation on Monocular Video for 3D Human Mesh Reconstruction
• Title（参考訳）: 3次元メッシュ再構成のための単眼ビデオの周期的テスト時間適応
• Authors: Hyeongjin Nam, Daniel Sungho Jung, Yeonguk Oh, Kyoung Mu Lee
• Abstract要約: テスト画像からの2Dエビデンスに依存するネットワークを微調整するテスト時間適応により、いくつかの先行研究がドメインギャップ問題に対処している。 本稿では,HMRNet(Human Mesh Restruction Network)とMDNet(Human Motion Denoising Network)の2つのネットワークを循環的に適応するCycleAdaptを紹介する。 本フレームワークは,MDNetが生成した3D監視ターゲットを用いてHMRNetを完全に監視し,不完全な2Dエビデンスを補う。
• 参考スコア（独自算出の注目度）: 49.45139111746501
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Despite recent advances in 3D human mesh reconstruction, domain gap between training and test data is still a major challenge. Several prior works tackle the domain gap problem via test-time adaptation that fine-tunes a network relying on 2D evidence (e.g., 2D human keypoints) from test images. However, the high reliance on 2D evidence during adaptation causes two major issues. First, 2D evidence induces depth ambiguity, preventing the learning of accurate 3D human geometry. Second, 2D evidence is noisy or partially non-existent during test time, and such imperfect 2D evidence leads to erroneous adaptation. To overcome the above issues, we introduce CycleAdapt, which cyclically adapts two networks: a human mesh reconstruction network (HMRNet) and a human motion denoising network (MDNet), given a test video. In our framework, to alleviate high reliance on 2D evidence, we fully supervise HMRNet with generated 3D supervision targets by MDNet. Our cyclic adaptation scheme progressively elaborates the 3D supervision targets, which compensate for imperfect 2D evidence. As a result, our CycleAdapt achieves state-of-the-art performance compared to previous test-time adaptation methods. The codes are available at https://github.com/hygenie1228/CycleAdapt_RELEASE.
• Abstract（参考訳）: 最近の3Dメッシュ再構築の進歩にもかかわらず、トレーニングとテストデータのドメインギャップは依然として大きな課題である。 いくつかの先行研究は、テスト画像から2Dエビデンス(例えば2D人間のキーポイント)に依存するネットワークを微調整するテスト時間適応によってドメインギャップ問題に取り組む。 しかし、適応中の2D証拠への高い依存は2つの大きな問題を引き起こす。 まず、2次元の証拠は深さの曖昧さを誘発し、正確な3次元の幾何学の学習を妨げる。 第二に、2Dの証拠は、試験期間中にうるさいか、部分的には存在しない。 以上の課題を克服するために,人間のメッシュ再構成ネットワーク(HMRNet)と人間の動き認知ネットワーク(MDNet)の2つのネットワークに周期的に適応するCycleAdaptを紹介した。 本フレームワークでは,HMRNetをMDNetが生成した3D監視目標をフルに監視し,高信頼度2Dエビデンスを緩和する。 提案手法は,不完全な2次元証拠を補償する3次元監視目標を段階的に複雑化する。 その結果、CycleAdaptは従来のテスト時間適応手法と比較して最先端の性能を実現した。 コードはhttps://github.com/hygenie1228/CycleAdapt_RELEASEで公開されている。

関連論文リスト

• TokenHMR: Advancing Human Mesh Recovery with a Tokenized Pose Representation [48.08156777874614]
  現在の手法では3次元擬似地下構造(p-GT)と2次元鍵点を利用して、堅牢な性能を実現している。 このような手法により、3次元ポーズ精度のパラドックス的低下が観察され、2次元精度が増大する。 現行のカメラモデルによる誤差を定量化し、2Dキーポイントとp-GTの装着が正確な3Dポーズを引き起こすことを示す。
  論文  参考訳（メタデータ） (2024-04-25T17:09:14Z)
• DiffuPose: Monocular 3D Human Pose Estimation via Denoising Diffusion Probabilistic Model [25.223801390996435]
  本稿では,1つの2次元キーポイント検出から3次元ポーズを再構築することに焦点を当てた。 我々は,市販の2D検出器から多種多様な3Dポーズを効果的にサンプリングするための,拡散に基づく新しいフレームワークを構築した。 我々は,広く採用されているHuman3.6MとHumanEva-Iデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2022-12-06T07:22:20Z)
• Super Images -- A New 2D Perspective on 3D Medical Imaging Analysis [0.0]
  トレーニング中に3次元知識を効率的に埋め込んで3次元データを扱うための,シンプルで効果的な2次元手法を提案する。 本手法は3次元画像にスライスを並べて超高分解能画像を生成する。 2次元ネットワークのみを利用した3次元ネットワークを実現する一方で、モデルの複雑さはおよそ3倍に減少する。
  論文  参考訳（メタデータ） (2022-05-05T09:59:03Z)
• Multi-initialization Optimization Network for Accurate 3D Human Pose and Shape Estimation [75.44912541912252]
  我々はMulti-Initialization Optimization Network(MION)という3段階のフレームワークを提案する。 第1段階では,入力サンプルの2次元キーポイントに適合する粗い3次元再構成候補を戦略的に選択する。 第2段階では, メッシュ改質トランス (MRT) を設計し, 自己保持機構を用いて粗い再構成結果をそれぞれ洗練する。 最後に,RGB画像の視覚的証拠が与えられた3次元再構成と一致するかどうかを評価することで,複数の候補から最高の結果を得るために,一貫性推定ネットワーク(CEN)を提案する。
  論文  参考訳（メタデータ） (2021-12-24T02:43:58Z)
• FCOS3D: Fully Convolutional One-Stage Monocular 3D Object Detection [78.00922683083776]
  一般的な2D検出器をこの3Dタスクで動作させることは簡単ではない。 本報告では,完全畳み込み型単段検出器を用いた手法を用いてこの問題を考察する。 私たちのソリューションは、NeurIPS 2020のnuScenes 3D検出チャレンジのすべてのビジョンのみの方法の中で1位を獲得します。
  論文  参考訳（メタデータ） (2021-04-22T09:35:35Z)
• Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
  本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。 主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。 本稿では,D2S(Deep-to-scale)投影法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T03:31:35Z)
• Pose2Mesh: Graph Convolutional Network for 3D Human Pose and Mesh Recovery from a 2D Human Pose [70.23652933572647]
  本稿では,人間のメッシュ頂点の3次元座標を直接推定するグラフ畳み込みニューラルネットワーク(GraphCNN)を提案する。 我々のPose2Meshは、様々なベンチマークデータセットにおいて、以前の3次元人間のポーズとメッシュ推定方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-20T16:01:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。