論文の概要: Out-of-Domain Human Mesh Reconstruction via Dynamic Bilevel Online Adaptation

• arxiv url: http://arxiv.org/abs/2111.04017v1
• Date: Sun, 7 Nov 2021 07:23:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-09 16:37:57.473276
• Title: Out-of-Domain Human Mesh Reconstruction via Dynamic Bilevel Online Adaptation
• Title（参考訳）: ダイナミックバイレベルオンライン適応によるドメイン外メッシュ再構成
• Authors: Shanyan Guan, Jingwei Xu, Michelle Z. He, Yunbo Wang, Bingbing Ni, Xiaokang Yang
• Abstract要約: 我々は、人間のメッシュ再構成モデルをドメイン外ストリーミングビデオに適用する際の新しい問題を考える。 オンライン適応によってこの問題に対処し、テスト中のモデルのバイアスを徐々に修正します。 動的バイレベルオンライン適応アルゴリズム(DynaBOA)を提案する。
• 参考スコア（独自算出の注目度）: 87.85851771425325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider a new problem of adapting a human mesh reconstruction model to out-of-domain streaming videos, where performance of existing SMPL-based models are significantly affected by the distribution shift represented by different camera parameters, bone lengths, backgrounds, and occlusions. We tackle this problem through online adaptation, gradually correcting the model bias during testing. There are two main challenges: First, the lack of 3D annotations increases the training difficulty and results in 3D ambiguities. Second, non-stationary data distribution makes it difficult to strike a balance between fitting regular frames and hard samples with severe occlusions or dramatic changes. To this end, we propose the Dynamic Bilevel Online Adaptation algorithm (DynaBOA). It first introduces the temporal constraints to compensate for the unavailable 3D annotations, and leverages a bilevel optimization procedure to address the conflicts between multi-objectives. DynaBOA provides additional 3D guidance by co-training with similar source examples retrieved efficiently despite the distribution shift. Furthermore, it can adaptively adjust the number of optimization steps on individual frames to fully fit hard samples and avoid overfitting regular frames. DynaBOA achieves state-of-the-art results on three out-of-domain human mesh reconstruction benchmarks.
• Abstract（参考訳）: 我々は,既存のsmplモデルの性能が,異なるカメラパラメータ,骨長,背景,咬合によって表される分布シフトによって著しく影響を受ける,領域外ストリーミングビデオへのヒューマンメッシュ再構成モデルの適用に関する新たな問題を考える。 オンライン適応によってこの問題に取り組み、テスト中にモデルのバイアスを徐々に修正します。 第一に、3dアノテーションの欠如はトレーニングの難しさを増加させ、3dの曖昧さをもたらす。 第二に、非定常データ分布は、通常のフレームと厳しい閉塞や劇的な変化を伴うハードサンプルとのバランスを取るのを難しくする。 そこで本稿では,動的バイレベルオンライン適応アルゴリズム(DynaBOA)を提案する。 まず、利用できない3Dアノテーションを補うための時間的制約を導入し、マルチオブジェクト間の競合に対処するためにバイレベル最適化手順を活用する。 DynaBOAは、分散シフトにもかかわらず効率的に取得された類似のソース例と共同トレーニングにより、追加の3Dガイダンスを提供する。 さらに、個々のフレームの最適化ステップ数を適応的に調整して、ハードサンプルを完全に適合させ、通常のフレームの過度な適合を避けることができる。 DynaBOAは3つのドメイン外のヒューマンメッシュ再構築ベンチマークで最先端の結果を達成する。

関連論文リスト

• SD-MVS: Segmentation-Driven Deformation Multi-View Stereo with Spherical Refinement and EM optimization [6.886220026399106]
  テクスチャレス領域の3次元再構成における課題を解決するために,多視点ステレオ (SD-MVS) を導入する。 私たちは、シーン内のセグメンテーションインスタンスを区別するためにSAM(Segment Anything Model)を採用した最初の人です。 球面座標と正規点の勾配勾配と深度の画素方向探索間隔を組み合わせた独自の精細化戦略を提案する。
  論文  参考訳（メタデータ） (2024-01-12T05:25:57Z)
• Progressive Multi-view Human Mesh Recovery with Self-Supervision [68.60019434498703]
  既存のソリューションは通常、新しい設定への一般化性能の低下に悩まされる。 マルチビューヒューマンメッシュリカバリのためのシミュレーションに基づく新しいトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-12-10T06:28:29Z)
• Self-supervised Human Mesh Recovery with Cross-Representation Alignment [20.69546341109787]
  自己教師付きヒューマンメッシュリカバリ手法は、3Dアノテーション付きベンチマークデータセットの可用性と多様性が制限されているため、一般化性が低い。 頑健だがスパースな表現(2Dキーポイント)からの相補的情報を利用した相互表現アライメントを提案する。 この適応的相互表現アライメントは、偏差から明示的に学習し、相補的な情報(疎表現からの豊かさと密表現からの堅牢さ)をキャプチャする。
  論文  参考訳（メタデータ） (2022-09-10T04:47:20Z)
• Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose Estimation [70.32536356351706]
  本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。 ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。 本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T07:14:58Z)
• Distribution-Aware Single-Stage Models for Multi-Person 3D Pose Estimation [29.430404703883084]
  本稿では,多人数の3Dポーズ推定問題に対処する新しいDASモデルを提案する。 提案するDASモデルでは,3次元カメラ空間における人物位置と人体関節をワンパスで同時に位置決めする。 CMU Panoptic と MuPoTS-3D のベンチマークに関する総合的な実験は、提案したDASモデルの優れた効率を実証している。
  論文  参考訳（メタデータ） (2022-03-15T07:30:27Z)
• Multi-initialization Optimization Network for Accurate 3D Human Pose and Shape Estimation [75.44912541912252]
  我々はMulti-Initialization Optimization Network(MION)という3段階のフレームワークを提案する。 第1段階では,入力サンプルの2次元キーポイントに適合する粗い3次元再構成候補を戦略的に選択する。 第2段階では, メッシュ改質トランス (MRT) を設計し, 自己保持機構を用いて粗い再構成結果をそれぞれ洗練する。 最後に,RGB画像の視覚的証拠が与えられた3次元再構成と一致するかどうかを評価することで,複数の候補から最高の結果を得るために,一貫性推定ネットワーク(CEN)を提案する。
  論文  参考訳（メタデータ） (2021-12-24T02:43:58Z)
• Bilevel Online Adaptation for Out-of-Domain Human Mesh Reconstruction [94.25865526414717]
  本稿では,事前に訓練されたヒトメッシュ再構築モデルをドメイン外ストリーミングビデオに適応させるという新たな問題を検討する。 重みプローブと重み更新の2つのステップに全体多対象の最適化プロセスを分割するBilevel Online Adaptationを提案します。 BOAが2つのヒューマンメッシュ再構築ベンチマークで最先端の結果をもたらすことを実証する。
  論文  参考訳（メタデータ） (2021-03-30T15:47:58Z)
• Dense Non-Rigid Structure from Motion: A Manifold Viewpoint [162.88686222340962]
  Non-Rigid Structure-from-Motion (NRSfM) 問題は、複数のフレームにまたがる2次元特徴対応から変形物体の3次元形状を復元することを目的としている。 提案手法は,ノイズに対する精度,スケーラビリティ,堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-06-15T09:15:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。