論文の概要: Anny-Fit: All-Age Human Mesh Recovery
- arxiv url: http://arxiv.org/abs/2605.04728v1
- Date: Wed, 06 May 2026 10:23:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-07 18:41:07.769107
- Title: Anny-Fit: All-Age Human Mesh Recovery
- Title(参考訳): Anny-Fit:完全な人力メッシュリカバリ
- Abstract要約: Anny-Fitは、オールエイジの3Dメッシュリカバリのためのカメラ空間最適化フレームワークである。
本手法は,成人のみのHMRパイプラインを全年齢スペクトルにゼロショット適応させることにより,成人のみのモデリングと全年齢モデリングを橋渡しする。
- 参考スコア(独自算出の注目度): 24.422315218120932
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recovering 3D human pose and shape from a single image remains a cornerstone of human-centric vision, yet most methods assume adult subjects and optimize each person independently. These assumptions fail in real-world, all-age scenes, where body proportions and depth must be resolved jointly. We introduce Anny-Fit, a multi-person, camera-space optimization framework for all-age 3D human mesh recovery (HMR). Unlike existing per-person fitting methods, Anny-Fit jointly optimizes all individuals directly in the camera coordinate system, enforcing global spatial consistency. At the core of our approach is the use of multiple forms of expert knowledge -- including metric depth maps, instance segmentation, 2D keypoints, and, VLM-derived semantic attributes such as age and gender -- each obtained from dedicated off-the-shelf networks. These complementary signals jointly guide the optimization, constraining the depth-scale ambiguity characteristic of all-age scenes. Across diverse datasets, Anny-Fit consistently improves 2D reprojection accuracy (+13 to 16), relative depth ordering (+6 to 7), 3D estimation error (-9 to -29) and shape estimation (+25 to +82), producing more coherent scenes. Finally, we show that VLM-based semantic knowledge can be distilled into an HMR model via the pseudo-ground-truth annotations produced by Anny-Fit on training data, enabling it to learn semantically meaningful shape parameters while improving HMR performance. Our approach bridges adult-only and all-age modeling by enabling zero-shot adaptation of adult-trained HMR pipelines to the full age spectrum without retraining. Code is publicly available at https://github.com/naver/anny-fit.
- Abstract(参考訳): 一つの画像から3Dのポーズと形状を復元することは、人間の中心的なビジョンの土台だが、ほとんどの方法は大人の被験者を仮定し、それぞれを独立して最適化する。
これらの仮定は、身体の比率と深さを共同で解決しなければならない実世界の全年齢シーンで失敗する。
我々は、オールエイジ3Dヒューマンメッシュリカバリ(HMR)のためのマルチパーソンカメラ空間最適化フレームワークAnny-Fitを紹介した。
既存の対人フィッティング法とは異なり、Anny-Fitは全個人をカメラ座標系で直接最適化し、グローバルな空間一貫性を強制する。
私たちのアプローチの核心は、メトリクス深度マップ、インスタンスのセグメンテーション、2Dキーポイント、年齢や性別などのVLM固有のセマンティックな属性など、複数のタイプの専門家知識を使用することです。
これらの補完信号は、全年齢シーンの深さスケールのあいまいさ特性を制約し、最適化を共同で導く。
さまざまなデータセットにわたって、Anny-Fitは連続して2D再投影精度(+13から16)、相対深度順序(+6から7)、3D推定誤差(-9から-29)、形状推定(+25から+82)を改善し、より一貫性のあるシーンを生成する。
最後に,VLMをベースとした意味知識を,Anny-Fitがトレーニングデータ上で生成した擬似地下構造アノテーションを用いてHMRモデルに抽出できることを示し,HMR性能を改善しながら意味のある形状パラメータを学習できるようにする。
本手法は,成人のみのHMRパイプラインを全年齢スペクトルにゼロショット適応させることにより,成人のみのモデリングと全年齢モデリングを橋渡しする。
コードはhttps://github.com/naver/anny-fitで公開されている。
関連論文リスト
- UniSH: Unifying Scene and Human Reconstruction in a Feed-Forward Pass [83.7071371474926]
UniSHは、統合されたフィードフォワードフレームワークで、共同でメートルスケールの3Dシーンと人間の再構築を行う。
我々のフレームワークは、シーン再構築とHMRとの違いを強く橋渡しします。
本モデルは,人間中心のシーン再構築における最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2026-01-03T16:06:27Z) - Towards Metric-Aware Multi-Person Mesh Recovery by Jointly Optimizing Human Crowd in Camera Space [9.795479102842622]
本研究では,群集内の全個人のカメラ空間翻訳を共同で洗練する,新しい最適化手法を提案する。
DTOを4D-Humansデータセットに適用し、DTO-Humansという新しい大規模pGTデータセットを構築した。
また、人間のメッシュとカメラパラメータを直接メトリックスケールで推定するエンドツーエンドネットワークであるMetric-Aware HMRを提案する。
論文 参考訳(メタデータ) (2025-11-17T12:00:13Z) - HAMSt3R: Human-Aware Multi-view Stereo 3D Reconstruction [15.368018463074058]
HAMSt3Rは、スパース・アンキャリブレーション画像からのヒトとシーンの3D再構成のためのMASt3Rの拡張である。
提案手法では,人間をセグメント化したり,DensePose経由での密接な通信を推定したり,人中心環境における深度を予測したりするために,追加のネットワークヘッドを組み込んだ。
論文 参考訳(メタデータ) (2025-08-22T14:43:18Z) - Adapting Human Mesh Recovery with Vision-Language Feedback [17.253535686451897]
視覚言語モデルを用いて対話的な身体部分記述を生成する。
我々はテキストエンコーダとポーズVQ-VAEをトレーニングし、テキストを共有潜在空間内のボディポーズにアライメントする。
モデルは正確な3D知覚と画像の一貫性を持ったポーズを生成することができる。
論文 参考訳(メタデータ) (2025-02-06T07:42:00Z) - DiHuR: Diffusion-Guided Generalizable Human Reconstruction [51.31232435994026]
一般化可能なヒト3次元再構成のための拡散誘導モデルであるDiHuRを導入し,スパース・ミニマル・オーバーラップ画像からのビュー合成について述べる。
提案手法は, 一般化可能なフィードフォワードモデルと2次元拡散モデルとの2つのキー前処理をコヒーレントな方法で統合する。
論文 参考訳(メタデータ) (2024-11-16T03:52:23Z) - MultiPly: Reconstruction of Multiple People from Monocular Video in the Wild [32.6521941706907]
モノクラーインザワイルドビデオから3Dで複数の人物を再構成する新しいフレームワークであるMultiPlyを提案する。
まず、シーン全体の階層化されたニューラル表現を定義し、個々の人間と背景モデルで合成する。
階層化可能なボリュームレンダリングを通じて,ビデオから階層化ニューラル表現を学習する。
論文 参考訳(メタデータ) (2024-06-03T17:59:57Z) - Diffusion Models are Efficient Data Generators for Human Mesh Recovery [55.37787289869703]
生成モデルにより生成された合成データはCGレンダリングデータと相補的であることを示す。
我々はHumanWildと呼ばれる最近の拡散モデルに基づく効率的なデータ生成パイプラインを提案する。
われわれの研究は、人間の3Dリカバリを現場に拡大するための道を開くかもしれない。
論文 参考訳(メタデータ) (2024-03-17T06:31:16Z) - Scene-Aware 3D Multi-Human Motion Capture from a Single Camera [83.06768487435818]
静止カメラで記録された1枚のRGBビデオから、シーン内の複数の人間の3次元位置を推定し、その身体形状と調音を推定する問題を考察する。
コンピュータビジョンの最近の進歩を,2次元の人体関節,関節角度,正規化不均等マップ,人間のセグメンテーションマスクなど,様々なモダリティのための大規模事前訓練モデルを用いて活用している。
特に,2次元の関節と関節角度を用いた正規化不均等予測から,シーン深度とユニークな人格尺度を推定する。
論文 参考訳(メタデータ) (2023-01-12T18:01:28Z) - Direct Multi-view Multi-person 3D Pose Estimation [138.48139701871213]
マルチビュー画像からマルチパーソン3Dポーズを推定するためのMulti-view Pose Transformer(MvP)を提案する。
MvPは、中間タスクに頼ることなく、複数の人物の3Dポーズを直接クリーンで効率的な方法で回帰する。
我々は,MvPモデルがより効率的でありながら,いくつかのベンチマークにおいて最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-11-07T13:09:20Z) - Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。
主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。
本稿では,D2S(Deep-to-scale)投影法を提案する。
論文 参考訳(メタデータ) (2020-10-27T03:31:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。