論文の概要: SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation

• arxiv url: http://arxiv.org/abs/2501.09782v1
• Date: Thu, 16 Jan 2025 18:59:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 13:58:43.698299
• Title: SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation
• Title（参考訳）: SMPLest-X: 表現力のある人間の姿勢と形状推定のための究極のスケーリング
• Authors: Wanqi Yin, Zhongang Cai, Ruisi Wang, Ailing Zeng, Chen Wei, Qingping Sun, Haiyi Mei, Yanjun Wang, Hui En Pang, Mingyuan Zhang, Lei Zhang, Chen Change Loy, Atsushi Yamashita, Lei Yang, Ziwei Liu,
• Abstract要約: 表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。 現在の最先端の手法は、限定されたデータセット上で革新的なアーキテクチャ設計を訓練することに焦点を当てている。 本稿では,EHPSのスケールアップが一般基盤モデルのファミリに与える影響について検討する。
• 参考スコア（独自算出の注目度）: 81.36747103102459
• License:
• Abstract: Expressive human pose and shape estimation (EHPS) unifies body, hands, and face motion capture with numerous applications. Despite encouraging progress, current state-of-the-art methods focus on training innovative architectural designs on confined datasets. In this work, we investigate the impact of scaling up EHPS towards a family of generalist foundation models. 1) For data scaling, we perform a systematic investigation on 40 EHPS datasets, encompassing a wide range of scenarios that a model trained on any single dataset cannot handle. More importantly, capitalizing on insights obtained from the extensive benchmarking process, we optimize our training scheme and select datasets that lead to a significant leap in EHPS capabilities. Ultimately, we achieve diminishing returns at 10M training instances from diverse data sources. 2) For model scaling, we take advantage of vision transformers (up to ViT-Huge as the backbone) to study the scaling law of model sizes in EHPS. To exclude the influence of algorithmic design, we base our experiments on two minimalist architectures: SMPLer-X, which consists of an intermediate step for hand and face localization, and SMPLest-X, an even simpler version that reduces the network to its bare essentials and highlights significant advances in the capture of articulated hands. With big data and the large model, the foundation models exhibit strong performance across diverse test benchmarks and excellent transferability to even unseen environments. Moreover, our finetuning strategy turns the generalist into specialist models, allowing them to achieve further performance boosts. Notably, our foundation models consistently deliver state-of-the-art results on seven benchmarks such as AGORA, UBody, EgoBody, and our proposed SynHand dataset for comprehensive hand evaluation. (Code is available at: https://github.com/wqyin/SMPLest-X).
• Abstract（参考訳）: 表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。 進歩の促進にもかかわらず、現在の最先端の手法は、限定されたデータセットで革新的なアーキテクチャ設計をトレーニングすることに焦点を当てている。 本研究では,EHPSのスケールアップが一般基盤モデルのファミリに与える影響について検討する。 1)データスケーリングでは、40のEHPSデータセットを体系的に調査し、単一のデータセットでトレーニングされたモデルでは処理できない幅広いシナリオを包含する。 さらに重要なのは、広範なベンチマークプロセスから得られた洞察を活かして、トレーニングスキームを最適化し、EHPS能力の大幅な飛躍につながるデータセットを選択することです。 最終的には、さまざまなデータソースからの1000万のトレーニングインスタンスで、リターンの低下を実現しています。 2)モデルスケーリングでは,視覚変換器(VT-Hugeをバックボーンとする)を活用し,EHPSにおけるモデルサイズのスケーリング法則について検討する。 アルゴリズム設計の影響を排除すべく,手と顔のローカライゼーションの中間ステップからなるSMPLer-Xと,さらに単純なバージョンであるSMPLest-Xの2つのミニマリストアーキテクチャを用いた実験を行った。 ビッグデータと大規模モデルでは、ファンデーションモデルは、さまざまなテストベンチマークにまたがる強力なパフォーマンスと、目に見えない環境への優れた転送性を示します。 さらに、我々の微調整戦略は、ジェネラリストをスペシャリストモデルに変え、さらなるパフォーマンス向上を可能にします。 特に, AGORA, UBody, EgoBody, 提案したSynHandデータセットなどの7つのベンチマークに対して, 総合的な手評価を行うための基礎モデルを提案する。 (コードはhttps://github.com/wqyin/SMPLest-X)。

関連論文リスト

• DreamMask: Boosting Open-vocabulary Panoptic Segmentation with Synthetic Data [61.62554324594797]
  オープンな語彙設定でトレーニングデータを生成する方法と、実データと合成データの両方でモデルをトレーニングする方法を探索するDreamMaskを提案する。 一般的に、DreamMaskは大規模なトレーニングデータの収集を著しく単純化し、既存のメソッドのプラグイン・アンド・プレイ・エンハンスメントとして機能する。 例えば、COCOで訓練しADE20Kで試験すると、ドリームマスクを装備したモデルは以前の最先端の2.1% mIoUよりも優れていた。
  論文  参考訳（メタデータ） (2025-01-03T19:00:00Z)
• Scaling Laws for Task-Optimized Models of the Primate Visual Ventral Stream [3.4526439922541705]
  霊長類視覚腹側流(VVS)のモデリングにおけるスケーリング法則の評価を行った。 行動アライメントはより大きなモデルでスケールし続けるが、ニューラルアライメントは飽和する。 スケーリングの増加は、少数のサンプルでトレーニングされた小さなモデルでは、アライメントが不十分である、高レベルの視覚領域において特に有益である。
  論文  参考訳（メタデータ） (2024-11-08T17:13:53Z)
• OReole-FM: successes and challenges toward billion-parameter foundation models for high-resolution satellite imagery [0.3926357402982764]
  数十億のパラメータにモデルをスケールすることは、創発的能力を含む前例のない利益をもたらすことが示されている。 我々は、Frontierスーパーコンピュータ、アメリカ初のエクサスケールシステム、および10億スケールのFMを事前トレーニングするために高解像度の光学RSデータを含む高性能コンピューティングリソースをペアリングする。
  論文  参考訳（メタデータ） (2024-10-25T20:55:12Z)
• GeoBench: Benchmarking and Analyzing Monocular Geometry Estimation Models [41.76935689355034]
  識別的および生成的事前学習により、強力な一般化能力を持つ幾何推定モデルが得られた。 幾何推定モデルの評価と解析のための,公平で強力なベースラインを構築した。 多様なシーンと高品質なアノテーションを用いた幾何推定タスクにおいて,より困難なベンチマークを用いて,単色幾何推定器の評価を行った。
  論文  参考訳（メタデータ） (2024-06-18T14:44:12Z)
• Pretraining Billion-scale Geospatial Foundational Models on Frontier [0.16492989697868893]
  ファンデーションモデル(FM)は、自己教師付き学習を通じて、インターネットスケールの未ラベルデータで訓練される。 本研究では,空間的応用のための10億規模のFMとHPCトレーニングプロファイルを,公開データの事前学習により検討する。 我々のより大きな3Bパラメータサイズモデルでは、トップ1シーンの分類精度が最大30%向上する。
  論文  参考訳（メタデータ） (2024-04-17T19:16:32Z)
• SMPLer-X: Scaling Up Expressive Human Pose and Shape Estimation [83.18930314027254]
  表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。 本研究では,VT-Huge をバックボーンとする第1次一般基礎モデル (SMPLer-X) に向けた EHPS のスケールアップについて検討する。 ビッグデータと大規模モデルにより、SMPLer-Xは、さまざまなテストベンチマークにまたがる強力なパフォーマンスと、目に見えない環境への優れた転送性を示す。
  論文  参考訳（メタデータ） (2023-09-29T17:58:06Z)
• Delving Deeper into Data Scaling in Masked Image Modeling [145.36501330782357]
  視覚認識のためのマスク付き画像モデリング(MIM)手法のスケーリング能力に関する実証的研究を行った。 具体的には、Webで収集したCoyo-700Mデータセットを利用する。 我々のゴールは、データとモデルのサイズの異なるスケールでダウンストリームタスクのパフォーマンスがどのように変化するかを調べることです。
  論文  参考訳（メタデータ） (2023-05-24T15:33:46Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。