論文の概要: Multi-Human Mesh Recovery with Transformers

• arxiv url: http://arxiv.org/abs/2402.16806v1
• Date: Mon, 26 Feb 2024 18:28:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 19:41:54.279034
• Title: Multi-Human Mesh Recovery with Transformers
• Title（参考訳）: トランスフォーマによるマルチヒューマンメッシュリカバリ
• Authors: Zeyu Wang, Zhenzhen Weng, Serena Yeung-Levy
• Abstract要約: 本稿では,マルチスケール機能の導入,集中型注意機構,相対的共同管理という3つの重要な設計選択を特徴とする,合理化トランスフォーマーに基づく設計モデルを提案する。 提案モデルでは、複数の個人を含む様々なベンチマークにおいて、最先端の領域ベースおよび全体像ベースの手法を超越した、大幅な性能向上を示す。
• 参考スコア（独自算出の注目度）: 5.420974192779563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional approaches to human mesh recovery predominantly employ a region-based strategy. This involves initially cropping out a human-centered region as a preprocessing step, with subsequent modeling focused on this zoomed-in image. While effective for single figures, this pipeline poses challenges when dealing with images featuring multiple individuals, as different people are processed separately, often leading to inaccuracies in relative positioning. Despite the advantages of adopting a whole-image-based approach to address this limitation, early efforts in this direction have fallen short in performance compared to recent region-based methods. In this work, we advocate for this under-explored area of modeling all people at once, emphasizing its potential for improved accuracy in multi-person scenarios through considering all individuals simultaneously and leveraging the overall context and interactions. We introduce a new model with a streamlined transformer-based design, featuring three critical design choices: multi-scale feature incorporation, focused attention mechanisms, and relative joint supervision. Our proposed model demonstrates a significant performance improvement, surpassing state-of-the-art region-based and whole-image-based methods on various benchmarks involving multiple individuals.
• Abstract（参考訳）: ヒトのメッシュ回復に対する従来のアプローチは、主に地域ベースの戦略を採用している。 これは、まず人間の中心の領域を前処理ステップとして切り抜き、その後のモデリングはこのズームインイメージにフォーカスします。 このパイプラインは、個々の人物が個別に処理されるため、複数の個人を特徴とする画像を扱う際の課題を生じさせ、しばしば相対的な位置決めの不正確さを引き起こす。 この制限に対処するために画像ベースのアプローチを採用する利点はあるものの、この方向の初期の取り組みは、最近の地域ベースの方法に比べて性能が不足している。 本研究では, 同時にすべての個人を考慮し, 全体的コンテキストとインタラクションを活用することで, 多人数シナリオにおける精度向上の可能性を強調し, 同時にすべての人々をモデル化する未探索領域を提唱する。 我々は,マルチスケール機能導入,集中的注意機構,相対的な共同監督という3つの重要な設計選択を特徴とする,トランスフォーマティブを合理化した新モデルを提案する。 提案手法は,複数の個人を含む様々なベンチマークにおいて,最先端の領域ベースおよび全画像ベース手法を上回って,大幅な性能向上を示す。

関連論文リスト

• Multi-modal Pose Diffuser: A Multimodal Generative Conditional Pose Prior [8.314155285516073]
  MOPEDは、SMPLポーズパラメータの先行として、新しいマルチモーダル条件拡散モデルを利用する最初の方法である。 本手法は,画像やテキストなどのマルチモーダル入力の条件付けが可能な,強力な非条件ポーズ生成を提供する。
  論文  参考訳（メタデータ） (2024-10-18T15:29:19Z)
• DPoser: Diffusion Model as Robust 3D Human Pose Prior [51.75784816929666]
  拡散モデルに基づいて構築された,頑丈で多目的な人間のポーズであるDPoserを紹介する。 DPoserは、様々なポーズ中心タスクを逆問題とみなし、効率的な解法として変分拡散サンプリングを用いる。 提案手法は、画像領域で使用される一般的な均一スケジューリングよりも大幅に改善され、それぞれ5.4%、17.2%、および3.8%の改善が達成された。
  論文  参考訳（メタデータ） (2023-12-09T11:18:45Z)
• DiffPose: SpatioTemporal Diffusion Model for Video-Based Human Pose Estimation [16.32910684198013]
  本稿では、条件付きヒートマップ生成問題として、ビデオに基づく人間のポーズ推定を定式化する新しい拡散アーキテクチャDiffPoseを提案する。 ポーズ推定タスクにおけるDiffPoseの特徴として,(i)複数のポーズ推定を組み合わせて予測精度を向上させる能力,(ii)モデルを再訓練することなく特徴改善のための反復的なステップ数を調整する能力,の2点を挙げる。
  論文  参考訳（メタデータ） (2023-07-31T14:00:23Z)
• IRGen: Generative Modeling for Image Retrieval [82.62022344988993]
  本稿では,画像検索を生成モデルの一種として再フレーミングする新しい手法を提案する。 我々は、イメージを意味単位の簡潔なシーケンスに変換するという技術的課題に対処するため、IRGenと呼ばれるモデルを開発した。 本モデルは,広範に使用されている3つの画像検索ベンチマークと200万件のデータセットに対して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-03-17T17:07:36Z)
• Progressive Multi-view Human Mesh Recovery with Self-Supervision [68.60019434498703]
  既存のソリューションは通常、新しい設定への一般化性能の低下に悩まされる。 マルチビューヒューマンメッシュリカバリのためのシミュレーションに基づく新しいトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-12-10T06:28:29Z)
• Weakly-Supervised Multi-Face 3D Reconstruction [45.864415499303405]
  多面的3D再構築のための効果的なエンドツーエンドフレームワークを提案する。 各画像の再構成された顔に対して、同じグローバルカメラモデルを採用し、3dシーンにおける相対的な頭部位置と向きを復元することができる。
  論文  参考訳（メタデータ） (2021-01-06T13:15:21Z)
• Monocular Real-time Full Body Capture with Inter-part Correlations [66.22835689189237]
  本稿では,体と手の形状と運動を1色画像から動的3次元顔モデルと共に推定する,実時間フルボディキャプチャの最初の手法を提案する。 提案手法では,体と手の相関を高い計算効率で活用する新しいニューラルネットワークアーキテクチャを用いる。
  論文  参考訳（メタデータ） (2020-12-11T02:37:56Z)
• Self-supervised Human Detection and Segmentation via Multi-view Consensus [116.92405645348185]
  本稿では,トレーニング中に幾何学的制約を多視点一貫性という形で組み込むマルチカメラフレームワークを提案する。 本手法は,標準ベンチマークから視覚的に外れた画像に対して,最先端の自己監視的人物検出とセグメンテーション技術に勝ることを示す。
  論文  参考訳（メタデータ） (2020-12-09T15:47:21Z)
• Multi-person 3D Pose Estimation in Crowded Scenes Based on Multi-View Geometry [62.29762409558553]
  マルチパーソナライズされた3次元ポーズ推定手法における特徴マッチングと深さ推定のコアは、エピポーラ制約である。 スパサーの群衆シーンにおけるこの定式化の良好なパフォーマンスにもかかわらず、その効果はより密集した群衆の状況下でしばしば挑戦される。 本稿では,マルチパーソン3次元ポーズ推定式から脱却し,群衆ポーズ推定として再編成する。
  論文  参考訳（メタデータ） (2020-07-21T17:59:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。