論文の概要: InstantHMR : Real-Time Human Mesh Recovery on Your Phone
- arxiv url: http://arxiv.org/abs/2611.09195v2
- Date: Thu, 12 Nov 2026 10:02:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.859294
- Title: InstantHMR : Real-Time Human Mesh Recovery on Your Phone
- Title(参考訳): InstantHMR : スマートフォンでのリアルタイムヒューマンメッシュ回復
- Abstract要約: 現在の最先端モデルは、モバイルデバイス上で効率的に動作させるには遅すぎるか、スピードの正確さを犠牲にしている。
InstantHMRは,モバイル推論に適したオープンソースのシングルイメージ回帰器のファミリーである。
提案手法は,Samsung Galaxy S23 NPUにおいて,1人あたり5.5ミリ秒で6,890頂点のボディーメッシュを回復する。
- 参考スコア(独自算出の注目度): 1.328616549112047
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real-time 3D human mesh recovery from a single image on mobile devices is a challenging problem with many applications, including robotics, biomechanics, AR/VR, and exergames. Current state-of-the-art models are either too slow to run efficiently on mobile devices or sacrifice accuracy for speed. We present InstantHMR, a family of open-source single-image regressors suited for mobile inference, based on the Momentum Human Rig (MHR) parametric model and trained exclusively on publicly available annotations from the SAM 3D Body dataset. Our approach achieves remarkable performance on a Samsung Galaxy S23 NPU, recovering a 6,890-vertex body mesh in 5.5 ms per person, and 0.98 ms on an NVIDIA RTX 4070 GPU. This speed surpasses all existing methods we evaluated. On mobile, it is 12x faster than the single mobile-compatible method that slightly outperforms ours in accuracy, while achieving competitive accuracy with 40.0 mm PA-MPJPE on 3DPW, 48.8 mm on EMDB and 41.7 mm on RICH. To ensure fair comparisons, we re-evaluate 11 state-of-the-art methods under a unified protocol aligned with the closest MHR-based competitors, including Meta's official MHR-to-SMPL conversion, and report their reproduction results. Additionally, we measure latency across eight different targets, ranging from desktop TensorRT to two phone NPUs. Code and models are available at https://github.com/Naturalpad-studio/InstantHMR.
- Abstract(参考訳): モバイルデバイス上の単一のイメージからリアルタイムに3Dのメッシュを復元することは、ロボット工学、バイオメカニクス、AR/VR、エクセルゲームなど、多くのアプリケーションにおいて難しい問題である。
現在の最先端モデルは、モバイルデバイス上で効率的に動作させるには遅すぎるか、スピードの正確さを犠牲にしている。
InstantHMRは、モバイル推論に適したオープンソースのシングルイメージ回帰器のファミリーであり、MHRパラメトリックモデルに基づいてSAM 3D Bodyデータセットから利用可能なアノテーションのみに基づいて訓練されている。
提案手法はSamsung Galaxy S23 NPUにおいて,1人あたり5.5msで6,890頂点のボディーメッシュを回復し,NVIDIA RTX 4070 GPUで0.98msを実現している。
この速度は、私たちが評価したすべての既存手法を上回ります。
モバイルでは,3DPWでは40.0mm PA-MPJPE,EMDBでは48.8mm,RICHでは41.7mmの競合精度を実現した。
公正な比較を確保するため、Metaの公式MHR-to-SMPL変換を含む、最も近いMHRベースの競合と整合した統一プロトコルの下で11の最先端手法を再評価し、それらの再現結果を報告する。
さらに、デスクトップTensorRTから2つの電話NPUまで、8つの異なるターゲットのレイテンシを測定します。
コードとモデルはhttps://github.com/Naturalpad-studio/InstantHMRで公開されている。
関連論文リスト
- 4K Image Super-Resolution on Mobile NPUs: Mobile AI 2026 Challenge Report [120.39827175743626]
モバイルNPU上で動作しながら、フルHDから4K解像度まで画像をアップサンプルできる高速なソリューションを設計することを提案する。
この課題で提案された最上位の解決策は、PSNRスコア30dBに達しながら、5ミリ秒以下の4K画像を再構成することができる。
論文 参考訳(メタデータ) (2026-10-31T14:05:38Z) - RoboWorM: Evaluating Movement Realism, Consistency and Acceleration Affects in Embodied Video World Models [78.10886118053115]
ビデオワールドモデル(VWM)は、ロボット操作のためのスケーラブルなニューラルシミュレータとして急速に発展しつつある。
ほとんどのベンチマークでは、厳密な3次元空間的推論とキネマティック推論を欠いたビジョンランゲージモデル(VLM)を使用して、それらをオープンワールドビデオジェネレータとしてのみ評価している。
このギャップを埋めるために、包括的で既知のハードウェア事前ベンチマークであるRoboWorMを紹介します。
我々は,RoboWorMが表面的な視覚的品質を維持しつつ,配置クリティカルな物理的制約を黙秘的に克服できることを実証する。
論文 参考訳(メタデータ) (2026-10-24T17:11:06Z) - StrikeWatch: Wrist-worn Gait Recognition with Compact Time-series Models on Low-power FPGAs [10.946464973530214]
歩行パターンが良くなると、特に専門家のフィードバックなしに怪我につながることがある。
Wrist-wornウェアラブルは、実用的で非侵襲的な代替手段を提供する。
本稿では,デバイス上でリアルタイム歩行認識を行う小型手首輪システムであるStrikeWatchを紹介する。
論文 参考訳(メタデータ) (2025-10-14T20:28:31Z) - Human3R: Everyone Everywhere All at Once [69.16576238974876]
我々はモノクロビデオからオンライン4Dヒューマンシーン再構築のためのフィードフォワードフレームワークであるHuman3Rを提案する。
Human3Rは、重い依存と反復的な改善を取り除く統一モデルである。
グローバルなヒューマンモーション推定、ローカルなヒューマンメッシュリカバリ、ビデオ深度推定、カメラポーズ推定など、タスク間で優れたパフォーマンスを提供する。
論文 参考訳(メタデータ) (2025-10-07T17:59:52Z) - MovePose: A High-performance Human Pose Estimation Algorithm on Mobile and Edge Devices [2.276032578305907]
MovePoseは、モバイルデバイス上でリアルタイムのボディポーズ推定のために設計された、軽量な畳み込みニューラルネットワークである。
我々のアルゴリズムはCOCOデータ検証データセット上で平均平均精度(mAP)の68.0に達している。
論文 参考訳(メタデータ) (2023-08-17T16:23:52Z) - EATFormer: Improving Vision Transformer Inspired by Evolutionary Algorithm [111.17100512647619]
本稿では、実証された実用的な進化的アルゴリズム(EA)と類似したビジョントランスフォーマーの合理性を説明する。
本稿では,EA ベースのトランス (EAT) ブロックのみを含む新しいピラミッド EATFormer バックボーンを提案する。
画像分類,下流タスク,説明実験に関する大規模かつ定量的な実験は,我々のアプローチの有効性と優位性を示すものである。
論文 参考訳(メタデータ) (2022-06-19T04:49:35Z) - PP-PicoDet: A Better Real-Time Object Detector on Mobile Devices [13.62426382827205]
実時間物体検出器のPP-PicoDetファミリは,モバイルデバイスの物体検出において優れた性能を発揮する。
モデルは、他の一般的なモデルと比較して、精度とレイテンシのトレードオフを改善する。
論文 参考訳(メタデータ) (2021-11-01T12:53:17Z) - YOLO-ReT: Towards High Accuracy Real-time Object Detection on Edge GPUs [14.85882314822983]
ディープニューラルネットワーク(DNN)ベースのオブジェクト検出モデルをエッジデバイスにマップするには、通常、そのようなモデルを著しく圧縮する必要がある。
本稿では,マルチスケール機能インタラクションのためのエッジGPUフレンドリなモジュールを提案する。
また,様々なタスク間の翻訳情報の流れの変化にインスパイアされた,新たな学習バックボーンの導入を提案する。
論文 参考訳(メタデータ) (2021-10-26T14:02:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。