論文の概要: WildHSR: Metric Feed-Forward 4D People-Scene Reconstruction from a 3D Foundation Model

• arxiv url: http://arxiv.org/abs/2609.29106v1
• Date: Thu, 24 Sep 2026 06:37:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.754899
• Title: WildHSR: Metric Feed-Forward 4D People-Scene Reconstruction from a 3D Foundation Model
• Title（参考訳）: WildHSR:Metric Feed-Forward 4D People-Scene Reconstruction from a 3D Foundation Model
• Abstract要約: 3Dファウンデーションモデルは、ビデオカメラとジオメトリを1つの前方パスで回収するが、最強のものはスケールだ。 共同の人々とシーンの再構築には,メトリックスケールと永続的な個人識別という,2つの欠落したアウトプットが必要です。 我々は、軽量な適応によって、一対一の基盤表現が両方をサポートできるかどうかを問う。
• 参考スコア（独自算出の注目度）: 3.3660382321886217
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D foundation models recover video cameras and geometry in one forward pass, but some of the strongest are up to scale. Joint people-scene reconstruction then requires two missing outputs: metric scale and persistent person identity. We ask whether one up-to-scale foundation representation can support both through lightweight adaptation. Exact metric labels are scarce, but unlabeled in-the-wild video is abundant. We use people in curated web video to initialise the solution: a posed metric body and 2D keypoints give an approximate, closed-form scale pseudo-label. These pseudo-labels pretrain a Scale Readout, which is then fine-tuned together with a lightweight adapter using exact metric supervision from standard real-video training splits. At inference the head predicts metric scale from foundation-model tokens, without the ruler or its teachers. For person identity, we probe the pretrained foundation model alone and find evidence that its intermediate query-key features encode person correspondence across frames. In most evaluated moving-person clips, a mid-layer token prefers that person over the vacated location and other people. A tiny projection reads this correspondence; together with metric pelvis motion and proposal confidence, it drives dustbin-aware Sinkhorn association of per-frame bodies. WildHSR combines both readouts to reconstruct metric cameras, scene and people from monocular video. Each window is predicted feed-forward; analytic association and Sim(3) composition connect windows. On EMDB-2, WildHSR is the first feed-forward method in the published comparison to beat the best optimization-based WA-MPJPE and RTE while leading feed-forward methods on all three world-frame metrics. On RICH, it leads feed-forward people-and-scene methods on WA-MPJPE and W-MPJPE. The complete pipeline runs at 10.1 fps on one GPU.
• Abstract（参考訳）: 3Dファウンデーションモデルは、ビデオカメラとジオメトリを1つの前方パスで回収するが、最強のものはスケールだ。 共同の人々とシーンの再構築には,メトリックスケールと永続的な個人識別という,2つの欠落したアウトプットが必要です。 我々は、軽量な適応によって、一対一の基盤表現が両方をサポートできるかどうかを問う。 正確なメートル法ラベルは少ないが、未ラベルのインザワイルドビデオは豊富である。 提案したメトリックボディと2Dキーポイントは、近似的でクローズドなスケールの擬似ラベルを提供します。 これらの擬似ラベルはScale Readoutを事前トレーニングし、標準のリアルタイムビデオトレーニングスプリットからの正確なメトリック監視を使用して、軽量アダプタとともに微調整される。 推定では、頭は支配者や教師なしで、基礎モデルトークンからメートル法スケールを予測する。 個人識別のために,事前訓練された基礎モデルのみを探索し,その中間的クエリキーがフレーム間の人物対応を符号化していることを示す。 ほとんどの評価された移動人クリップでは、中間層トークンは、空いた場所や他の人よりもその人を好む。 小さなプロジェクションはこの対応を読み、メートル法盤の動きと提案された信頼とともに、フレーム単位のシンクホーン結合を駆動する。 WildHSRは両方の読み出し機能を組み合わせて、モノクロビデオからメートル法カメラ、シーン、人々を再構築する。 各ウィンドウはフィードフォワードで予測され、解析的アソシエーションとSim(3)合成はウィンドウを接続する。 EMDB-2では、WildHSRが最初のフィードフォワード法であり、最高の最適化ベースのWA-MPJPEとRTEを上回り、3つのワールドフレームのメトリクスをフィードフォワード法でリードする。 RICHでは、WA-MPJPEとW-MPJPEのフィードフォワードの人々とシーンの手法を導く。 完全なパイプラインは1つのGPU上で10.1fpsで動作する。

関連論文リスト

• SS3D: End2End Self-Supervised 3D from Web Videos [15.931354477455445]
  単眼ビデオからのフィードフォワード3D推定のためのWebスケールSfMベースのセルフスーパービジョン事前学習パイプラインであるSS3Dを提案する。 本モデルでは,1回の前方通過で深度,エゴモーション,内在を同時予測し,コヒーレントなエンドツーエンド3次元推定器として訓練・評価する。
  論文  参考訳（メタデータ） (2026-04-24T16:12:44Z)
• MetricAnything: Scaling Metric Depth Pretraining with Noisy Heterogeneous Sources [25.21242040780486]
  Metric Anythingは、メートル法深度推定のためのシンプルでスケーラブルな事前トレーニングフレームワークである。 手作業によるプロンプトなしで、ノイズの多い多様な3Dソースからメトリクスの深さを学習する。 Metric Anythingは、現代的な基礎モデルを動かすのと同じスケーリング法則の恩恵を受けることができることを示す。
  論文  参考訳（メタデータ） (2026-01-29T17:52:41Z)
• E3D-Bench: A Benchmark for End-to-End 3D Geometric Foundation Models [78.1674905950243]
  3次元幾何学基礎モデル(GFM)の総合ベンチマークを初めて提示する。 GFMは、単一のフィードフォワードパスで密度の高い3D表現を直接予測し、スローまたは未使用のカメラパラメータを不要にする。 我々は16の最先端GFMを評価し、タスクやドメイン間の長所と短所を明らかにした。 すべてのコード、評価スクリプト、処理されたデータは公開され、3D空間インテリジェンスの研究が加速される。
  論文  参考訳（メタデータ） (2025-06-02T17:53:09Z)
• UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
  UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。 直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
  論文  参考訳（メタデータ） (2024-04-23T00:18:00Z)
• Metric3D: Towards Zero-shot Metric 3D Prediction from A Single Image [85.91935485902708]
  ゼロショット単視距離深度モデルの鍵は、大規模データトレーニングと様々なカメラモデルからの距離あいまいさの解消の組合せにあることを示す。 本稿では,あいまいさ問題に明示的に対処し,既存の単分子モデルにシームレスに接続可能な標準カメラ空間変換モジュールを提案する。 本手法は, ランダムに収集したインターネット画像上での計測3次元構造の正確な復元を可能にする。
  論文  参考訳（メタデータ） (2023-07-20T16:14:23Z)
• PoseKernelLifter: Metric Lifting of 3D Human Pose using Sound [34.814669331418884]
  単一視点画像から計量スケールの人物の3次元ポーズを再構築することは幾何学的に不適切な問題である。 画像とともに記録された音声信号から,人物の3Dポーズを再現するための補完情報が得られることを示す。 我々は、音声と視覚信号を融合した多段3DCNNを設計し、3Dポーズをメートル法で再構築する。
  論文  参考訳（メタデータ） (2021-12-01T01:34:56Z)
• Encoder-decoder with Multi-level Attention for 3D Human Shape and Pose Estimation [61.98690211671168]
  本稿では,マルチレベルアテンション・デコーダ・ネットワーク(MAED)を提案する。 3DPWのトレーニングセットにより、MAEDはPA-MPJPEの6.2、7.2、2.4mmの従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-09-06T09:06:17Z)
• Monocular, One-stage, Regression of Multiple 3D People [105.3143785498094]
  我々は、複数の3D人物(ROMP)のための1段階方式で全てのメッシュを回帰することを提案する。 本手法は,体温マップとメッシュマップを同時に予測し,画素レベルの3Dボディメッシュを共同で記述する。 最先端の手法と比較して、ROMPは挑戦的なマルチパーソンベンチマークよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-08-27T17:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。