論文の概要: UniQuery4R: Unified 4D Scene Reconstruction from a Single Query
- arxiv url: http://arxiv.org/abs/2608.17283v1
- Date: Tue, 18 Aug 2026 02:26:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.185108
- Title: UniQuery4R: Unified 4D Scene Reconstruction from a Single Query
- Title(参考訳): UniQuery4R: 単一のクエリから4Dシーンを統一する
- Abstract要約: ダイナミックな4Dシーンを再構築するには、共同で対応性、幾何学、物体の動き、カメラの動きを推定する必要がある。
複数フレームのクリップを一度エンコードするクエリ条件付きフレームワークであるUniQuery4Rを紹介し,復号時にのみソースビュー,ターゲットビュー,連続的なソースイメージ座標を選択する。
- 参考スコア(独自算出の注目度): 24.228801163280725
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing dynamic 4D scenes requires jointly estimating correspondence, geometry, object motion, and camera motion. Existing feed-forward methods typically predict dense task-specific maps or independently process source-target pairs, leading to unnecessary computation for sparse queries and limited feature reuse across different frame pairs. We present UniQuery4R, a query-conditioned framework that encodes a multi-frame clip once and selects the source view, target view, and continuous source-image coordinate only at decoding time via source-to-target cross-attention. Each query jointly predicts target correspondence, target-time 3D position, and scene flow, along with source depth, while camera parameters are estimated per view. This design allows the encoded clip to be reused across arbitrary source-target selections and supports both sparse inference and dense reconstruction through batched queries, without learned temporal embeddings tied to a fixed clip length. We further introduce a direction-magnitude parameterization of scene flow with separate supervision for moving and static points. Among the evaluated methods, UniQuery4R achieves the best macro-average results on WorldTrack for both scene-flow estimation and dynamic-point reconstruction.
- Abstract(参考訳): ダイナミックな4Dシーンを再構築するには、共同で対応性、幾何学、物体の動き、カメラの動きを推定する必要がある。
既存のフィードフォワード法は、通常、密集したタスク固有のマップや、ソースとターゲットのペアを独立に処理し、スパースクエリの不要な計算や、異なるフレームペア間の限られた機能の再利用につながる。
複数フレームのクリップを一度エンコードしたクエリ条件付きフレームワークであるUniQuery4Rを,ソースビュー,ターゲットビュー,連続したソースイメージ座標を,ソースからターゲットへのクロスアテンションを介して復号時にのみ選択する。
各クエリは、目標対応、目標時間3D位置、シーンフローとソース深度を共同で予測し、ビュー毎にカメラパラメータを推定する。
この設計により、任意のソースターゲット選択にまたがって符号化されたクリップを再利用することができ、固定されたクリップ長に結びついた時間埋め込みを学習することなく、バッチクエリによるスパース推論と密度の高い再構築の両方をサポートする。
さらに,移動点と静止点を別々に管理するシーンフローの方向磁度パラメータ化を導入する。
評価手法のうち、UniQuery4Rは、シーンフロー推定と動的ポイント再構成の両方において、WorldTrack上でのマクロ平均値の最良の結果を得る。
関連論文リスト
- Streaming Gaussian Encoding for 4D Panoptic Occupancy Tracking [15.311099668839665]
カメラベースの4D-POTは、多視点画像から全体像を理解するための有望なパラダイムである。
最近のマスクベースのパイプラインは、フレーム間でインスタンスクエリを伝搬することで、強力なパフォーマンスを実現している。
本研究では、4D-POTの永続的なシーン表現を維持するストリーミングガウスエンコーダを提案する。
論文 参考訳(メタデータ) (2026-06-29T18:00:42Z) - Flow4R: Unifying 4D Reconstruction and Tracking with Scene Flow [61.297800738187355]
Flow4Rは、Vision Transformerを用いて、画素当たりのプロパティセット3Dポイント位置、シーンフロー、ポーズウェイト、および2ビュー入力からの信頼度を最小限に予測する。
静的データセットと動的データセットを併用してトレーニングされたFlow4Rは、4D再構築とトラッキングタスクにおける最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-02-15T06:58:08Z) - 4RC: 4D Reconstruction via Conditional Querying Anytime and Anywhere [77.83037497484366]
単眼ビデオからの4次元再構成のための統合フィードフォワードフレームワークである4RCを提案する。
4RCは、密集したシーン形状と動きのダイナミクスを共同でキャプチャする総体的な4D表現を学習する。
論文 参考訳(メタデータ) (2026-02-10T18:57:04Z) - C4D: 4D Made from 3D through Dual Correspondences [77.04731692213663]
時間的対応を利用して既存の3次元再構成を4Dに拡張するフレームワークであるC4Dを紹介する。
C4Dは、短期光学フローと長期点追跡の2種類の対応をキャプチャする。
我々は、追加の移動情報を提供する動的認識ポイントトラッカーを訓練する。
論文 参考訳(メタデータ) (2025-10-16T17:59:06Z) - St4RTrack: Simultaneous 4D Reconstruction and Tracking in the World [106.91539872943864]
St4RTrackは、RGB入力から世界座標フレーム内の動的ビデオコンテンツを同時に再構成し、追跡するフレームワークである。
静的および動的シーン幾何学の両方をキャプチャして、同じ世界において、同時に両方のポイントマップを予測する。
統合されたデータ駆動フレームワークの有効性と効率を実証し、世界フレームの再構築と追跡のための新しい広範囲なベンチマークを構築します。
論文 参考訳(メタデータ) (2025-04-17T17:55:58Z) - Dynamic Point Maps: A Versatile Representation for Dynamic 3D Reconstruction [56.32589034046427]
本研究では,ダイナミックポイントマップ(DPM)を導入し,モーションセグメンテーション,シーンフロー推定,3次元物体追跡,2次元対応などの4次元タスクをサポートする標準点マップを拡張した。
我々は,合成データと実データを組み合わせたDPM予測器を訓練し,映像深度予測,ダイナミックポイントクラウド再構成,3次元シーンフロー,オブジェクトポーズ追跡,最先端性能の達成など,様々なベンチマークで評価する。
論文 参考訳(メタデータ) (2025-03-20T16:41:50Z) - Driv3R: Learning Dense 4D Reconstruction for Autonomous Driving [116.10577967146762]
マルチビュー画像シーケンスからフレーム単位のポイントマップを直接回帰するフレームワークであるDriv3Rを提案する。
我々は4次元フロー予測器を用いてシーン内の移動物体を識別し、これらの動的領域の再構築をより重視する。
Driv3Rは4D動的シーン再構築において従来のフレームワークより優れており、推論速度は15倍高速である。
論文 参考訳(メタデータ) (2024-12-09T18:58:03Z) - 4D Association Graph for Realtime Multi-person Motion Capture Using
Multiple Video Cameras [46.664422061537564]
本稿では,マルチビュー映像入力を用いた新しいリアルタイム多対人モーションキャプチャーアルゴリズムを提案する。
ビューパース、クロスビューマッチング、時間トラッキングを単一の最適化フレームワークに統合します。
提案手法はノイズ検出に頑健であり,高品質なオンラインポーズ復元品質を実現する。
論文 参考訳(メタデータ) (2020-02-28T09:57:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。