論文の概要: Interp3R: Continuous-time 3D Geometry Estimation with Frames and Events
- arxiv url: http://arxiv.org/abs/2603.14528v1
- Date: Sun, 15 Mar 2026 18:10:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-17 16:19:35.86945
- Title: Interp3R: Continuous-time 3D Geometry Estimation with Frames and Events
- Title（参考訳）: Interp3R:フレームとイベントによる連続3次元形状推定
- Abstract要約: Interp3Rを導入し、任意のタイミングで奥行きとカメラのポーズを推定するために、ポイントマップベースのモデルを強化する。
我々は、Interp3Rを合成データセットにのみトレーニングするが、広範囲の合成および実世界のベンチマークで強力な一般化を実証する。
- 参考スコア（独自算出の注目度）: 19.851795807287633
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In recent years, 3D visual foundation models pioneered by pointmap-based approaches such as DUSt3R have attracted a lot of interest, achieving impressive accuracy and strong generalization across diverse scenes. However, these methods are inherently limited to recovering scene geometry only at the discrete time instants when images are captured, leaving the scene evolution during the blind time between consecutive frames largely unexplored. We introduce Interp3R, to the best of our knowledge the first method that enhances pointmap-based models to estimate depth and camera poses at arbitrary time instants. Interp3R leverages asynchronous event data to interpolate pointmaps produced by frame-based models, enabling temporally continuous geometric representations. Depth and camera poses are then jointly recovered by aligning the interpolated pointmaps together with those predicted by the underlying frame-based models into a consistent spatial framework. We train Interp3R exclusively on a synthetic dataset, yet demonstrate strong generalization across a wide range of synthetic and real-world benchmarks. Extensive experiments show that Interp3R outperforms by a considerable margin state-of-the-art baselines that follow a two-stage pipeline of 2D video frame interpolation followed by 3D geometry estimation.
- Abstract（参考訳）: 近年、DUSt3Rのようなポイントマップベースのアプローチによって開拓された3D視覚基盤モデルは、様々な場面で顕著な精度と強力な一般化を実現し、多くの関心を集めている。
しかし、これらの手法は、画像がキャプチャされた瞬間にのみシーンの形状を復元することに限定されており、連続するフレーム間の盲点時間におけるシーンの進化は、ほとんど探索されていない。
我々はInterp3Rを導入し、ポイントマップベースのモデルを拡張して奥行きを推定し、任意のタイミングでカメラのポーズを推定する最初の方法を紹介した。
Interp3Rは非同期イベントデータを利用してフレームベースのモデルによって生成されたポイントマップを補間し、時間的に連続した幾何学的表現を可能にする。
奥行きとカメラのポーズは、補間された点マップと、基礎となるフレームベースモデルによって予測されるものとを一貫した空間的枠組みに整列させることで、共同で復元される。
我々は、Interp3Rを合成データセットにのみトレーニングするが、広範囲の合成および実世界のベンチマークで強力な一般化を実証する。
広汎な実験により、Interp3Rは2次元ビデオフレーム補間と3次元幾何推定の2段階のパイプラインに続く最先端のベースラインにより性能が向上することが示された。
関連論文リスト
- Joint 2D-3D Segmentation and Association in Street-level Imaging [18.70317918218011]
本研究は,関節2D-3Dセグメンテーションとアソシエーションのための統一的な枠組みを提案する。
3D駆動型アソシエーション機構は、従来の2D多目的追跡を置き換える。
実験では、地下構造配列とより堅牢なアイデンティティ保持のカバレッジが大幅に改善された。
論文 参考訳（メタデータ） (2026-05-26T09:04:51Z) - GemDepth: Geometry-Embedded Features for 3D-Consistent Video Depth [12.866152238833104]
ビデオ深度推定は、一眼的予測を時間領域に拡張し、コヒーレンスを確保する。
現在のアプローチは主にトランスフォーマーによる時間的平滑化に依存しており、厳密な3次元幾何学的整合性を維持するのに苦労している。
GemDepthは,カメラモーションとグローバル3D構造を明確に認識することが3D一貫性の前提条件である,という知見に基づいて構築されたフレームワークである。
論文 参考訳（メタデータ） (2026-05-11T13:11:54Z) - TALO: Pushing 3D Vision Foundation Models Towards Globally Consistent Online Reconstruction [57.46712611558817]
3次元視覚基礎モデルでは、1つのフィードフォワードパスを通して、未校正画像からキー3D属性を再構成する際の強力な一般化が示されている。
近年の戦略は,グローバルトランスフォーメーションの解決によって連続的な予測と整合するが,本分析では,仮定の妥当性,局所的なアライメント範囲,雑音的幾何の下でのロバスト性といった基本的な限界を明らかにしている。
本研究では,グローバルに伝播する制御点を利用して空間的に異なる不整合を補正する,Tin Plate Splineに基づく高DOFおよび長期アライメントフレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-02T02:22:20Z) - WorldMirror: Universal 3D World Reconstruction with Any-Prior Prompting [51.69408870574092]
汎用的な3次元幾何予測タスクのためのオールインワンフィードフォワードモデルであるWorldMirrorを提案する。
我々のフレームワークは、カメラのポーズ、内在性、深度マップなど、様々な幾何学的先入観を柔軟に統合する。
WorldMirrorは、カメラ、ポイントマップ、深さ、表面正規推定から新しいビュー合成に至るまで、さまざまなベンチマークで最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-10-12T17:59:09Z) - St4RTrack: Simultaneous 4D Reconstruction and Tracking in the World [106.91539872943864]
St4RTrackは、RGB入力から世界座標フレーム内の動的ビデオコンテンツを同時に再構成し、追跡するフレームワークである。
静的および動的シーン幾何学の両方をキャプチャして、同じ世界において、同時に両方のポイントマップを予測する。
統合されたデータ駆動フレームワークの有効性と効率を実証し、世界フレームの再構築と追跡のための新しい広範囲なベンチマークを構築します。
論文 参考訳（メタデータ） (2025-04-17T17:55:58Z) - POMATO: Marrying Pointmap Matching with Temporal Motion for Dynamic 3D Reconstruction [53.19968902152528]
POMATOは時間運動と一致する点マップを結合して動的3次元再構成を実現するための統合フレームワークである。
具体的には,RGB画素を動的および静的の両方の領域から3次元ポイントマップにマッピングすることで,明示的なマッチング関係を学習する。
本稿では,複数の下流タスクにまたがる顕著な性能を示すことによって,提案したポイントマップマッチングと時間融合のパラダイムの有効性を示す。
論文 参考訳（メタデータ） (2025-04-08T05:33:13Z) - Hierarchical Temporal Context Learning for Camera-based Semantic Scene Completion [57.232688209606515]
カメラによるセマンティックシーンの補完を改善するための,新たな時間的文脈学習パラダイムであるHTCLを提案する。
提案手法は,Semantic KITTIベンチマークで1st$をランク付けし,mIoUの点でLiDARベースの手法を超えている。
論文 参考訳（メタデータ） (2024-07-02T09:11:17Z) - DoubleTake: Geometry Guided Depth Estimation [17.464549832122714]
RGB画像の列から深度を推定することは、基本的なコンピュータビジョンタスクである。
本稿では,現在のカメラ位置から深度マップとして描画された,ボリューム特徴と先行幾何学のヒントを組み合わせた再構成手法を提案する。
本手法は, オフライン・インクリメンタルな評価シナリオにおいて, 対話的な速度, 最先端の深度推定, および3次元シーンで動作可能であることを示す。
論文 参考訳（メタデータ） (2024-06-26T14:29:05Z) - Learning Monocular Depth in Dynamic Environment via Context-aware
Temporal Attention [9.837958401514141]
マルチフレーム単眼深度推定のためのコンテキスト対応テンポラルアテンション誘導ネットワークであるCTA-Depthを提案する。
提案手法は,3つのベンチマークデータセットに対する最先端アプローチよりも大幅に改善されている。
論文 参考訳（メタデータ） (2023-05-12T11:48:32Z) - Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。
各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。
頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
論文 参考訳（メタデータ） (2023-03-14T02:58:27Z) - Joint Spatial-Temporal Optimization for Stereo 3D Object Tracking [34.40019455462043]
本研究では,空間時間最適化に基づくステレオ3次元物体追跡手法を提案する。
ネットワークから隣接画像上の対応する2Dバウンディングボックスを検出し,初期3Dバウンディングボックスを回帰する。
オブジェクトセントロイドに関連づけられた複雑なオブジェクトキューは、リージョンベースのネットワークを使用して予測される。
論文 参考訳（メタデータ） (2020-04-20T13:59:46Z) - A Graph Attention Spatio-temporal Convolutional Network for 3D Human
Pose Estimation in Video [7.647599484103065]
我々は,アテンション機構を用いた局所的グローバル空間情報のモデリングにより,人間の骨格における制約の学習を改善する。
提案手法は, 奥行きのあいまいさと自己閉塞性を効果的に軽減し, 半上半身推定を一般化し, 2次元から3次元映像のポーズ推定における競合性能を実現する。
論文 参考訳（メタデータ） (2020-03-11T14:54:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。