論文の概要: Interp3R: Continuous-time 3D Geometry Estimation with Frames and Events

• arxiv url: http://arxiv.org/abs/2603.14528v1
• Date: Sun, 15 Mar 2026 18:10:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.86945
• Title: Interp3R: Continuous-time 3D Geometry Estimation with Frames and Events
• Title（参考訳）: Interp3R:フレームとイベントによる連続3次元形状推定
• Authors: Shuang Guo, Filbert Febryanto, Lei Sun, Guillermo Gallego,
• Abstract要約: Interp3Rを導入し、任意のタイミングで奥行きとカメラのポーズを推定するために、ポイントマップベースのモデルを強化する。 我々は、Interp3Rを合成データセットにのみトレーニングするが、広範囲の合成および実世界のベンチマークで強力な一般化を実証する。
• 参考スコア（独自算出の注目度）: 19.851795807287633
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In recent years, 3D visual foundation models pioneered by pointmap-based approaches such as DUSt3R have attracted a lot of interest, achieving impressive accuracy and strong generalization across diverse scenes. However, these methods are inherently limited to recovering scene geometry only at the discrete time instants when images are captured, leaving the scene evolution during the blind time between consecutive frames largely unexplored. We introduce Interp3R, to the best of our knowledge the first method that enhances pointmap-based models to estimate depth and camera poses at arbitrary time instants. Interp3R leverages asynchronous event data to interpolate pointmaps produced by frame-based models, enabling temporally continuous geometric representations. Depth and camera poses are then jointly recovered by aligning the interpolated pointmaps together with those predicted by the underlying frame-based models into a consistent spatial framework. We train Interp3R exclusively on a synthetic dataset, yet demonstrate strong generalization across a wide range of synthetic and real-world benchmarks. Extensive experiments show that Interp3R outperforms by a considerable margin state-of-the-art baselines that follow a two-stage pipeline of 2D video frame interpolation followed by 3D geometry estimation.
• Abstract（参考訳）: 近年、DUSt3Rのようなポイントマップベースのアプローチによって開拓された3D視覚基盤モデルは、様々な場面で顕著な精度と強力な一般化を実現し、多くの関心を集めている。 しかし、これらの手法は、画像がキャプチャされた瞬間にのみシーンの形状を復元することに限定されており、連続するフレーム間の盲点時間におけるシーンの進化は、ほとんど探索されていない。 我々はInterp3Rを導入し、ポイントマップベースのモデルを拡張して奥行きを推定し、任意のタイミングでカメラのポーズを推定する最初の方法を紹介した。 Interp3Rは非同期イベントデータを利用してフレームベースのモデルによって生成されたポイントマップを補間し、時間的に連続した幾何学的表現を可能にする。 奥行きとカメラのポーズは、補間された点マップと、基礎となるフレームベースモデルによって予測されるものとを一貫した空間的枠組みに整列させることで、共同で復元される。 我々は、Interp3Rを合成データセットにのみトレーニングするが、広範囲の合成および実世界のベンチマークで強力な一般化を実証する。 広汎な実験により、Interp3Rは2次元ビデオフレーム補間と3次元幾何推定の2段階のパイプラインに続く最先端のベースラインにより性能が向上することが示された。

関連論文リスト

• TALO: Pushing 3D Vision Foundation Models Towards Globally Consistent Online Reconstruction [57.46712611558817]
  3次元視覚基礎モデルでは、1つのフィードフォワードパスを通して、未校正画像からキー3D属性を再構成する際の強力な一般化が示されている。 近年の戦略は,グローバルトランスフォーメーションの解決によって連続的な予測と整合するが,本分析では,仮定の妥当性,局所的なアライメント範囲,雑音的幾何の下でのロバスト性といった基本的な限界を明らかにしている。 本研究では,グローバルに伝播する制御点を利用して空間的に異なる不整合を補正する,Tin Plate Splineに基づく高DOFおよび長期アライメントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-02T02:22:20Z)
• WorldMirror: Universal 3D World Reconstruction with Any-Prior Prompting [51.69408870574092]
  汎用的な3次元幾何予測タスクのためのオールインワンフィードフォワードモデルであるWorldMirrorを提案する。 我々のフレームワークは、カメラのポーズ、内在性、深度マップなど、様々な幾何学的先入観を柔軟に統合する。 WorldMirrorは、カメラ、ポイントマップ、深さ、表面正規推定から新しいビュー合成に至るまで、さまざまなベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-10-12T17:59:09Z)
• St4RTrack: Simultaneous 4D Reconstruction and Tracking in the World [106.91539872943864]
  St4RTrackは、RGB入力から世界座標フレーム内の動的ビデオコンテンツを同時に再構成し、追跡するフレームワークである。 静的および動的シーン幾何学の両方をキャプチャして、同じ世界において、同時に両方のポイントマップを予測する。 統合されたデータ駆動フレームワークの有効性と効率を実証し、世界フレームの再構築と追跡のための新しい広範囲なベンチマークを構築します。
  論文  参考訳（メタデータ） (2025-04-17T17:55:58Z)
• Hierarchical Temporal Context Learning for Camera-based Semantic Scene Completion [57.232688209606515]
  カメラによるセマンティックシーンの補完を改善するための,新たな時間的文脈学習パラダイムであるHTCLを提案する。 提案手法は,Semantic KITTIベンチマークで1st$をランク付けし,mIoUの点でLiDARベースの手法を超えている。
  論文  参考訳（メタデータ） (2024-07-02T09:11:17Z)
• DoubleTake: Geometry Guided Depth Estimation [17.464549832122714]
  RGB画像の列から深度を推定することは、基本的なコンピュータビジョンタスクである。 本稿では,現在のカメラ位置から深度マップとして描画された,ボリューム特徴と先行幾何学のヒントを組み合わせた再構成手法を提案する。 本手法は, オフライン・インクリメンタルな評価シナリオにおいて, 対話的な速度, 最先端の深度推定, および3次元シーンで動作可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-26T14:29:05Z)
• Learning Monocular Depth in Dynamic Environment via Context-aware Temporal Attention [9.837958401514141]
  マルチフレーム単眼深度推定のためのコンテキスト対応テンポラルアテンション誘導ネットワークであるCTA-Depthを提案する。 提案手法は,3つのベンチマークデータセットに対する最先端アプローチよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-05-12T11:48:32Z)
• Joint Spatial-Temporal Optimization for Stereo 3D Object Tracking [34.40019455462043]
  本研究では,空間時間最適化に基づくステレオ3次元物体追跡手法を提案する。 ネットワークから隣接画像上の対応する2Dバウンディングボックスを検出し,初期3Dバウンディングボックスを回帰する。 オブジェクトセントロイドに関連づけられた複雑なオブジェクトキューは、リージョンベースのネットワークを使用して予測される。
  論文  参考訳（メタデータ） (2020-04-20T13:59:46Z)
• A Graph Attention Spatio-temporal Convolutional Network for 3D Human Pose Estimation in Video [7.647599484103065]
  我々は,アテンション機構を用いた局所的グローバル空間情報のモデリングにより,人間の骨格における制約の学習を改善する。 提案手法は, 奥行きのあいまいさと自己閉塞性を効果的に軽減し, 半上半身推定を一般化し, 2次元から3次元映像のポーズ推定における競合性能を実現する。
  論文  参考訳（メタデータ） (2020-03-11T14:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。