論文の概要: Event3R: Asynchronous-to-Global 3D Reconstruction from Event Camera via Spatial-Temporal Feature Aggregation
- arxiv url: http://arxiv.org/abs/2607.15727v1
- Date: Fri, 17 Jul 2026 08:04:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-20 17:56:52.788727
- Title: Event3R: Asynchronous-to-Global 3D Reconstruction from Event Camera via Spatial-Temporal Feature Aggregation
- Title(参考訳): Event3R: 空間的時間的特徴集約によるイベントカメラからの非同期-グローバル3次元再構成
- Abstract要約: Event3Rは非同期イベントストリームをグローバルに一貫した3Dポイントクラウドにマッピングするフィードフォワードフレームワークである。
堅牢で時間的に整合性があり、グローバルに整合した3D再構成を実現し、既存のイベントベースの手法よりも大幅に優れています。
- 参考スコア(独自算出の注目度): 15.940571853456198
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robust 3D reconstruction is essential for robotics and embodied perception. Recent feed-forward approaches such as DUSt3R have demonstrated impressive progress in dense 3D reconstruction from RGB images, achieving global geometric consistency and strong generalization. However, extending such dense 3D reconstruction to event cameras remains challenging due to their asynchronous, sparse, and highly dynamic nature, as well as the lack of large-scale, well-labeled datasets. In this work, we introduce Event3R, a feed-forward framework that directly maps asynchronous event streams to globally consistent 3D point clouds. Event3R represents incoming events as spatial-temporal voxels, enabling time-aware feature integration through a temporal attention module that enhances the module's temporal feature learning. To further strengthen temporal representation learning and reduce reliance on labeled data, we propose a Masked Bin Modeling (MBM) strategy for self-supervised pre-training, enabling robust temporal representation learning with minimal labeled data, and retain it as an auxiliary fine-tuning objective. In addition, contrastive alignment and consistency regularization losses are incorporated during fine-tuning to reinforce structural correspondence and temporal coherence across views. Extensive experiments on both synthetic and real-world benchmarks demonstrate that Event3R achieves robust, temporally consistent, and globally aligned 3D reconstructions, significantly outperforming existing event-based methods.
- Abstract(参考訳): ロバストな3D再構成はロボット工学と知覚の具体化に不可欠である。
DUSt3Rのような最近のフィードフォワードアプローチは、RGB画像からの高密度な3次元再構成において顕著な進歩を示し、大域的な幾何整合性と強力な一般化を実現している。
しかし、このような密集した3D再構成をイベントカメラに拡張することは、その非同期で疎らで、非常にダイナミックな性質と、大規模で十分にラベル付けされたデータセットの欠如により、依然として困難である。
本研究では,非同期イベントストリームを一貫した3Dポイントクラウドに直接マップするフィードフォワードフレームワークであるEvent3Rを紹介する。
Event3Rは、入ってくるイベントを空間的時間的ボクセルとして表現し、モジュールの時間的特徴学習を強化する時間的アテンションモジュールによる時間的特徴統合を可能にする。
ラベル付きデータの時間的表現学習をさらに強化し、ラベル付きデータへの依存を減らすため、自己教師付き事前学習のためのMasked Bin Modeling(MBM)戦略を提案し、最小ラベル付きデータによる堅牢な時間的表現学習を可能にし、補助的な微調整の対象として保持する。
さらに、微調整中にコントラストアライメントと整合性正規化損失が組み込まれ、ビュー間の構造対応と時間的コヒーレンスを強化する。
合成と実世界のベンチマークに関する大規模な実験は、Event3Rが堅牢で時間的整合性があり、グローバルに整合した3D再構成を実現し、既存のイベントベースの方法よりも大幅に優れていることを示している。
関連論文リスト
- ASTRA: Asynchronous Spatio-Temporal Reconstruction via Trajectory Alignment [86.35109211408489]
本稿では,非同期動的再構成のための2次元運動軌跡を明示的かつテクスチャに依存しない監視として導入するフレームワークであるASTRAを提案する。
ASTRAは高周波空間の詳細を保存し、25フレームのオフセットを持つ重度の非同期でも強い堅牢性を保ち、約1.4dBのPSNRの改善を実現し、時間オフセットMAEを54.0%削減し、同期成功率をほぼ4倍にしている。
論文 参考訳(メタデータ) (2026-08-03T10:06:45Z) - TriTS: Time Series Forecasting from a Multimodal Perspective [8.124083509364981]
時系列予測は、金融、エネルギー、輸送、気象学といった重要な分野において重要な役割を果たしている。
本稿では,時間,周波数,2次元空間に1次元時系列を投影する新しいクロスモーダル・ディコンタングルメント・フレームワークであるTriTSを提案する。
TriTSは、パラメータ数と推論の両方を大幅に削減することで、既存のビジョンベースの予測器を根本的に上回り、最先端(SOTA)性能を達成する。
論文 参考訳(メタデータ) (2026-04-17T23:43:45Z) - Scal3R: Scalable Test-Time Training for Large-Scale 3D Reconstruction [50.5449251266956]
本稿では,長い映像シーケンスから大規模3Dシーンを再構築する作業について述べる。
近年のフィードフォワード再構成モデルでは,RGB画像からの3次元幾何を,明示的な3次元先行や幾何学的制約なく直接回帰することで,有望な結果を示している。
本稿では,長距離シーン情報を効率よく圧縮し,保持するニューラルグローバルコンテキスト表現を提案する。
論文 参考訳(メタデータ) (2026-04-09T17:59:50Z) - Fast-SAM3D: 3Dfy Anything in Images but Faster [65.17322167628367]
SAM3Dは複雑なシーンからスケーラブルでオープンな3D再構築を可能にする。
textbfFast-SAM3Dは、計算を瞬時生成の複雑さと整合させる、トレーニング不要のフレームワークである。
論文 参考訳(メタデータ) (2026-02-05T04:27:59Z) - Online Segment Any 3D Thing as Instance Tracking [60.20416622842975]
オンライン3Dセグメンテーションをインスタンス追跡問題として再認識する(AutoSeg3D)。
視覚基礎モデルに固有の断片化問題を緩和するために,空間整合性学習を導入する。
ScanNet200上でESAMを2.8 AP上回る新しい最先端技術を確立する。
論文 参考訳(メタデータ) (2025-12-08T14:48:51Z) - EAG3R: Event-Augmented 3D Geometry Estimation for Dynamic and Extreme-Lighting Scenes [31.16499311793949]
E3Rは、非同期イベントストリームによるポイントマップベースの再構築を強化する、新しい幾何推定フレームワークである。
EAG3Rは、モノクロ深度推定、カメラポーズトラッキング、動的再構成タスクにおいて、最先端のRGBのみのベースラインを著しく上回る。
論文 参考訳(メタデータ) (2025-11-30T08:05:28Z) - UniSplat: Unified Spatio-Temporal Fusion via 3D Latent Scaffolds for Dynamic Driving Scene Reconstruction [26.278318116942526]
We present UniSplat, a feed-forward framework that learns robust dynamic scene reconstruction through unified latent-temporal fusion。
実世界のデータセットの実験では、UniSplatが新しい視点で最先端の合成を実現し、オリジナルカメラのカバレッジ外の視点に対して堅牢で高品質なレンダリングを提供することを示した。
論文 参考訳(メタデータ) (2025-11-06T17:49:39Z) - STDR: Spatio-Temporal Decoupling for Real-Time Dynamic Scene Rendering [15.873329633980015]
既存の3DGSに基づく動的再構成法は、しばしばtextbfSTDR(リアルタイムレンダリングのための空間結合デテンポラル)に悩まされる
実時間レンダリングのためのテキストbfSTDR (Spatio-coupling DeTemporal for Real-time rendering) を提案する。
論文 参考訳(メタデータ) (2025-05-28T14:26:41Z) - GO-SLAM: Global Optimization for Consistent 3D Instant Reconstruction [45.49960166785063]
GO-SLAMは、リアルタイムでポーズと3D再構成をグローバルに最適化するディープラーニングベースの高密度ビジュアルSLAMフレームワークである。
さまざまな合成および実世界のデータセットの結果から、GO-SLAMはロバスト性や復元精度の追跡において最先端のアプローチよりも優れていることが示されている。
論文 参考訳(メタデータ) (2023-09-05T17:59:58Z) - SST: Real-time End-to-end Monocular 3D Reconstruction via Sparse
Spatial-Temporal Guidance [71.3027345302485]
リアルタイムモノクル3D再構成は未解決の課題である。
視覚SLAMシステムからのスパース推定点を利用したエンドツーエンドの3D再構成ネットワークSSTを提案する。
SSTは、59FPSで高い推論速度を維持しながら、最先端の競合他社よりも優れています。
論文 参考訳(メタデータ) (2022-12-13T12:17:13Z) - Ret3D: Rethinking Object Relations for Efficient 3D Object Detection in
Driving Scenes [82.4186966781934]
Ret3Dと呼ばれるシンプルで効率的で効果的な2段階検出器を導入する。
Ret3Dの中核は、新しいフレーム内およびフレーム間関係モジュールの利用である。
無視できる余分なオーバーヘッドにより、Ret3Dは最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-08-18T03:48:58Z) - Decoupling and Recoupling Spatiotemporal Representation for RGB-D-based
Motion Recognition [62.46544616232238]
従来の動作認識手法は、密結合した多時間表現によって有望な性能を実現している。
本稿では,RGB-D に基づく動作認識において引き起こされた表現を分離し,再分離することを提案する。
論文 参考訳(メタデータ) (2021-12-16T18:59:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。