論文の概要: 4D Reconstruction with Events & RGB

• arxiv url: http://arxiv.org/abs/2610.36610v1
• Date: Tue, 27 Oct 2026 04:11:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.228335
• Title: 4D Reconstruction with Events & RGB
• Title（参考訳）: イベントとRGBによる4次元再構成
• Abstract要約: イベントカメラは、マイクロ秒の解像度で1ピクセルあたりの明るさの変化を報告し、人工物にほとんど免疫しない補完的な信号を提供する。 アーキテクチャ設計を全面的に再設計することなく、既存のRGBベースの4D再構築パイプラインにこのモダリティを組み込むことができるかどうかを検討する。 3つのベンチマークデータセットで、この単純なRGB-event融合により、Abs RelはRGBのみのMonst3Rベースラインと比較して平均3.4%減少する。 これらの初期の結果は、軽量で非侵襲的なイベントデータの融合でさえ、4D再構成の堅牢性を大幅に向上させることができることを示唆している。
• 参考スコア（独自算出の注目度）: 36.57328837513966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing dynamic 3D scenes over time (4D reconstruction) from a single moving camera is central to robotics and AR/VR applications, yet state-of the-art feed-forward methods rely solely on RGB frames and therefore inherit the failure modes of conventional cameras, including motion blur and temporal aliasing under fast or non-uniform camera and object motion. Event cameras report per-pixel brightness changes asynchronously at microsecond resolution, offering a complementary signal that is largely immune to these artifacts, but whether this modality can be incorporated into existing RGB based 4D reconstruction pipelines without a full architectural redesign remains an open question. In this preliminary study, we investigate a minimal extension: we augment Monst3R, an existing RGB-only 4D reconstruction model, with an additional event-camera input branch, leaving the rest of the architecture unchanged. Across 3 benchmark datasets, this simple RGB-event fusion reduces Abs Rel by 3.4% on average relative to the RGB-only Monst3R baseline, and a sensitivity analysis shows that the improvement grows with the magnitude of camera and object motion, with the largest gains observed under high object motion conditions where RGB-only reconstruction degrades most. These early results suggest that even a lightweight, non-invasive fusion of event data can meaningfully improve 4D reconstruction robustness, motivating a more thorough architectural investigation in future work.
• Abstract（参考訳）: 単一の移動カメラからの動的な3Dシーンの再構築(4D再構成)はロボティクスやAR/VRアプリケーションの中心であるが、最先端のフィードフォワード方式はRGBフレームのみに依存しているため、高速または不均一なカメラや物体の動きの下で動きのぼやけや時間エイリアシングを含む従来のカメラの障害モードを継承する。 イベントカメラは、マイクロ秒の解像度で1ピクセルあたりの明るさが非同期に変化し、これらのアーティファクトにほとんど影響しない補完的な信号を提供するが、このモダリティが、完全なアーキテクチャの再設計なしに既存のRGBベースの4D再構築パイプラインに組み込むことができるかどうかについては、未解決のままである。 本稿では、既存のRGBのみの4D再構成モデルであるMonst3Rを、イベントカメラ入力ブランチを追加して拡張し、残りのアーキテクチャを変更せずに、最小限の拡張について検討する。 3つのベンチマークデータセットを通して、この単純なRGB-event融合は、RGBのみのMonst3Rベースラインと比較して平均3.4%のAbs Relを減少させ、感度分析により、RGBのみの再構成が最も劣化する高対象の運動条件下では、カメラとオブジェクトの運動の規模で改善が増加することが示された。 これらの初期の結果は、軽量で非侵襲的なイベントデータの融合でさえ、4D再構成の堅牢性を大幅に向上させ、将来の作業においてより徹底的なアーキテクチャ調査を動機付けることを示唆している。

関連論文リスト

• UniRED: Unified RGB-D Video Frame Interpolation with Event Guidance [19.80142530142947]
  高フレームレートのRGB-Dビデオは、モーション分析、動的シーン理解、3D再構成など、さまざまな下流タスクに不可欠である。 既存のビデオ手法は、RGBデータに対して高い性能を達成しているが、RGB-Dシナリオには適用できない。 本稿では,RGBの外観,深度幾何学,イベントベースの時間的手がかりを併用したRGB-Dビデオ用統合マルチモーダルフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-23T08:03:58Z)
• AsyncEvGS: Asynchronous Event-Assisted Gaussian Splatting for Handheld Motion-Blurred Scenes [30.960288956042163]
  フレキシブルで高解像度の非同期RGB-Eventデュアルカメラシステムとそれに対応する再構成フレームワークを導入する。 我々は、従来のイベント損失の不正な振る舞いを軽減するために、構造駆動のイベント損失とビュー固有の一貫性レギュレータを使用します。 実験により,本手法は,課題のあるデータセットと既存のベンチマークの両方において,最先端のパフォーマンスを実現することを示す。
  論文  参考訳（メタデータ） (2026-05-08T03:39:45Z)
• SEAR: Simple and Efficient Adaptation of Visual Geometric Transformers for RGB+Thermal 3D Reconstruction [28.61594700250136]
  本稿では,事前学習した幾何学変換器をマルチモーダルRGB-T入力に適応させる戦略であるSEARを提案する。 提案手法は,3次元再構成とカメラポーズ推定において,最先端の手法よりも優れていた。 大規模なアブレーション研究を通じてアーキテクチャを検証し、モデルが両方のモダリティをどのように整合させるかを示す。
  論文  参考訳（メタデータ） (2026-03-19T11:27:21Z)
• EAG3R: Event-Augmented 3D Geometry Estimation for Dynamic and Extreme-Lighting Scenes [31.16499311793949]
  E3Rは、非同期イベントストリームによるポイントマップベースの再構築を強化する、新しい幾何推定フレームワークである。 EAG3Rは、モノクロ深度推定、カメラポーズトラッキング、動的再構成タスクにおいて、最先端のRGBのみのベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2025-11-30T08:05:28Z)
• Dynamic EventNeRF: Reconstructing General Dynamic Scenes from Multi-view RGB and Event Streams [69.65147723239153]
  動的シーンのボリューム再構成はコンピュータビジョンにおいて重要な問題である。 照明が悪く、動きが速い場合には特に困難である。 本稿では,スパースなマルチビューイベントストリームとスパースなRGBフレームからシーンを時間的に再構築する手法を提案する。
  論文  参考訳（メタデータ） (2024-12-09T18:56:18Z)
• Complementing Event Streams and RGB Frames for Hand Mesh Reconstruction [51.87279764576998]
  EvRGBHand - イベントカメラとRGBカメラによる3Dハンドメッシュ再構築のための最初のアプローチを提案する。 EvRGBHandは、RGBベースのHMRにおける露出とモーションのぼかしの問題と、イベントベースのHMRにおける前景の不足とバックグラウンドのオーバーフロー問題に対処することができる。
  論文  参考訳（メタデータ） (2024-03-12T06:04:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。