論文の概要: DEGS: Deformable Event-based 3D Gaussian Splatting from RGB and Event Stream

• arxiv url: http://arxiv.org/abs/2510.07752v1
• Date: Thu, 09 Oct 2025 03:43:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:14.8519
• Title: DEGS: Deformable Event-based 3D Gaussian Splatting from RGB and Event Stream
• Title（参考訳）: DEGS: 変形可能なイベントベースのRGBとイベントストリームからの3Dガウススプレイティング
• Authors: Junhao He, Jiaxu Wang, Jia Li, Mingyuan Sun, Qiang Zhang, Jiahang Cao, Ziyi Zhang, Yi Gu, Jingkai Sun, Renjing Xu,
• Abstract要約: 本稿では2つのモードから動的3DGSを協調的に最適化する新しいフレームワークを提案する。 鍵となる考え方は、変形場の最適化を導くために、イベント・モーション・プレファレンスを採用することである。 提案手法は,合成シーンと実シーンをまたいだ既存の画像およびイベントベースアプローチより優れる。
• 参考スコア（独自算出の注目度）: 46.467919920459536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reconstructing Dynamic 3D Gaussian Splatting (3DGS) from low-framerate RGB videos is challenging. This is because large inter-frame motions will increase the uncertainty of the solution space. For example, one pixel in the first frame might have more choices to reach the corresponding pixel in the second frame. Event cameras can asynchronously capture rapid visual changes and are robust to motion blur, but they do not provide color information. Intuitively, the event stream can provide deterministic constraints for the inter-frame large motion by the event trajectories. Hence, combining low-temporal-resolution images with high-framerate event streams can address this challenge. However, it is challenging to jointly optimize Dynamic 3DGS using both RGB and event modalities due to the significant discrepancy between these two data modalities. This paper introduces a novel framework that jointly optimizes dynamic 3DGS from the two modalities. The key idea is to adopt event motion priors to guide the optimization of the deformation fields. First, we extract the motion priors encoded in event streams by using the proposed LoCM unsupervised fine-tuning framework to adapt an event flow estimator to a certain unseen scene. Then, we present the geometry-aware data association method to build the event-Gaussian motion correspondence, which is the primary foundation of the pipeline, accompanied by two useful strategies, namely motion decomposition and inter-frame pseudo-label. Extensive experiments show that our method outperforms existing image and event-based approaches across synthetic and real scenes and prove that our method can effectively optimize dynamic 3DGS with the help of event data.
• Abstract（参考訳）: 低フレームのRGBビデオから動的3Dガウススティング(3DGS)を再構築することは困難である。 これは、大きなフレーム間運動が解空間の不確実性を高めるためである。 例えば、第1フレームの1ピクセルは、第2フレームの対応するピクセルに到達するための選択肢がもっと増えるかもしれない。 イベントカメラは、迅速な視覚的変化を非同期にキャプチャすることができ、動きのぼかしに対して堅牢であるが、色情報を提供しない。 直感的には、イベントストリームは、イベント軌跡によるフレーム間の大きな動きに対する決定論的制約を提供することができる。 したがって、低時間分解能画像と高フレームのイベントストリームを組み合わせることで、この問題に対処できる。 しかし、これらの2つのデータモダリティの間に大きな相違があるため、RGBとイベントモダリティの両方を用いて動的3DGSを共同で最適化することは困難である。 本稿では2つのモードから動的3DGSを協調的に最適化する新しいフレームワークを提案する。 鍵となる考え方は、変形場の最適化を導くために、イベント・モーション・プレファレンスを採用することである。 まず,イベントストリームに符号化された動作先をLoCMの教師なし微調整フレームワークを用いて抽出し,イベントフロー推定器を未知のシーンに適応させる。 そこで我々は,このパイプラインの基本となる事象-ガウス運動対応を構築するための幾何学的データアソシエーション手法を提案する。 大規模な実験により,本手法は,合成シーンや実シーンにおける既存の画像やイベントベースのアプローチよりも優れており,動的3DGSをイベントデータを用いて効果的に最適化できることが証明された。

関連論文リスト

• GS2E: Gaussian Splatting is an Effective Data Generator for Event Stream Generation [32.13436507983477]
  高忠実度イベントビジョンタスクのための大規模合成イベントデータセットであるGS2E(Gaussian Splatting to Event)を紹介する。 イベントベース3次元再構成の結果は、GS2Eの優れた一般化能力と実用的価値を示している。
  論文  参考訳（メタデータ） (2025-05-21T09:15:42Z)
• Event-boosted Deformable 3D Gaussians for Dynamic Scene Reconstruction [50.873820265165975]
  本稿では,高時間分解能連続運動データと動的シーン再構成のための変形可能な3D-GSを併用したイベントカメラについて紹介する。 本稿では、3次元再構成としきい値モデリングの両方を大幅に改善する相互強化プロセスを作成するGS-Thresholdジョイントモデリング戦略を提案する。 提案手法は,合成および実世界の動的シーンを用いた最初のイベント包摂型4Dベンチマークであり,その上で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-11-25T08:23:38Z)
• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [72.60992807941885]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• Elite-EvGS: Learning Event-based 3D Gaussian Splatting by Distilling Event-to-Video Priors [8.93657924734248]
  イベントカメラは、固定フレームではなく、非同期でスパースなイベントストリームを出力するバイオインスパイアされたセンサーである。 イベントベースの新しい3DGSフレームワークであるElite-EvGSを提案する。 私たちのキーとなるアイデアは、既成のイベント・ツー・ビデオ(E2V)モデルから事前の知識を抽出して、イベントから3Dシーンを効果的に再構築することです。
  論文  参考訳（メタデータ） (2024-09-20T10:47:52Z)
• Event3DGS: Event-Based 3D Gaussian Splatting for High-Speed Robot Egomotion [54.197343533492486]
  Event3DGSは高速移動下で高忠実度3D構造と外観を再構築することができる。 複数の合成および実世界のデータセットの実験は、既存のイベントベースの高密度な3Dシーン再構築フレームワークと比較して、Event3DGSの優位性を示している。 また, 構造的精度を損なうことなく, 外観の忠実度をより高められるように, フレームベースで数回の動特性測定を再構成プロセスに組み込むことも可能である。
  論文  参考訳（メタデータ） (2024-06-05T06:06:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。