論文の概要: Ev4DGS: Novel-view Rendering of Non-Rigid Objects from Monocular Event Streams

• arxiv url: http://arxiv.org/abs/2510.11717v1
• Date: Mon, 13 Oct 2025 17:59:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.507688
• Title: Ev4DGS: Novel-view Rendering of Non-Rigid Objects from Monocular Event Streams
• Title（参考訳）: Ev4DGS: モノクロイベントストリームからの非リジッドオブジェクトの新しいビューレンダリング
• Authors: Takuya Nakabayashi, Navami Kairanda, Hideo Saito, Vladislav Golyanik,
• Abstract要約: Ev4DGSは、明示的な観測空間において、厳密でない変形物体の新たなビューレンダリングのための最初のアプローチである。 提案手法は,(1)推定モデルの出力と2次元事象観測空間との損失,(2)事象から生成された2次元マスクからトレーニングされた粗い3次元変形モデルを通して,変形可能な3次元ガウススティング表現を回帰する。
• 参考スコア（独自算出の注目度）: 34.02850677061797
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event cameras offer various advantages for novel view rendering compared to synchronously operating RGB cameras, and efficient event-based techniques supporting rigid scenes have been recently demonstrated in the literature. In the case of non-rigid objects, however, existing approaches additionally require sparse RGB inputs, which can be a substantial practical limitation; it remains unknown if similar models could be learned from event streams only. This paper sheds light on this challenging open question and introduces Ev4DGS, i.e., the first approach for novel view rendering of non-rigidly deforming objects in the explicit observation space (i.e., as RGB or greyscale images) from monocular event streams. Our method regresses a deformable 3D Gaussian Splatting representation through 1) a loss relating the outputs of the estimated model with the 2D event observation space, and 2) a coarse 3D deformation model trained from binary masks generated from events. We perform experimental comparisons on existing synthetic and newly recorded real datasets with non-rigid objects. The results demonstrate the validity of Ev4DGS and its superior performance compared to multiple naive baselines that can be applied in our setting. We will release our models and the datasets used in the evaluation for research purposes; see the project webpage: https://4dqv.mpi-inf.mpg.de/Ev4DGS/.
• Abstract（参考訳）: イベントカメラは同期動作のRGBカメラと比較して、新しいビューレンダリングに様々な利点があり、また、厳密なシーンをサポートする効率的なイベントベース技術が最近文献で実証されている。 しかし、厳密でないオブジェクトの場合、既存のアプローチはスパースRGB入力も必要としており、これは実質的な制限であり、類似したモデルがイベントストリームからのみ学習できるかどうかは不明である。 本稿では、この挑戦的なオープンな疑問に光を当て、Ev4DGS、すなわち、モノクロイベントストリームからの明示的な観測空間(RGBやグレースケール画像など)における、厳密でない変形物体の新たなビューレンダリングのための最初のアプローチを紹介する。 我々の手法は変形可能な3次元ガウススプティング表現を復元する 1)推定モデルの出力と2次元事象観測空間との損失 2) イベントから発生する2次元マスクからトレーニングした粗い3次元変形モデル。 我々は、既存の合成および新たに記録された実データに対して、厳密でないオブジェクトと実験的な比較を行う。 以上の結果から,Ev4DGSの有効性および性能は,本設定に応用可能な複数のナイーブベースラインと比較して高い結果が得られた。 研究目的の評価に使用されるモデルとデータセットをリリースする。 https://4dqv.mpi-inf.mpg.de/Ev4DGS/.com/ のプロジェクトWebページを参照。

関連論文リスト

• Towards Human-Level 3D Relative Pose Estimation: Generalizable, Training-Free, with Single Reference [65.42565481489132]
  人間は、単一のクエリ参照イメージペアのみを前提として、ラベル付けやトレーニングをすることなく、これまで見られなかったオブジェクトの相対的なポーズを容易に推論することができる。 RGB-D参照から3D/2.5D形状認識と2.5D形状認識を併用した新しい3次元一般化可能な相対ポーズ推定法を提案する。 RGBとセマンティックマップ(DINOv2がRGB入力から取得)によってテクスチャ化された2.5Dの回転可能なメッシュを識別し、新しいRGBとセマンティックマップを新しい回転ビューの下でレンダリングする。
  論文  参考訳（メタデータ） (2024-06-26T16:01:10Z)
• PT43D: A Probabilistic Transformer for Generating 3D Shapes from Single Highly-Ambiguous RGB Images [26.900974153235456]
  本稿では,1枚のRGB画像から3次元形状を生成するトランスフォーマーを用いた自己回帰モデルを提案する。 フィールド・オブ・ビュー・トランケーションのような現実的なシナリオを扱うために、シミュレーション画像と形状のトレーニングペアを作成します。 次に、入力画像から最も関連性の高い領域を効果的に識別し、形状生成を行う。
  論文  参考訳（メタデータ） (2024-05-20T09:49:13Z)
• Zero123-6D: Zero-shot Novel View Synthesis for RGB Category-level 6D Pose Estimation [66.3814684757376]
  本研究は,RGB 6Dのカテゴリレベルでのポーズ推定を向上するための拡散モデルに基づく新規ビュー合成器の実用性を示す最初の研究であるZero123-6Dを示す。 本手法は,データ要求の低減,ゼロショットカテゴリレベルの6Dポーズ推定タスクにおける深度情報の必要性の除去,およびCO3Dデータセットの実験により定量的に示された性能の向上を示す。
  論文  参考訳（メタデータ） (2024-03-21T10:38:18Z)
• EventNeRF: Neural Radiance Fields from a Single Colour Event Camera [81.19234142730326]
  本稿では, 単色イベントストリームを入力として, 3次元一貫性, 密度, 新規なビュー合成法を提案する。 その中核は、カラーイベントチャンネルのオリジナルの解像度を維持しながら、イベントから完全に自己教師された方法で訓練された神経放射場である。 提案手法をいくつかの難解な合成シーンと実シーンで定性的・数値的に評価し,より密集し,より視覚的に魅力的であることを示す。
  論文  参考訳（メタデータ） (2022-06-23T17:59:53Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• Differentiable Event Stream Simulator for Non-Rigid 3D Tracking [82.56690776283428]
  我々の微分可能シミュレータは、イベントストリームから変形可能なオブジェクトの非剛性3D追跡を可能にする。 様々な種類の非剛体物体に対するアプローチの有効性を示し, 既存の非剛体3次元追跡手法と比較した。
  論文  参考訳（メタデータ） (2021-04-30T17:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。