論文の概要: DiET-GS: Diffusion Prior and Event Stream-Assisted Motion Deblurring 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2503.24210v1
• Date: Mon, 31 Mar 2025 15:27:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:37:25.976310
• Title: DiET-GS: Diffusion Prior and Event Stream-Assisted Motion Deblurring 3D Gaussian Splatting
• Title（参考訳）: DiET-GS:Diffusion PriorとEvent Stream-Assisted Motion Deblurring 3D Gaussian Splatting
• Authors: Seungjun Lee, Gim Hee Lee,
• Abstract要約: 拡散前およびイベントストリーム支援動作3DGSであるDiET-GSについて述べる。 我々のフレームワークは、2段階のトレーニング戦略において、ぼやけのないイベントストリームと拡散の両方を効果的に活用する。
• 参考スコア（独自算出の注目度）: 59.91048302471001
• License:
• Abstract: Reconstructing sharp 3D representations from blurry multi-view images are long-standing problem in computer vision. Recent works attempt to enhance high-quality novel view synthesis from the motion blur by leveraging event-based cameras, benefiting from high dynamic range and microsecond temporal resolution. However, they often reach sub-optimal visual quality in either restoring inaccurate color or losing fine-grained details. In this paper, we present DiET-GS, a diffusion prior and event stream-assisted motion deblurring 3DGS. Our framework effectively leverages both blur-free event streams and diffusion prior in a two-stage training strategy. Specifically, we introduce the novel framework to constraint 3DGS with event double integral, achieving both accurate color and well-defined details. Additionally, we propose a simple technique to leverage diffusion prior to further enhance the edge details. Qualitative and quantitative results on both synthetic and real-world data demonstrate that our DiET-GS is capable of producing significantly better quality of novel views compared to the existing baselines. Our project page is https://diet-gs.github.io
• Abstract（参考訳）: ぼやけた多視点画像から鋭い3D表現を再構成することは、コンピュータビジョンにおける長年の問題である。 最近の研究は、イベントベースのカメラを活用して、高ダイナミックレンジとマイクロ秒時間分解能の恩恵を受けながら、動きのぼかしから高品質な新規ビューの合成を強化しようとしている。 しかし、不正確な色を復元するか、きめ細かな詳細をなくすかのどちらかで、最適以下の視覚的品質に達することがしばしばある。 本稿では,3DGSの拡散前およびイベントストリーム支援動作であるDiET-GSについて述べる。 我々のフレームワークは、2段階のトレーニング戦略において、ぼやけのないイベントストリームと拡散の両方を効果的に活用する。 具体的には、3DGSを2重積分で制約する新しいフレームワークを導入し、正確な色と明確に定義された詳細を実現する。 さらに、エッジの詳細をさらに強化するために拡散を利用するための簡単な手法を提案する。 実世界の合成データと実世界のデータの質的および定量的な結果から、我々のDiET-GSは、既存のベースラインと比較して、新しいビューのクオリティを著しく向上できることを示した。 私たちのプロジェクトページはhttps://diet-gs.github.ioです。

関連論文リスト

• E-3DGS: Event-Based Novel View Rendering of Large-Scale Scenes Using 3D Gaussian Splatting [23.905254854888863]
  イベントベース新規ビュー合成のための3Dガウシアンについて紹介する。 本手法は,視覚的品質の高い大規模・非有界なシーンを再構成する。 この設定に適した、最初のリアルおよび合成イベントデータセットをコントリビュートします。
  論文  参考訳（メタデータ） (2025-02-15T15:04:10Z)
• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [72.60992807941885]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• EvaGaussians: Event Stream Assisted Gaussian Splatting from Blurry Images [36.91327728871551]
  3次元ガウススプラッティング(3D-GS)は、3次元シーン再構成と新しいビュー合成において例外的な機能を示した。 本稿では,イベントストリーム支援型ガウシアンスプラッティング(EvaGaussians)について紹介する。これは,イベントカメラがキャプチャしたイベントストリームを統合して,ぼやけた画像から高品質な3D-GSを再構築する手法である。
  論文  参考訳（メタデータ） (2024-05-29T04:59:27Z)
• 3D Pose Estimation of Two Interacting Hands from a Monocular Event Camera [59.846927201816776]
  本稿では,1つの単眼イベントカメラから手の動きの速い2つの手の動きを3次元追跡するための最初のフレームワークを紹介する。 本手法は, 半教師付き機能的注意機構により, 左手のあいまいさに対処し, 交差点の損失を補足して手衝突を解消する。
  論文  参考訳（メタデータ） (2023-12-21T18:59:57Z)
• Event-based Continuous Color Video Decompression from Single Frames [36.4263932473053]
  本研究では,静止RGB画像とイベントカメラストリームから連続映像を生成する新しい手法であるContinuityCamを提案する。 提案手法は、連続した長距離動きモデリングとニューラル合成モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
  論文  参考訳（メタデータ） (2023-11-30T18:59:23Z)
• 3DDesigner: Towards Photorealistic 3D Object Generation and Editing with Text-guided Diffusion Models [71.25937799010407]
  テキスト誘導拡散モデルを用いて3次元連続生成を実現する。 本研究では3次元局所編集について検討し,2段階の解法を提案する。 モデルを拡張してワンショットのノベルビュー合成を行う。
  論文  参考訳（メタデータ） (2022-11-25T13:50:00Z)
• EventNeRF: Neural Radiance Fields from a Single Colour Event Camera [81.19234142730326]
  本稿では, 単色イベントストリームを入力として, 3次元一貫性, 密度, 新規なビュー合成法を提案する。 その中核は、カラーイベントチャンネルのオリジナルの解像度を維持しながら、イベントから完全に自己教師された方法で訓練された神経放射場である。 提案手法をいくつかの難解な合成シーンと実シーンで定性的・数値的に評価し,より密集し,より視覚的に魅力的であることを示す。
  論文  参考訳（メタデータ） (2022-06-23T17:59:53Z)
• Differentiable Event Stream Simulator for Non-Rigid 3D Tracking [82.56690776283428]
  我々の微分可能シミュレータは、イベントストリームから変形可能なオブジェクトの非剛性3D追跡を可能にする。 様々な種類の非剛体物体に対するアプローチの有効性を示し, 既存の非剛体3次元追跡手法と比較した。
  論文  参考訳（メタデータ） (2021-04-30T17:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。