論文の概要: Deblurring 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2401.00834v1
• Date: Mon, 1 Jan 2024 18:23:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 15:33:10.987808
• Title: Deblurring 3D Gaussian Splatting
• Title（参考訳）: 3次元ガウススプラッティングの劣化
• Authors: Byeonghyeon Lee, Howoong Lee, Xiangyu Sun, Usman Ali, Eunbyung Park
• Abstract要約: MLP(Multi-Layer Perceptron)を用いた3次元ガウススプラッティングをデブロリングする新しいリアルタイムデブロアリングフレームワークを提案する。 3D Gassian Splattingはリアルタイムレンダリングも楽しめるが、ぼやけた画像から細かな細部や鋭い細部を再構築することができる。
• 参考スコア（独自算出の注目度）: 7.848221270875205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies in Radiance Fields have paved the robust way for novel view synthesis with their photorealistic rendering quality. Nevertheless, they usually employ neural networks and volumetric rendering, which are costly to train and impede their broad use in various real-time applications due to the lengthy rendering time. Lately 3D Gaussians splatting-based approach has been proposed to model the 3D scene, and it achieves remarkable visual quality while rendering the images in real-time. However, it suffers from severe degradation in the rendering quality if the training images are blurry. Blurriness commonly occurs due to the lens defocusing, object motion, and camera shake, and it inevitably intervenes in clean image acquisition. Several previous studies have attempted to render clean and sharp images from blurry input images using neural fields. The majority of those works, however, are designed only for volumetric rendering-based neural radiance fields and are not straightforwardly applicable to rasterization-based 3D Gaussian splatting methods. Thus, we propose a novel real-time deblurring framework, deblurring 3D Gaussian Splatting, using a small Multi-Layer Perceptron (MLP) that manipulates the covariance of each 3D Gaussian to model the scene blurriness. While deblurring 3D Gaussian Splatting can still enjoy real-time rendering, it can reconstruct fine and sharp details from blurry images. A variety of experiments have been conducted on the benchmark, and the results have revealed the effectiveness of our approach for deblurring. Qualitative results are available at https://benhenryl.github.io/Deblurring-3D-Gaussian-Splatting/
• Abstract（参考訳）: 近年の放射光分野の研究は、フォトリアリスティックなレンダリング品質を持つ新しいビュー合成のロバストな方法を生み出している。 それにもかかわらず、彼らは通常ニューラルネットワークとボリュームレンダリングを採用しており、長いレンダリング時間のために様々なリアルタイムアプリケーションで広く使用されることを訓練し妨げている。 近年,3次元ガウシアンスプラッティングに基づく3次元シーンのモデル化手法が提案されている。 しかし、トレーニング画像がぼやけている場合、レンダリング品質が著しく低下する。 ぼやけは通常、レンズのデフォーカス、物体の動き、カメラの揺動によって起こり、必然的にクリーンな画像取得に介入する。 過去のいくつかの研究は、ニューラルネットワークを用いてぼやけた入力画像からクリーンでシャープな画像をレンダリングしようと試みている。 しかし、これらの研究の大部分は、ボリュームレンダリングに基づく神経放射場のためにのみ設計されており、ラスタライズに基づく3Dガウススプラッティング法には直接適用されない。 そこで本稿では,各3次元ガウスの共分散を操作する小型多層パーセプトロン(mlp)を用いて,3次元ガウスのスプラッティングをデブラリングし,シーンのぼやけをモデル化する,新しいリアルタイムデブラリングフレームワークを提案する。 3D Gassian Splattingはリアルタイムレンダリングを楽しめるが、ぼやけた画像から細部と鋭い細部を再構築することができる。 様々な実験がベンチマークで行われており, 評価結果から, 脱臭に対するアプローチの有効性が明らかとなった。 質的な結果はhttps://benhenryl.github.io/Deblurring-3D-Gaussian-Splatting/で確認できる。

関連論文リスト

• 3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes [87.01284850604495]
  多視点画像から幾何学的に有意な放射場をモデル化するためのプリミティブとして3次元滑らかな凸を利用した3次元凸法(3DCS)を提案する。 3DCSは、MipNeizer, Tanks and Temples, Deep Blendingなどのベンチマークで、3DGSよりも優れたパフォーマンスを実現している。 本結果は,高品質なシーン再構築のための新しい標準となる3Dコンベクシングの可能性を強調した。
  論文  参考訳（メタデータ） (2024-11-22T14:31:39Z)
• EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
  実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。 3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。 本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
  論文  参考訳（メタデータ） (2024-10-02T17:59:09Z)
• Bootstrap 3D Reconstructed Scenes from 3D Gaussian Splatting [10.06208115191838]
  トレーニングされた3D-GSを用いて,新しいビューのレンダリングを強化するブートストラップ手法を提案する。 以上の結果から,ブートストレッピングはアーティファクトを効果的に削減し,評価指標の明確化を図っている。
  論文  参考訳（メタデータ） (2024-04-29T12:57:05Z)
• OccGaussian: 3D Gaussian Splatting for Occluded Human Rendering [55.50438181721271]
  表面レンダリングにNeRFを用いた従来手法では,閉鎖領域の復元には1日以上,閉塞領域のレンダリングには数秒を要していた。 OccGaussianは3D Gaussian Splattingをベースとして6分以内でトレーニングが可能で,最大160FPSまでの高品質な人体レンダリングを実現する。
  論文  参考訳（メタデータ） (2024-04-12T13:00:06Z)
• BAD-Gaussians: Bundle Adjusted Deblur Gaussian Splatting [8.380954205255104]
  BAD-Gaussianは、不正確なカメラのポーズで、激しい動きをブラインドした画像を処理するための新しいアプローチである。 提案手法は,従来の最先端のデブルーニューラルレンダリング手法と比較して,優れたレンダリング品質を実現する。
  論文  参考訳（メタデータ） (2024-03-18T14:43:04Z)
• Recent Advances in 3D Gaussian Splatting [31.3820273122585]
  3次元ガウススプラッティングは、新規なビュー合成のレンダリング速度を大幅に高速化した。 3D Gaussian Splattingの明示的な表現は、動的再構成、幾何学的編集、物理シミュレーションなどの編集作業を容易にする。 本稿では,3次元再構成,3次元編集,その他の下流アプリケーションに大まかに分類できる最近の3次元ガウス散乱法について,文献的考察を行う。
  論文  参考訳（メタデータ） (2024-03-17T07:57:08Z)
• ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
  本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。 我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。 我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
  論文  参考訳（メタデータ） (2023-12-10T17:07:37Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。