論文の概要: Deblurring 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2401.00834v1
- Date: Mon, 1 Jan 2024 18:23:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 15:33:10.987808
- Title: Deblurring 3D Gaussian Splatting
- Title(参考訳): 3次元ガウススプラッティングの劣化
- Authors: Byeonghyeon Lee, Howoong Lee, Xiangyu Sun, Usman Ali, Eunbyung Park
- Abstract要約: MLP(Multi-Layer Perceptron)を用いた3次元ガウススプラッティングをデブロリングする新しいリアルタイムデブロアリングフレームワークを提案する。
3D Gassian Splattingはリアルタイムレンダリングも楽しめるが、ぼやけた画像から細かな細部や鋭い細部を再構築することができる。
- 参考スコア(独自算出の注目度): 7.848221270875205
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent studies in Radiance Fields have paved the robust way for novel view
synthesis with their photorealistic rendering quality. Nevertheless, they
usually employ neural networks and volumetric rendering, which are costly to
train and impede their broad use in various real-time applications due to the
lengthy rendering time. Lately 3D Gaussians splatting-based approach has been
proposed to model the 3D scene, and it achieves remarkable visual quality while
rendering the images in real-time. However, it suffers from severe degradation
in the rendering quality if the training images are blurry. Blurriness commonly
occurs due to the lens defocusing, object motion, and camera shake, and it
inevitably intervenes in clean image acquisition. Several previous studies have
attempted to render clean and sharp images from blurry input images using
neural fields. The majority of those works, however, are designed only for
volumetric rendering-based neural radiance fields and are not straightforwardly
applicable to rasterization-based 3D Gaussian splatting methods. Thus, we
propose a novel real-time deblurring framework, deblurring 3D Gaussian
Splatting, using a small Multi-Layer Perceptron (MLP) that manipulates the
covariance of each 3D Gaussian to model the scene blurriness. While deblurring
3D Gaussian Splatting can still enjoy real-time rendering, it can reconstruct
fine and sharp details from blurry images. A variety of experiments have been
conducted on the benchmark, and the results have revealed the effectiveness of
our approach for deblurring. Qualitative results are available at
https://benhenryl.github.io/Deblurring-3D-Gaussian-Splatting/
- Abstract(参考訳): 近年の放射光分野の研究は、フォトリアリスティックなレンダリング品質を持つ新しいビュー合成のロバストな方法を生み出している。
それにもかかわらず、彼らは通常ニューラルネットワークとボリュームレンダリングを採用しており、長いレンダリング時間のために様々なリアルタイムアプリケーションで広く使用されることを訓練し妨げている。
近年,3次元ガウシアンスプラッティングに基づく3次元シーンのモデル化手法が提案されている。
しかし、トレーニング画像がぼやけている場合、レンダリング品質が著しく低下する。
ぼやけは通常、レンズのデフォーカス、物体の動き、カメラの揺動によって起こり、必然的にクリーンな画像取得に介入する。
過去のいくつかの研究は、ニューラルネットワークを用いてぼやけた入力画像からクリーンでシャープな画像をレンダリングしようと試みている。
しかし、これらの研究の大部分は、ボリュームレンダリングに基づく神経放射場のためにのみ設計されており、ラスタライズに基づく3Dガウススプラッティング法には直接適用されない。
そこで本稿では,各3次元ガウスの共分散を操作する小型多層パーセプトロン(mlp)を用いて,3次元ガウスのスプラッティングをデブラリングし,シーンのぼやけをモデル化する,新しいリアルタイムデブラリングフレームワークを提案する。
3D Gassian Splattingはリアルタイムレンダリングを楽しめるが、ぼやけた画像から細部と鋭い細部を再構築することができる。
様々な実験がベンチマークで行われており, 評価結果から, 脱臭に対するアプローチの有効性が明らかとなった。
質的な結果はhttps://benhenryl.github.io/Deblurring-3D-Gaussian-Splatting/で確認できる。
関連論文リスト
- Bootstrap 3D Reconstructed Scenes from 3D Gaussian Splatting [10.06208115191838]
トレーニングされた3D-GSを用いて,新しいビューのレンダリングを強化するブートストラップ手法を提案する。
以上の結果から,ブートストレッピングはアーティファクトを効果的に削減し,評価指標の明確化を図っている。
論文 参考訳(メタデータ) (2024-04-29T12:57:05Z) - OccGaussian: 3D Gaussian Splatting for Occluded Human Rendering [55.50438181721271]
表面レンダリングにNeRFを用いた従来手法では,閉鎖領域の復元には1日以上,閉塞領域のレンダリングには数秒を要していた。
OccGaussianは3D Gaussian Splattingをベースとして6分以内でトレーニングが可能で,最大160FPSまでの高品質な人体レンダリングを実現する。
論文 参考訳(メタデータ) (2024-04-12T13:00:06Z) - BAD-Gaussians: Bundle Adjusted Deblur Gaussian Splatting [8.380954205255104]
BAD-Gaussianは、不正確なカメラのポーズで、激しい動きをブラインドした画像を処理するための新しいアプローチである。
提案手法は,従来の最先端のデブルーニューラルレンダリング手法と比較して,優れたレンダリング品質を実現する。
論文 参考訳(メタデータ) (2024-03-18T14:43:04Z) - Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。
提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
論文 参考訳(メタデータ) (2024-03-18T04:01:26Z) - Recent Advances in 3D Gaussian Splatting [31.3820273122585]
3次元ガウススプラッティングは、新規なビュー合成のレンダリング速度を大幅に高速化した。
3D Gaussian Splattingの明示的な表現は、動的再構成、幾何学的編集、物理シミュレーションなどの編集作業を容易にする。
本稿では,3次元再構成,3次元編集,その他の下流アプリケーションに大まかに分類できる最近の3次元ガウス散乱法について,文献的考察を行う。
論文 参考訳(メタデータ) (2024-03-17T07:57:08Z) - ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。
我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。
我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
論文 参考訳(メタデータ) (2023-12-10T17:07:37Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2023-11-30T17:58:57Z) - Multi-Scale 3D Gaussian Splatting for Anti-Aliased Rendering [52.89132136136605]
3Dガウシアンは最近、3D再構成とレンダリングの非常に効率的な表現として現れた。
そこで本研究では,ガウスを異なるスケールで維持し,同じシーンを表現できるマルチスケール3次元ガウススプラッティングアルゴリズムを提案する。
提案アルゴリズムは13%-66%のPSNRと160%-2400%のレンダリング速度を4$times$-128$times$ scale rendering on Mip-NeRF360 data。
論文 参考訳(メタデータ) (2023-11-28T03:31:35Z) - Compact 3D Gaussian Representation for Radiance Field [14.729871192785696]
本研究では,3次元ガウス点数を削減するための学習可能なマスク戦略を提案する。
また、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳(メタデータ) (2023-11-22T20:31:16Z) - HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。
本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。
テスト時,本手法は単眼のRGBビデオによって駆動される。
論文 参考訳(メタデータ) (2023-03-25T13:56:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。