論文の概要: Splatter Image: Ultra-Fast Single-View 3D Reconstruction
- arxiv url: http://arxiv.org/abs/2312.13150v1
- Date: Wed, 20 Dec 2023 16:14:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 14:51:31.536362
- Title: Splatter Image: Ultra-Fast Single-View 3D Reconstruction
- Title(参考訳): Splatter Image: Ultra-Fast Single-View 3Dレコンストラクション
- Authors: Stanislaw Szymanowicz and Christian Rupprecht and Andrea Vedaldi
- Abstract要約: Splatter Imageは,38FPSで動作するモノクローナル3次元オブジェクト再構成のための超高速なアプローチである。
Splatter ImageはGaussian Splattingをベースにしており、リアルタイムレンダリング、高速トレーニング、マルチビュー再構築に優れたスケーリングを実現している。
- 参考スコア(独自算出の注目度): 76.38261311948649
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We introduce the Splatter Image, an ultra-fast approach for monocular 3D
object reconstruction which operates at 38 FPS. Splatter Image is based on
Gaussian Splatting, which has recently brought real-time rendering, fast
training, and excellent scaling to multi-view reconstruction. For the first
time, we apply Gaussian Splatting in a monocular reconstruction setting. Our
approach is learning-based, and, at test time, reconstruction only requires the
feed-forward evaluation of a neural network. The main innovation of Splatter
Image is the surprisingly straightforward design: it uses a 2D image-to-image
network to map the input image to one 3D Gaussian per pixel. The resulting
Gaussians thus have the form of an image, the Splatter Image. We further extend
the method to incorporate more than one image as input, which we do by adding
cross-view attention. Owning to the speed of the renderer (588 FPS), we can use
a single GPU for training while generating entire images at each iteration in
order to optimize perceptual metrics like LPIPS. On standard benchmarks, we
demonstrate not only fast reconstruction but also better results than recent
and much more expensive baselines in terms of PSNR, LPIPS, and other metrics.
- Abstract(参考訳): Splatter Imageは,38FPSで動作するモノクローナル3次元オブジェクト再構成のための超高速なアプローチである。
Splatter ImageはGaussian Splattingをベースにしており、リアルタイムレンダリング、高速トレーニング、マルチビュー再構築への優れたスケーリングを実現している。
初めて,ガウス型スプラッティングを単眼再構成に応用した。
我々のアプローチは学習ベースであり、テスト時に、レコンストラクションはニューラルネットワークのフィードフォワード評価のみを必要とする。
2D画像と画像のネットワークを使って、入力された画像をピクセルごとに1つの3Dガウスアンにマッピングする。
結果として得られたガウス像は、Splatter Imageという画像の形をしている。
さらに,複数の画像を入力として組み込む手法を拡張した。
レンダラの速度(588fps)に合わせて、各イテレーションでイメージ全体を生成しながら、単一のgpuを使用してトレーニングを行い、lpipなどの知覚メトリックを最適化します。
標準ベンチマークでは,PSNR,LPIPS,その他の指標において,高速な再構成だけでなく,最近の,はるかに高価なベースラインよりも優れた結果を示す。
関連論文リスト
- Deblurring 3D Gaussian Splatting [7.848221270875205]
MLP(Multi-Layer Perceptron)を用いた3次元ガウススプラッティングをデブロリングする新しいリアルタイムデブロアリングフレームワークを提案する。
3D Gassian Splattingはリアルタイムレンダリングも楽しめるが、ぼやけた画像から細かな細部や鋭い細部を再構築することができる。
論文 参考訳(メタデータ) (2024-01-01T18:23:51Z) - 3DGS-Avatar: Animatable Avatars via Deformable 3D Gaussian Splatting [35.013094427167616]
3Dガウススプラッティング(3DGS)を用いた単眼ビデオからアニマタブルな人間のアバターを作成する手法を提案する。
我々は、30分以内でトレーニングでき、リアルタイムフレームレート(50以上のFPS)でレンダリングできる非剛性ネットワークを学習する。
実験結果から,本手法は単分子入力によるアニマタブルアバター生成に対する最先端手法と比較して,同等,さらに優れた性能が得られることが示された。
論文 参考訳(メタデータ) (2023-12-14T18:54:32Z) - Triplane Meets Gaussian Splatting: Fast and Generalizable Single-View 3D
Reconstruction with Transformers [37.14235383028582]
本稿では,フィードフォワード推論を用いて,単一画像から3次元モデルを効率よく生成する,一視点再構成のための新しい手法を提案する。
提案手法では,2つのトランスフォーマーネットワーク,すなわちポイントデコーダとトリプレーンデコーダを用いて,ハイブリッドトリプレーン・ガウス中間表現を用いて3次元オブジェクトを再構成する。
論文 参考訳(メタデータ) (2023-12-14T17:18:34Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2023-11-30T17:58:57Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [54.56928482110888]
本稿では,まず3次元ガウス表現を同時局所化・マッピングシステムで利用するtextbfGS-SLAM$を紹介する。
提案手法では,地図の最適化とRGB-D再レンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳(メタデータ) (2023-11-20T12:08:23Z) - Real-Time Radiance Fields for Single-Image Portrait View Synthesis [85.32826349697972]
本研究では,1つの未提示画像からリアルタイムに3D表現を推測・描画するワンショット手法を提案する。
一つのRGB入力が与えられた場合、画像エンコーダは、ボリュームレンダリングによる3次元新規ビュー合成のためのニューラルラディアンスフィールドの標準三面体表現を直接予測する。
提案手法は消費者ハードウェア上で高速(24fps)であり,テスト時間最適化を必要とする強力なGAN反転ベースラインよりも高品質な結果が得られる。
論文 参考訳(メタデータ) (2023-05-03T17:56:01Z) - In Defense of Image Pre-Training for Spatiotemporal Recognition [32.56468478601864]
画像事前学習を効果的に活用する鍵は、空間的特徴と時間的特徴の学習の分解にある。
新しいパイプラインは、大きなスピードアップを伴うビデオ認識において、常により良い結果を達成する。
論文 参考訳(メタデータ) (2022-05-03T18:45:44Z) - Deep3DPose: Realtime Reconstruction of Arbitrarily Posed Human Bodies
from Single RGB Images [5.775625085664381]
本研究では,3次元人間のポーズを正確に再構築し,単一画像から詳細な3次元フルボディ幾何モデルをリアルタイムに構築する手法を提案する。
このアプローチの鍵となるアイデアは、単一のイメージを使用して5つの出力を同時に予測する、新しいエンドツーエンドのマルチタスクディープラーニングフレームワークである。
本研究では,3次元人体フロンティアを進化させ,定量的評価と最先端手法との比較により,単一画像からの再構築を図っている。
論文 参考訳(メタデータ) (2021-06-22T04:26:11Z) - Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face
Reconstruction [76.1612334630256]
我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。
3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
論文 参考訳(メタデータ) (2021-05-16T16:35:44Z) - Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
本稿では,GAR(Generative Adversa Renderer)について紹介する。
GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。
本手法は,複数顔再構成における最先端性能を実現する。
論文 参考訳(メタデータ) (2021-05-06T04:16:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。