論文の概要: Toy-GS: Assembling Local Gaussians for Precisely Rendering Large-Scale Free Camera Trajectories

• arxiv url: http://arxiv.org/abs/2412.10078v1
• Date: Fri, 13 Dec 2024 12:10:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:02:41.796869
• Title: Toy-GS: Assembling Local Gaussians for Precisely Rendering Large-Scale Free Camera Trajectories
• Title（参考訳）: Toy-GS:地元のガウシアンを組み立てて、大規模無料カメラの軌道を正確にレンダリングする
• Authors: Xiaohan Zhang, Zhenyu Sun, Yukui Qiu, Junyan Su, Qi Liu,
• Abstract要約: 現在、大規模な無料カメラトラジェクトリの3Dレンダリング、すなわち任意の入力カメラトラジェクトリが大きな課題となっている。 本稿では,大規模フリーカメラの軌跡を正確に描画するToy-GS法を提案する。
• 参考スコア（独自算出の注目度）: 9.953178002894877
• License:
• Abstract: Currently, 3D rendering for large-scale free camera trajectories, namely, arbitrary input camera trajectories, poses significant challenges: 1) The distribution and observation angles of the cameras are irregular, and various types of scenes are included in the free trajectories; 2) Processing the entire point cloud and all images at once for large-scale scenes requires a substantial amount of GPU memory. This paper presents a Toy-GS method for accurately rendering large-scale free camera trajectories. Specifically, we propose an adaptive spatial division approach for free trajectories to divide cameras and the sparse point cloud of the entire scene into various regions according to camera poses. Training each local Gaussian in parallel for each area enables us to concentrate on texture details and minimize GPU memory usage. Next, we use the multi-view constraint and position-aware point adaptive control (PPAC) to improve the rendering quality of texture details. In addition, our regional fusion approach combines local and global Gaussians to enhance rendering quality with an increasing number of divided areas. Extensive experiments have been carried out to confirm the effectiveness and efficiency of Toy-GS, leading to state-of-the-art results on two public large-scale datasets as well as our SCUTic dataset. Our proposal demonstrates an enhancement of 1.19 dB in PSNR and conserves 7 G of GPU memory when compared to various benchmarks.
• Abstract（参考訳）: 現在、大規模な無料カメラトラジェクトリ、すなわち任意の入力カメラトラジェクトリの3Dレンダリングは、大きな課題を提起している。 1) カメラの分布と観測角度は不規則であり, 各種のシーンが自由軌跡に含まれる。 2) 大規模シーンでポイントクラウド全体とすべての画像を同時に処理するには,かなりの量のGPUメモリが必要である。 本稿では,大規模フリーカメラの軌跡を正確に描画するToy-GS法を提案する。 具体的には,自由軌道に対する適応的空間分割手法を提案し,カメラのポーズに応じてシーン全体のスパース点雲を様々な領域に分割する。 各領域で各ローカルガウスを並列にトレーニングすることで、テクスチャの詳細に集中し、GPUメモリの使用を最小化できます。 次に,多視点制約と位置認識点適応制御(PPAC)を用いてテクスチャディテールのレンダリング品質を向上させる。 さらに、地域融合アプローチでは、地域とグローバルガウシアンを組み合わせてレンダリング品質を向上し、分割された領域が増えている。 Toy-GSの有効性と効率を確認するために、大規模な実験が行われており、2つの公開大規模データセットと我々のSCUTicデータセットに対して最先端の結果が得られた。 提案手法はPSNRにおける1.19dBの増大を示し,各種ベンチマークと比較して7GのGPUメモリを保存している。

関連論文リスト

• GS-Blur: A 3D Scene-Based Dataset for Realistic Image Deblurring [50.72230109855628]
  本稿では,新しい手法を用いて合成されたリアルなぼやけた画像のデータセットであるGS-Blurを提案する。 まず,3Dガウス・スプレイティング(3DGS)を用いて多視点画像から3Dシーンを再構成し,ランダムに生成された運動軌跡に沿ってカメラビューを移動させてぼやけた画像を描画する。 GS-Blurの再構築に様々なカメラトラジェクトリを採用することで、我々のデータセットは現実的で多様な種類のぼかしを含み、現実世界のぼかしをうまく一般化する大規模なデータセットを提供する。
  論文  参考訳（メタデータ） (2024-10-31T06:17:16Z)
• GSplatLoc: Grounding Keypoint Descriptors into 3D Gaussian Splatting for Improved Visual Localization [1.4466437171584356]
  3D Gaussian Splatting (3DGS) は、空間的特徴を持つ3次元幾何学とシーンの外観の両方をコンパクトに符号化することができる。 モデルの空間的理解を改善するために,高密度キーポイント記述子を3DGSに蒸留することを提案する。 提案手法はNeRFMatchやPNeRFLocなど,最先端のニューラル・レンダー・ポース(NRP)法を超越した手法である。
  論文  参考訳（メタデータ） (2024-09-24T23:18:32Z)
• PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
  本研究では,視覚的忠実度と前景の細部を高い圧縮比で保持する原理的感度プルーニングスコアを提案する。 また,トレーニングパイプラインを変更することなく,事前訓練した任意の3D-GSモデルに適用可能な複数ラウンドプルーファインパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-06-14T17:53:55Z)
• Dual-Camera Smooth Zoom on Mobile Phones [55.4114152554769]
  我々は、スムーズなズームプレビューを実現するために、新しいタスク、すなわちデュアルカメラスムーズズーム(DCSZ)を導入する。 フレームモデル (FI) 技術は潜在的な解決法であるが、地軸収集に苦慮している。 連続型仮想カメラを組み込んだデータファクトリソリューションを提案し,シーンの再構成された3DモデルをレンダリングしてDCSZデータを生成する。
  論文  参考訳（メタデータ） (2024-04-07T10:28:01Z)
• HO-Gaussian: Hybrid Optimization of 3D Gaussian Splatting for Urban Scenes [24.227745405760697]
  本稿では,グリッドベースボリュームと3DGSパイプラインを組み合わせたHO-Gaussianというハイブリッド最適化手法を提案する。 広範に使用されている自律走行データセットの結果から,HO-Gaussianはマルチカメラ都市データセット上でリアルタイムに写真リアリスティックレンダリングを実現することが示された。
  論文  参考訳（メタデータ） (2024-03-29T07:58:21Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• Gaussian-SLAM: Photo-realistic Dense SLAM with Gaussian Splatting [24.160436463991495]
  本稿では3次元ガウスアンをシーン表現として用いたSLAM法を提案する。 本手法は,実世界のシングルカメラRGBDビデオから,インタラクティブなリアルタイム再構成と写真リアルレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-12-06T10:47:53Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• Sampling Based Scene-Space Video Processing [89.49726406622842]
  ビデオ処理のための新しいサンプリングベースのフレームワークを提案する。 奥行きのミスやカメラのポーズ推定がある場合、高品質なシーン空間ビデオ効果を可能にする。 カジュアルにキャプチャーされた、手持ちの、動く、圧縮された、モノラルなビデオの結果を提示する。
  論文  参考訳（メタデータ） (2021-02-05T05:55:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。