論文の概要: PEP-GS: Perceptually-Enhanced Precise Structured 3D Gaussians for View-Adaptive Rendering

• arxiv url: http://arxiv.org/abs/2411.05731v2
• Date: Mon, 27 Jan 2025 18:21:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:50:56.492428
• Title: PEP-GS: Perceptually-Enhanced Precise Structured 3D Gaussians for View-Adaptive Rendering
• Title（参考訳）: PEP-GS:ビューアダプティブレンダリングのための知覚的に強化された精密3Dガウス
• Authors: Junxi Jin, Xiulai Li, Haiping Huang, Lianjun Liu, Yujie Sun, Boyi Liu,
• Abstract要約: 3D Gaussian Splatting (3D-GS)はリアルタイムで高品質な3Dシーンレンダリングにおいて大きな成功を収めた。 しかし、ガウスの冗長性、ビュー依存効果を捉える能力の制限、複雑な照明と反射の扱いの難しさなど、いくつかの課題に直面している。 PEP-GSは、不透明度、色、共分散を含むガウス属性を動的に予測する知覚的に強化されたフレームワークである。
• 参考スコア（独自算出の注目度）: 7.1029808965488686
• License:
• Abstract: Recently, 3D Gaussian Splatting (3D-GS) has achieved significant success in real-time, high-quality 3D scene rendering. However, it faces several challenges, including Gaussian redundancy, limited ability to capture view-dependent effects, and difficulties in handling complex lighting and specular reflections. Additionally, methods that use spherical harmonics for color representation often struggle to effectively capture specular highlights and anisotropic components, especially when modeling view-dependent colors under complex lighting conditions, leading to insufficient contrast and unnatural color saturation. To address these limitations, we introduce PEP-GS, a perceptually-enhanced framework that dynamically predicts Gaussian attributes, including opacity, color, and covariance. We replace traditional spherical harmonics with a Hierarchical Granular-Structural Attention mechanism, which enables more accurate modeling of complex view-dependent color effects and specular highlights. By employing a stable and interpretable framework for opacity and covariance estimation, PEP-GS avoids the removal of essential Gaussians prematurely, ensuring a more accurate scene representation. Furthermore, perceptual optimization is applied to the final rendered images, enhancing perceptual consistency across different views and ensuring high-quality renderings with improved texture fidelity and fine-scale detail preservation. Experimental results demonstrate that PEP-GS outperforms state-of-the-art methods, particularly in challenging scenarios involving view-dependent effects, specular reflections, and fine-scale details.
• Abstract（参考訳）: 近年,3Dガウススプラッティング(3D-GS)はリアルタイムで高品質な3Dシーンレンダリングにおいて大きな成功を収めている。 しかし、ガウスの冗長性、ビュー依存効果を捉える能力の制限、複雑な照明と反射の扱いの難しさなど、いくつかの課題に直面している。 さらに、色表現に球面調和を用いる手法は、特に複雑な照明条件下でビュー依存色をモデル化する際に、スペクトルハイライトや異方性成分を効果的に捉えるのに苦労することが多く、コントラストや不自然な彩度が不足する。 これらの制約に対処するために,不透明度,色,共分散などのガウス属性を動的に予測する知覚的に強化されたフレームワークであるPEP-GSを導入する。 従来の球面高調波を階層的グラニュラー構造アテンション機構に置き換えることで、複雑なビュー依存色効果と特異ハイライトをより正確にモデル化することができる。 PEP-GSは不透明度と共分散推定のための安定かつ解釈可能なフレームワークを利用することで、本質的なガウスの早期除去を回避し、より正確なシーン表現を保証する。 さらに、最終レンダリング画像に知覚的最適化を適用し、異なるビュー間の知覚的整合性を高め、テクスチャの忠実度を向上し、微細なディテールを保存した高品質なレンダリングを保証する。 PEP-GSは、特にビュー依存効果、スペキュラリフレクション、微視的詳細を含む挑戦的なシナリオにおいて、最先端の手法よりも優れていることを示す実験結果を得た。

関連論文リスト

• G2SDF: Surface Reconstruction from Explicit Gaussians with Implicit SDFs [84.07233691641193]
  G2SDFはニューラル暗黙の符号付き距離場をガウススプラッティングフレームワークに統合する新しいアプローチである。 G2SDFは, 3DGSの効率を維持しつつ, 従来よりも優れた品質を実現する。
  論文  参考訳（メタデータ） (2024-11-25T20:07:07Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• MVGS: Multi-view-regulated Gaussian Splatting for Novel View Synthesis [22.80370814838661]
  ボリュームレンダリングにおける最近の研究、例えばNeRFや3D Gaussian Splatting (3DGS)は、レンダリング品質と効率を大幅に向上させた。 4つの重要な貢献を具現化した新しい3DGS最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-10-02T23:48:31Z)
• Implicit Gaussian Splatting with Efficient Multi-Level Tri-Plane Representation [45.582869951581785]
  Implicit Gaussian Splatting (IGS)は、明示的なポイントクラウドと暗黙的な機能埋め込みを統合する革新的なハイブリッドモデルである。 本稿では,空間正規化を具体化したレベルベースプログレッシブトレーニング手法を提案する。 我々のアルゴリズムは、数MBしか使用せず、ストレージ効率とレンダリング忠実さを効果的にバランスして、高品質なレンダリングを実現することができる。
  論文  参考訳（メタデータ） (2024-08-19T14:34:17Z)
• S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
  外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。 本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T11:40:49Z)
• Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
  ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。 我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。 提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
  論文  参考訳（メタデータ） (2024-02-07T12:36:54Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。