論文の概要: TRIPS: Trilinear Point Splatting for Real-Time Radiance Field Rendering

• arxiv url: http://arxiv.org/abs/2401.06003v2
• Date: Tue, 26 Mar 2024 16:30:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 22:03:36.203477
• Title: TRIPS: Trilinear Point Splatting for Real-Time Radiance Field Rendering
• Title（参考訳）: TRIPS: リアルタイムラジアンスフィールドレンダリングのためのトリリニアポイントスプラッティング
• Authors: Linus Franke, Darius Rückert, Laura Fink, Marc Stamminger,
• Abstract要約: 本稿では,ガウス版とADOP版の両方のアイデアを組み合わせたTRIPS(Trilinear Splatting)を提案する。 評価の結果,TRIPS はレンダリング品質の点で既存の最先端手法を超越していることがわかった。 このパフォーマンスは、複雑な幾何学、広大な風景、自動露光映像など、困難なシナリオにまで拡張されている。
• 参考スコア（独自算出の注目度）: 6.142272540492937
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Point-based radiance field rendering has demonstrated impressive results for novel view synthesis, offering a compelling blend of rendering quality and computational efficiency. However, also latest approaches in this domain are not without their shortcomings. 3D Gaussian Splatting [Kerbl and Kopanas et al. 2023] struggles when tasked with rendering highly detailed scenes, due to blurring and cloudy artifacts. On the other hand, ADOP [R\"uckert et al. 2022] can accommodate crisper images, but the neural reconstruction network decreases performance, it grapples with temporal instability and it is unable to effectively address large gaps in the point cloud. In this paper, we present TRIPS (Trilinear Point Splatting), an approach that combines ideas from both Gaussian Splatting and ADOP. The fundamental concept behind our novel technique involves rasterizing points into a screen-space image pyramid, with the selection of the pyramid layer determined by the projected point size. This approach allows rendering arbitrarily large points using a single trilinear write. A lightweight neural network is then used to reconstruct a hole-free image including detail beyond splat resolution. Importantly, our render pipeline is entirely differentiable, allowing for automatic optimization of both point sizes and positions. Our evaluation demonstrate that TRIPS surpasses existing state-of-the-art methods in terms of rendering quality while maintaining a real-time frame rate of 60 frames per second on readily available hardware. This performance extends to challenging scenarios, such as scenes featuring intricate geometry, expansive landscapes, and auto-exposed footage. The project page is located at: https://lfranke.github.io/trips/
• Abstract（参考訳）: 点ベースのラジアンス場レンダリングは、新しいビュー合成の印象的な結果を示し、レンダリング品質と計算効率の魅力的なブレンドを提供する。 しかし、この領域の最新のアプローチにも欠点がある。 3D Gaussian Splatting [Kerbl and Kopanas et al 2023]は、ぼやけや曇りのアーティファクトのために、非常に詳細なシーンをレンダリングする作業に苦労している。 一方、ADOP[R\"uckert et al 2022]はクリッパー画像に対応できるが、ニューラル再構成ネットワークは性能を低下させ、時間的不安定を伴い、ポイントクラウドにおける大きなギャップに効果的に対処できない。 本稿では,ガウス版とADOP版の両方のアイデアを組み合わせたTRIPS(Trilinear Point Splatting)を提案する。 我々の新しい技術の背後にある基本的な概念は、投影された点の大きさによって決定されるピラミッド層の選択によって、点をスクリーン空間の画像ピラミッドにラスタライズすることである。 このアプローチにより、任意の大きなポイントを1つのトリ線形書き込みを使ってレンダリングできる。 次に、軽量ニューラルネットワークを使用して、スプラッター解像度を超える詳細を含む、ホールフリーなイメージを再構築する。 重要なことは、レンダリングパイプラインは完全に微分可能であり、ポイントサイズと位置の両方の自動最適化を可能にします。 本評価は, リアルタイムフレームレートを60フレーム/秒に維持しつつ, レンダリング品質の観点から, TRIPSが既存の最先端手法を超越していることを示す。 このパフォーマンスは、複雑な幾何学、広大な風景、自動露光映像など、困難なシナリオにまで拡張されている。 プロジェクトページは以下の通り。

関連論文リスト

• EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
  実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。 3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。 本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
  論文  参考訳（メタデータ） (2024-10-02T17:59:09Z)
• Low Latency Point Cloud Rendering with Learned Splatting [24.553459204476432]
  点のばらつきと不規則さのため、点雲の高品質なレンダリングは困難である。 既存のレンダリングソリューションには、品質とスピードのどちらかが欠けている。 対話的,自由なビューング,高忠実度クラウドレンダリングを実現するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T23:26:07Z)
• PFGS: High Fidelity Point Cloud Rendering via Feature Splatting [5.866747029417274]
  スパースポイントから高品質な画像をレンダリングする新しいフレームワークを提案する。 この手法はまず3次元ガウス格子と点雲のレンダリングを橋渡しする。 異なるベンチマーク実験により、レンダリング品質と主成分の必要性の観点から、我々の手法の優位性を示す。
  論文  参考訳（メタデータ） (2024-07-04T11:42:54Z)
• Volumetric Rendering with Baked Quadrature Fields [34.280932843055446]
  テクスチャ化された多角形を利用して高速な推論を可能にする,不透明なシーンのための新しい表現を提案する。 提案手法は,1920times1080$画像に対して,100フレーム/秒以上のレンダリング速度を実現するため,既存のグラフィックスフレームワークと容易に統合できる。
  論文  参考訳（メタデータ） (2023-12-02T20:45:18Z)
• PERF: Panoramic Neural Radiance Field from a Single Panorama [109.31072618058043]
  PERFはパノラマ性神経放射場を1つのパノラマから訓練する新しいビュー合成フレームワークである。 本研究では,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBDインペイント法とプログレッシブ・インペイント・アンド・エラスティング法を提案する。 PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
  論文  参考訳（メタデータ） (2023-10-25T17:59:01Z)
• TriVol: Point Cloud Rendering via Triple Volumes [57.305748806545026]
  我々は,高密度かつ軽量な3D表現であるTriVolをNeRFと組み合わせて,点雲から写実的な画像を描画する。 我々のフレームワークは、微調整なしでシーン/オブジェクトのカテゴリを描画できる優れた一般化能力を持っている。
  論文  参考訳（メタデータ） (2023-03-29T06:34:12Z)
• Point2Pix: Photo-Realistic Point Cloud Rendering via Neural Radiance Fields [63.21420081888606]
  最近の放射場と拡張法は、2次元入力から現実的な画像を合成するために提案されている。 我々は3次元スパース点雲と2次元高密度画像画素を結びつけるための新しい点としてPoint2Pixを提示する。
  論文  参考訳（メタデータ） (2023-03-29T06:26:55Z)
• View Synthesis with Sculpted Neural Points [64.40344086212279]
  暗黙の神経表現は印象的な視覚的品質を達成したが、計算効率に欠点がある。 本稿では,点雲を用いたビュー合成を行う新しい手法を提案する。 レンダリング速度を100倍以上速くしながら、NeRFよりも視覚的品質を向上する最初のポイントベース手法である。
  論文  参考訳（メタデータ） (2022-05-12T03:54:35Z)
• Z2P: Instant Rendering of Point Clouds [104.1186026323896]
  ニューラルネットワークを用いて点雲をレンダリングする手法を提案する。 既存のポイントレンダリング技術は、スプレイティングを使用するか、最初にレンダリング可能な表面メッシュを再構築する。
  論文  参考訳（メタデータ） (2021-05-30T13:58:24Z)
• DeRF: Decomposed Radiance Fields [30.784481193893345]
  本稿では,この問題を緩和できる空間分解に基づく手法を提案する。 本稿では,この目的のためにヴォロノイ空間分解が望ましいことを示す。 実験の結果,実世界のシーンでは,NeRFよりも3倍効率の良い推論が可能であることがわかった。
  論文  参考訳（メタデータ） (2020-11-25T02:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。