論文の概要: TRIPS: Trilinear Point Splatting for Real-Time Radiance Field Rendering
- arxiv url: http://arxiv.org/abs/2401.06003v1
- Date: Thu, 11 Jan 2024 16:06:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-12 13:43:03.761197
- Title: TRIPS: Trilinear Point Splatting for Real-Time Radiance Field Rendering
- Title（参考訳）: trips:リアルタイムラミアンスフィールドレンダリングのためのトリリニア点スプレーティング
- Authors: Linus Franke, Darius R\"uckert, Laura Fink, Marc Stamminger
- Abstract要約: 本稿では,ガウス版とADOP版の両方のアイデアを組み合わせたTRIPS(Trilinear Splatting)を提案する。
次に、軽量ニューラルネットワークを使用して、スプラッター解像度を超える詳細を含む、ホールフリーなイメージを再構築する。
本評価は, リアルタイムフレームレートを60フレーム/秒に維持しつつ, レンダリング品質の観点から, TRIPSが既存の最先端手法を超越していることを示す。
- 参考スコア（独自算出の注目度）: 4.962171160815189
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Point-based radiance field rendering has demonstrated impressive results for
novel view synthesis, offering a compelling blend of rendering quality and
computational efficiency. However, also latest approaches in this domain are
not without their shortcomings. 3D Gaussian Splatting [Kerbl and Kopanas et al.
2023] struggles when tasked with rendering highly detailed scenes, due to
blurring and cloudy artifacts. On the other hand, ADOP [R\"uckert et al. 2022]
can accommodate crisper images, but the neural reconstruction network decreases
performance, it grapples with temporal instability and it is unable to
effectively address large gaps in the point cloud.
In this paper, we present TRIPS (Trilinear Point Splatting), an approach that
combines ideas from both Gaussian Splatting and ADOP. The fundamental concept
behind our novel technique involves rasterizing points into a screen-space
image pyramid, with the selection of the pyramid layer determined by the
projected point size. This approach allows rendering arbitrarily large points
using a single trilinear write. A lightweight neural network is then used to
reconstruct a hole-free image including detail beyond splat resolution.
Importantly, our render pipeline is entirely differentiable, allowing for
automatic optimization of both point sizes and positions.
Our evaluation demonstrate that TRIPS surpasses existing state-of-the-art
methods in terms of rendering quality while maintaining a real-time frame rate
of 60 frames per second on readily available hardware. This performance extends
to challenging scenarios, such as scenes featuring intricate geometry,
expansive landscapes, and auto-exposed footage.
- Abstract（参考訳）: 点ベースの放射場レンダリングは、新しいビュー合成の印象的な結果を示し、レンダリング品質と計算効率のブレンドを提供する。
しかし、このドメインにおける最新のアプローチには欠点がないわけではない。
3D Gaussian Splatting [Kerbl and Kopanas et al. 2023]は、ぼやけや曇りのアーティファクトのために、非常に詳細なシーンをレンダリングする作業に苦労している。
一方、adop [r\"uckert et al. 2022] はより鮮明な画像に対応できるが、ニューラルネットワークは性能を低下させ、時間的不安定さに陥り、ポイントクラウドの大きなギャップに効果的に対応できない。
本稿では,ガウス版とADOP版の両方のアイデアを組み合わせたTRIPS(Trilinear Point Splatting)を提案する。
提案手法の背後にある基本的な概念は,スクリーン空間像ピラミッドに点をラスタライズし,投影された点の大きさでピラミッド層を選択することである。
このアプローチでは、1つのトリ線形書き込みを使って任意の大きなポイントをレンダリングできる。
次に、軽量ニューラルネットワークを使用して、スプラッター解像度を超える詳細を含む穴のないイメージを再構築する。
重要なことに、レンダリングパイプラインは完全に微分可能で、ポイントサイズと位置の両方を自動的に最適化できます。
本評価は, リアルタイムフレームレートを60フレーム/秒に維持しつつ, レンダリング品質の観点から, TRIPSが既存の最先端手法を上回ることを示す。
このパフォーマンスは、複雑な幾何学、広大な風景、自動露光映像など、困難なシナリオにまで拡張されている。
関連論文リスト
- EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。
3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。
本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
論文 参考訳（メタデータ） (2024-10-02T17:59:09Z) - Low Latency Point Cloud Rendering with Learned Splatting [24.553459204476432]
点のばらつきと不規則さのため、点雲の高品質なレンダリングは困難である。
既存のレンダリングソリューションには、品質とスピードのどちらかが欠けている。
対話的,自由なビューング,高忠実度クラウドレンダリングを実現するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-24T23:26:07Z) - PFGS: High Fidelity Point Cloud Rendering via Feature Splatting [5.866747029417274]
スパースポイントから高品質な画像をレンダリングする新しいフレームワークを提案する。
この手法はまず3次元ガウス格子と点雲のレンダリングを橋渡しする。
異なるベンチマーク実験により、レンダリング品質と主成分の必要性の観点から、我々の手法の優位性を示す。
論文 参考訳（メタデータ） (2024-07-04T11:42:54Z) - Volumetric Rendering with Baked Quadrature Fields [34.280932843055446]
テクスチャ化された多角形を利用して高速な推論を可能にする,不透明なシーンのための新しい表現を提案する。
提案手法は,1920times1080$画像に対して,100フレーム/秒以上のレンダリング速度を実現するため,既存のグラフィックスフレームワークと容易に統合できる。
論文 参考訳（メタデータ） (2023-12-02T20:45:18Z) - PERF: Panoramic Neural Radiance Field from a Single Panorama [109.31072618058043]
PERFはパノラマ性神経放射場を1つのパノラマから訓練する新しいビュー合成フレームワークである。
本研究では,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBDインペイント法とプログレッシブ・インペイント・アンド・エラスティング法を提案する。
PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
論文 参考訳（メタデータ） (2023-10-25T17:59:01Z) - TriVol: Point Cloud Rendering via Triple Volumes [57.305748806545026]
我々は,高密度かつ軽量な3D表現であるTriVolをNeRFと組み合わせて,点雲から写実的な画像を描画する。
我々のフレームワークは、微調整なしでシーン/オブジェクトのカテゴリを描画できる優れた一般化能力を持っている。
論文 参考訳（メタデータ） (2023-03-29T06:34:12Z) - Point2Pix: Photo-Realistic Point Cloud Rendering via Neural Radiance
Fields [63.21420081888606]
最近の放射場と拡張法は、2次元入力から現実的な画像を合成するために提案されている。
我々は3次元スパース点雲と2次元高密度画像画素を結びつけるための新しい点としてPoint2Pixを提示する。
論文 参考訳（メタデータ） (2023-03-29T06:26:55Z) - View Synthesis with Sculpted Neural Points [64.40344086212279]
暗黙の神経表現は印象的な視覚的品質を達成したが、計算効率に欠点がある。
本稿では,点雲を用いたビュー合成を行う新しい手法を提案する。
レンダリング速度を100倍以上速くしながら、NeRFよりも視覚的品質を向上する最初のポイントベース手法である。
論文 参考訳（メタデータ） (2022-05-12T03:54:35Z) - Z2P: Instant Rendering of Point Clouds [104.1186026323896]
ニューラルネットワークを用いて点雲をレンダリングする手法を提案する。
既存のポイントレンダリング技術は、スプレイティングを使用するか、最初にレンダリング可能な表面メッシュを再構築する。
論文 参考訳（メタデータ） (2021-05-30T13:58:24Z) - DeRF: Decomposed Radiance Fields [30.784481193893345]
本稿では,この問題を緩和できる空間分解に基づく手法を提案する。
本稿では,この目的のためにヴォロノイ空間分解が望ましいことを示す。
実験の結果,実世界のシーンでは,NeRFよりも3倍効率の良い推論が可能であることがわかった。
論文 参考訳（メタデータ） (2020-11-25T02:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。