論文の概要: Low Latency Point Cloud Rendering with Learned Splatting

• arxiv url: http://arxiv.org/abs/2409.16504v1
• Date: Tue, 24 Sep 2024 23:26:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 06:06:51.364203
• Title: Low Latency Point Cloud Rendering with Learned Splatting
• Title（参考訳）: 学習スプラッティングによる低レイテンシクラウドレンダリング
• Authors: Yueyu Hu, Ran Gong, Qi Sun, Yao Wang,
• Abstract要約: 点のばらつきと不規則さのため、点雲の高品質なレンダリングは困難である。 既存のレンダリングソリューションには、品質とスピードのどちらかが欠けている。 対話的,自由なビューング,高忠実度クラウドレンダリングを実現するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 24.553459204476432
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Point cloud is a critical 3D representation with many emerging applications. Because of the point sparsity and irregularity, high-quality rendering of point clouds is challenging and often requires complex computations to recover the continuous surface representation. On the other hand, to avoid visual discomfort, the motion-to-photon latency has to be very short, under 10 ms. Existing rendering solutions lack in either quality or speed. To tackle these challenges, we present a framework that unlocks interactive, free-viewing and high-fidelity point cloud rendering. We train a generic neural network to estimate 3D elliptical Gaussians from arbitrary point clouds and use differentiable surface splatting to render smooth texture and surface normal for arbitrary views. Our approach does not require per-scene optimization, and enable real-time rendering of dynamic point cloud. Experimental results demonstrate the proposed solution enjoys superior visual quality and speed, as well as generalizability to different scene content and robustness to compression artifacts. The code is available at https://github.com/huzi96/gaussian-pcloud-render .
• Abstract（参考訳）: ポイントクラウドは多くの新興アプリケーションで重要な3D表現である。 点の間隔と不規則性のため、点雲の高品質なレンダリングは困難であり、しばしば連続した表面表現を復元するために複雑な計算を必要とする。 一方、視覚的な不快を避けるために、モーション・ツー・フォトンのレイテンシは10ミリ秒以下で非常に短くなければならない。 これらの課題に対処するため、インタラクティブで、フリービューで、高忠実なポイントクラウドレンダリングを可能にするフレームワークを提案する。 我々は、任意の点雲から3次元楕円型ガウスを推定するために汎用ニューラルネットワークを訓練し、スムーズなテクスチャや表面を任意視するために微分可能な表面スプラッティングを用いている。 我々のアプローチはシーンごとの最適化を必要とせず、動的ポイントクラウドのリアルタイムレンダリングを可能にする。 実験により,提案手法は視覚的品質と速度に優れ,シーン内容の相違や圧縮アーチファクトの堅牢性にも優れることを示した。 コードはhttps://github.com/huzi96/gaussian-pcloud-render で公開されている。

関連論文リスト

• Bits-to-Photon: End-to-End Learned Scalable Point Cloud Compression for Direct Rendering [10.662358423042274]
  我々は,レンダリング可能な3Dガウスアンに直接デコード可能なビットストリームを生成するポイントクラウド圧縮スキームを開発した。 提案手法はスケーラブルなビットストリームを生成し,異なるビットレート範囲で複数の詳細レベルを実現する。 提案手法は,高品質な点雲のリアルタイムカラーデコーディングとレンダリングをサポートし,自由視点でインタラクティブな3Dストリーミングアプリケーションを実現する。
  論文  参考訳（メタデータ） (2024-06-09T20:58:32Z)
• GPN: Generative Point-based NeRF [0.65268245109828]
  我々は,部分的な雲を復元し,修復するために生成点ベースのNeRF (GPN) を提案する。 補修された点雲は、高空間分解能で撮像された画像との多視点整合を達成することができる。
  論文  参考訳（メタデータ） (2024-04-12T08:14:17Z)
• TriVol: Point Cloud Rendering via Triple Volumes [57.305748806545026]
  我々は,高密度かつ軽量な3D表現であるTriVolをNeRFと組み合わせて,点雲から写実的な画像を描画する。 我々のフレームワークは、微調整なしでシーン/オブジェクトのカテゴリを描画できる優れた一般化能力を持っている。
  論文  参考訳（メタデータ） (2023-03-29T06:34:12Z)
• Point2Pix: Photo-Realistic Point Cloud Rendering via Neural Radiance Fields [63.21420081888606]
  最近の放射場と拡張法は、2次元入力から現実的な画像を合成するために提案されている。 我々は3次元スパース点雲と2次元高密度画像画素を結びつけるための新しい点としてPoint2Pixを提示する。
  論文  参考訳（メタデータ） (2023-03-29T06:26:55Z)
• Ponder: Point Cloud Pre-training via Neural Rendering [93.34522605321514]
  本稿では,識別可能なニューラルエンコーダによる点雲表現の自己教師型学習手法を提案する。 学習したポイントクラウドは、3D検出やセグメンテーションといったハイレベルなレンダリングタスクだけでなく、3D再構成や画像レンダリングといった低レベルなタスクを含む、さまざまなダウンストリームタスクに簡単に統合できる。
  論文  参考訳（メタデータ） (2022-12-31T08:58:39Z)
• GRASP-Net: Geometric Residual Analysis and Synthesis for Point Cloud Compression [16.98171403698783]
  損失点クラウド幾何圧縮のための深層学習を用いた異種アプローチを提案する。 具体的には、粗い点雲上に存在する不規則な特徴に局所的詳細を変換するために、点ベースネットワークを適用する。
  論文  参考訳（メタデータ） (2022-09-09T17:09:02Z)
• IDEA-Net: Dynamic 3D Point Cloud Interpolation via Deep Embedding Alignment [58.8330387551499]
  我々は、点方向軌跡(すなわち滑らかな曲線)の推定として問題を定式化する。 本稿では,学習した時間的一貫性の助けを借りて問題を解消する,エンドツーエンドのディープラーニングフレームワークであるIDEA-Netを提案する。 各種点群における本手法の有効性を実証し, 定量的かつ視覚的に, 最先端の手法に対する大幅な改善を観察する。
  論文  参考訳（メタデータ） (2022-03-22T10:14:08Z)
• Z2P: Instant Rendering of Point Clouds [104.1186026323896]
  ニューラルネットワークを用いて点雲をレンダリングする手法を提案する。 既存のポイントレンダリング技術は、スプレイティングを使用するか、最初にレンダリング可能な表面メッシュを再構築する。
  論文  参考訳（メタデータ） (2021-05-30T13:58:24Z)
• HyperPocket: Generative Point Cloud Completion [19.895219420937938]
  遅延表現をアンタングルするHyperPocketという,新しいオートエンコーダベースのアーキテクチャを導入する。 ハイパーネットワークのパラダイムを活用して、欠落したオブジェクト部分によって残された、ポケットと呼ばれる空間を埋めます。 我々の手法は、他の最先端モデルと競合する性能を提供する。
  論文  参考訳（メタデータ） (2021-02-11T12:30:03Z)
• Pseudo-LiDAR Point Cloud Interpolation Based on 3D Motion Representation and Spatial Supervision [68.35777836993212]
  我々はPseudo-LiDAR点雲ネットワークを提案し、時間的および空間的に高品質な点雲列を生成する。 点雲間のシーンフローを活用することにより,提案ネットワークは3次元空間運動関係のより正確な表現を学習することができる。
  論文  参考訳（メタデータ） (2020-06-20T03:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。