論文の概要: Bits-to-Photon: End-to-End Learned Scalable Point Cloud Compression for Direct Rendering
- arxiv url: http://arxiv.org/abs/2406.05915v1
- Date: Sun, 9 Jun 2024 20:58:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 15:25:59.351890
- Title: Bits-to-Photon: End-to-End Learned Scalable Point Cloud Compression for Direct Rendering
- Title（参考訳）: Bits-to-Photon: 直接レンダリングのためのエンドツーエンド学習型スケーラブルポイントクラウド圧縮
- Authors: Yueyu Hu, Ran Gong, Yao Wang,
- Abstract要約: 我々は,レンダリング可能な3Dガウスアンに直接デコード可能なビットストリームを生成するポイントクラウド圧縮スキームを開発した。
提案手法はスケーラブルなビットストリームを生成し,異なるビットレート範囲で複数の詳細レベルを実現する。
提案手法は,高品質な点雲のリアルタイムカラーデコーディングとレンダリングをサポートし,自由視点でインタラクティブな3Dストリーミングアプリケーションを実現する。
- 参考スコア（独自算出の注目度）: 10.662358423042274
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Point cloud is a promising 3D representation for volumetric streaming in emerging AR/VR applications. Despite recent advances in point cloud compression, decoding and rendering high-quality images from lossy compressed point clouds is still challenging in terms of quality and complexity, making it a major roadblock to achieve real-time 6-Degree-of-Freedom video streaming. In this paper, we address this problem by developing a point cloud compression scheme that generates a bit stream that can be directly decoded to renderable 3D Gaussians. The encoder and decoder are jointly optimized to consider both bit-rates and rendering quality. It significantly improves the rendering quality while substantially reducing decoding and rendering time, compared to existing point cloud compression methods. Furthermore, the proposed scheme generates a scalable bit stream, allowing multiple levels of details at different bit-rate ranges. Our method supports real-time color decoding and rendering of high quality point clouds, thus paving the way for interactive 3D streaming applications with free view points.
- Abstract（参考訳）: ポイントクラウドは、新興AR/VRアプリケーションにおけるボリュームストリーミングのための有望な3D表現である。
ポイントクラウド圧縮の最近の進歩にもかかわらず、圧縮された圧縮されたポイントクラウドから高品質なイメージをデコードしてレンダリングすることは、品質と複雑さという点で依然として困難であり、リアルタイムの6自由度ビデオストリーミングを実現するための大きな障害となっている。
本稿では,レンダリング可能な3Dガウスアンに直接デコード可能なビットストリームを生成するポイントクラウド圧縮スキームを開発することにより,この問題に対処する。
エンコーダとデコーダは、ビットレートとレンダリング品質の両方を考慮するように共同最適化されている。
既存のポイントクラウド圧縮手法と比較して、デコードやレンダリング時間を大幅に削減しながら、レンダリング品質を大幅に改善する。
さらに、提案手法はスケーラブルなビットストリームを生成し、異なるビットレート範囲で複数の詳細レベルを実現する。
提案手法は,高品質な点雲のリアルタイムカラーデコーディングとレンダリングをサポートし,自由視点でインタラクティブな3Dストリーミングアプリケーションを実現する。
関連論文リスト
- Rendering-Oriented 3D Point Cloud Attribute Compression using Sparse Tensor-based Transformer [52.40992954884257]
3D視覚化技術は、私たちがデジタルコンテンツと対話する方法を根本的に変えてきた。
ポイントクラウドの大規模データサイズは、データ圧縮において大きな課題を呈している。
そこで我々はPCACと差別化可能なレンダリングをシームレスに統合するエンドツーエンドのディープラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-12T16:12:51Z) - Low Latency Point Cloud Rendering with Learned Splatting [24.553459204476432]
点のばらつきと不規則さのため、点雲の高品質なレンダリングは困難である。
既存のレンダリングソリューションには、品質とスピードのどちらかが欠けている。
対話的,自由なビューング,高忠実度クラウドレンダリングを実現するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-24T23:26:07Z) - 3D Point Cloud Compression with Recurrent Neural Network and Image
Compression Methods [0.0]
多くのAVアプリケーションでは、LiDARポイントクラウドデータの保存と送信が不可欠である。
データの幅と秩序のない構造のため、ポイントクラウドデータを低ボリュームに圧縮することは困難である。
圧縮アルゴリズムが空間相関を効率的に活用できる新しい3D-to-2D変換を提案する。
論文 参考訳（メタデータ） (2024-02-18T19:08:19Z) - TriVol: Point Cloud Rendering via Triple Volumes [57.305748806545026]
我々は,高密度かつ軽量な3D表現であるTriVolをNeRFと組み合わせて,点雲から写実的な画像を描画する。
我々のフレームワークは、微調整なしでシーン/オブジェクトのカテゴリを描画できる優れた一般化能力を持っている。
論文 参考訳（メタデータ） (2023-03-29T06:34:12Z) - Point2Pix: Photo-Realistic Point Cloud Rendering via Neural Radiance
Fields [63.21420081888606]
最近の放射場と拡張法は、2次元入力から現実的な画像を合成するために提案されている。
我々は3次元スパース点雲と2次元高密度画像画素を結びつけるための新しい点としてPoint2Pixを提示する。
論文 参考訳（メタデータ） (2023-03-29T06:26:55Z) - Ponder: Point Cloud Pre-training via Neural Rendering [93.34522605321514]
本稿では,識別可能なニューラルエンコーダによる点雲表現の自己教師型学習手法を提案する。
学習したポイントクラウドは、3D検出やセグメンテーションといったハイレベルなレンダリングタスクだけでなく、3D再構成や画像レンダリングといった低レベルなタスクを含む、さまざまなダウンストリームタスクに簡単に統合できる。
論文 参考訳（メタデータ） (2022-12-31T08:58:39Z) - IPDAE: Improved Patch-Based Deep Autoencoder for Lossy Point Cloud
Geometry Compression [11.410441760314564]
パッチベースのポイントクラウド圧縮の大幅な改善を提案する。
改良されたパッチベースのオートエンコーダは、速度歪み性能の点で最先端よりも優れていることを示す実験結果が得られた。
論文 参考訳（メタデータ） (2022-08-04T08:12:35Z) - SoftPool++: An Encoder-Decoder Network for Point Cloud Completion [93.54286830844134]
本稿では,ポイントクラウド完了作業のための新しい畳み込み演算子を提案する。
提案した演算子は、最大プールやボキセル化操作を一切必要としない。
提案手法は,低解像度・高解像度の形状仕上げにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2022-05-08T15:31:36Z) - Variable Rate Compression for Raw 3D Point Clouds [5.107705550575662]
そこで本研究では,生の3Dポイントクラウドデータを用いた新しい可変レート深部圧縮アーキテクチャを提案する。
我々のネットワークは、ポイントクラウドを明示的に処理し、圧縮された記述を生成することができる。
論文 参考訳（メタデータ） (2022-02-28T15:15:39Z) - Patch-Based Deep Autoencoder for Point Cloud Geometry Compression [8.44208490359453]
本稿では,ディープラーニングを用いたパッチベースの圧縮プロセスを提案する。
私たちはポイントクラウドをパッチに分割し、各パッチを個別に圧縮します。
復号処理では、最終的に圧縮されたパッチを完全な点クラウドに組み立てる。
論文 参考訳（メタデータ） (2021-10-18T08:59:57Z) - Learning for Video Compression with Hierarchical Quality and Recurrent
Enhancement [164.7489982837475]
本稿では,階層型ビデオ圧縮(HLVC)手法を提案する。
我々のHLVCアプローチでは、エンコーダ側とデコーダ側の低品質フレームの圧縮と強化を容易にするため、階層的品質は符号化効率の恩恵を受ける。
論文 参考訳（メタデータ） (2020-03-04T09:31:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。