論文の概要: Rendering-Oriented 3D Point Cloud Attribute Compression using Sparse Tensor-based Transformer
- arxiv url: http://arxiv.org/abs/2411.07899v1
- Date: Tue, 12 Nov 2024 16:12:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-13 13:20:28.984129
- Title: Rendering-Oriented 3D Point Cloud Attribute Compression using Sparse Tensor-based Transformer
- Title（参考訳）: Sparse Tensor-based Transformer を用いたレンダリング指向3次元クラウド属性圧縮
- Authors: Xiao Huo, Junhui Ho, Shuai Wan, Fuzheng Yang,
- Abstract要約: 3D視覚化技術は、私たちがデジタルコンテンツと対話する方法を根本的に変えてきた。
ポイントクラウドの大規模データサイズは、データ圧縮において大きな課題を呈している。
そこで我々はPCACと差別化可能なレンダリングをシームレスに統合するエンドツーエンドのディープラーニングフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 10.925215803132332
- License:
- Abstract: The evolution of 3D visualization techniques has fundamentally transformed how we interact with digital content. At the forefront of this change is point cloud technology, offering an immersive experience that surpasses traditional 2D representations. However, the massive data size of point clouds presents significant challenges in data compression. Current methods for lossy point cloud attribute compression (PCAC) generally focus on reconstructing the original point clouds with minimal error. However, for point cloud visualization scenarios, the reconstructed point clouds with distortion still need to undergo a complex rendering process, which affects the final user-perceived quality. In this paper, we propose an end-to-end deep learning framework that seamlessly integrates PCAC with differentiable rendering, denoted as rendering-oriented PCAC (RO-PCAC), directly targeting the quality of rendered multiview images for viewing. In a differentiable manner, the impact of the rendering process on the reconstructed point clouds is taken into account. Moreover, we characterize point clouds as sparse tensors and propose a sparse tensor-based transformer, called SP-Trans. By aligning with the local density of the point cloud and utilizing an enhanced local attention mechanism, SP-Trans captures the intricate relationships within the point cloud, further improving feature analysis and synthesis within the framework. Extensive experiments demonstrate that the proposed RO-PCAC achieves state-of-the-art compression performance, compared to existing reconstruction-oriented methods, including traditional, learning-based, and hybrid methods.
- Abstract（参考訳）: 3D視覚化技術の進化は、デジタルコンテンツとのインタラクションの仕方を根本的に変えた。
この変化の最前線はポイントクラウド技術であり、従来の2D表現を超越した没入的な体験を提供する。
しかし、ポイントクラウドの膨大なデータサイズは、データ圧縮において大きな課題をもたらしている。
損失点クラウド属性圧縮(PCAC)の現在の手法は、一般的に、最小限のエラーで元の点クラウドを再構築することに焦点を当てている。
しかし、ポイントクラウドの視覚化シナリオでは、歪みのある再構成されたポイントクラウドは、最終的なユーザ認識の品質に影響を与える複雑なレンダリングプロセスを実行する必要がある。
本稿では,レンダリング指向型PCAC (RO-PCAC) と表現されたPCACをシームレスに統合したエンドツーエンドのディープラーニングフレームワークを提案する。
異なる方法では、再構成された点雲に対するレンダリングプロセスの影響を考慮する。
さらに,点雲をスパーステンソルとして特徴付け,SP-Transと呼ばれるスパーステンソルベースの変圧器を提案する。
SP-Transは、ポイントクラウドの局所密度に整合し、強化されたローカルアテンションメカニズムを利用することで、ポイントクラウド内の複雑な関係をキャプチャし、フレームワーク内の機能解析と合成をさらに改善する。
RO-PCACは従来型,学習型,ハイブリッド型など,従来の再構築指向の手法と比較して,最先端の圧縮性能を実現している。
関連論文リスト
- Point Cloud Compression with Implicit Neural Representations: A Unified Framework [54.119415852585306]
我々は幾何学と属性の両方を扱える先駆的なクラウド圧縮フレームワークを提案する。
本フレームワークでは,2つの座標ベースニューラルネットワークを用いて,voxelized point cloudを暗黙的に表現する。
本手法は,既存の学習手法と比較して,高い普遍性を示す。
論文 参考訳（メタデータ） (2024-05-19T09:19:40Z) - PIVOT-Net: Heterogeneous Point-Voxel-Tree-based Framework for Point
Cloud Compression [8.778300313732027]
異種クラウド圧縮(PCC)フレームワークを提案する。
私たちは、典型的なポイントクラウド表現 -- ポイントベース、ボクセルベース、ツリーベース表現 -- と関連するバックボーンを統一します。
本稿では,デコードのためのコンテキスト対応アップサンプリングと,機能集約のための拡張ボクセルトランスフォーマーによりフレームワークを増強する。
論文 参考訳（メタデータ） (2024-02-11T16:57:08Z) - Geometric Prior Based Deep Human Point Cloud Geometry Compression [67.49785946369055]
我々は、点雲の幾何学的冗長性除去に先立って、人間の幾何学的手法を利用する。
高分解能な人点雲を幾何学的先行と構造的偏差の組み合わせとして考えることができる。
提案フレームワークは,既存の学習ベースポイントクラウド圧縮手法を用いて,プレイ・アンド・プラグ方式で動作可能である。
論文 参考訳（メタデータ） (2023-05-02T10:35:20Z) - EPCL: Frozen CLIP Transformer is An Efficient Point Cloud Encoder [60.52613206271329]
本稿では,冷凍CLIP変換器を用いて高品質のクラウドモデルをトレーニングするための textbfEfficient textbfPoint textbfCloud textbfLearning (EPCL) を提案する。
我々のEPCLは、2D-3Dデータをペア化せずに画像の特徴と点雲の特徴を意味的に整合させることで、2Dと3Dのモダリティを接続する。
論文 参考訳（メタデータ） (2022-12-08T06:27:11Z) - GRASP-Net: Geometric Residual Analysis and Synthesis for Point Cloud
Compression [16.98171403698783]
損失点クラウド幾何圧縮のための深層学習を用いた異種アプローチを提案する。
具体的には、粗い点雲上に存在する不規則な特徴に局所的詳細を変換するために、点ベースネットワークを適用する。
論文 参考訳（メタデータ） (2022-09-09T17:09:02Z) - IPDAE: Improved Patch-Based Deep Autoencoder for Lossy Point Cloud
Geometry Compression [11.410441760314564]
パッチベースのポイントクラウド圧縮の大幅な改善を提案する。
改良されたパッチベースのオートエンコーダは、速度歪み性能の点で最先端よりも優れていることを示す実験結果が得られた。
論文 参考訳（メタデータ） (2022-08-04T08:12:35Z) - Variable Rate Compression for Raw 3D Point Clouds [5.107705550575662]
そこで本研究では,生の3Dポイントクラウドデータを用いた新しい可変レート深部圧縮アーキテクチャを提案する。
我々のネットワークは、ポイントクラウドを明示的に処理し、圧縮された記述を生成することができる。
論文 参考訳（メタデータ） (2022-02-28T15:15:39Z) - PU-Transformer: Point Cloud Upsampling Transformer [38.05362492645094]
我々は、疎入力データから高密度高忠実点雲を生成することを目的とした点群アップサンプリングタスクに焦点をあてる。
具体的には,特徴表現における変換器の強みを活性化するために,多頭部自己注意構造の新しい変種を開発する。
我々は,従来のCNN手法と比較し,提案手法の優れた性能を示す。
論文 参考訳（メタデータ） (2021-11-24T03:25:35Z) - Deep Point Cloud Reconstruction [74.694733918351]
3Dスキャンから得られる点雲は、しばしばスパース、ノイズ、不規則である。
これらの問題に対処するため、最近の研究は別々に行われ、不正確な点雲を密度化、復調し、完全な不正確な点雲を観測している。
本研究では,1) 初期密度化とデノナイズのための3次元スパース集積時間ガラスネットワーク,2) 離散ボクセルを3Dポイントに変換するトランスフォーマーによる改良,の2段階からなる深部点雲再構成ネットワークを提案する。
論文 参考訳（メタデータ） (2021-11-23T07:53:28Z) - PoinTr: Diverse Point Cloud Completion with Geometry-Aware Transformers [81.71904691925428]
本稿では,ポイントクラウドの完了をセット・ツー・セットの翻訳問題として再定義する手法を提案する。
我々はまた、ポイントクラウド補完のためにトランスフォーマーエンコーダデコーダアーキテクチャを採用するPoinTrと呼ばれる新しいモデルも設計している。
提案手法は,新しいベンチマークと既存ベンチマークの両方において,最先端の手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2021-08-19T17:58:56Z) - Pseudo-LiDAR Point Cloud Interpolation Based on 3D Motion Representation
and Spatial Supervision [68.35777836993212]
我々はPseudo-LiDAR点雲ネットワークを提案し、時間的および空間的に高品質な点雲列を生成する。
点雲間のシーンフローを活用することにより,提案ネットワークは3次元空間運動関係のより正確な表現を学習することができる。
論文 参考訳（メタデータ） (2020-06-20T03:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。