論文の概要: MM-PCQA: Multi-Modal Learning for No-reference Point Cloud Quality Assessment

• arxiv url: http://arxiv.org/abs/2209.00244v1
• Date: Thu, 1 Sep 2022 06:11:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-02 14:06:34.351099
• Title: MM-PCQA: Multi-Modal Learning for No-reference Point Cloud Quality Assessment
• Title（参考訳）: mm-pcqa:クラウド品質評価のためのマルチモーダル学習
• Authors: Zicheng Zhang, Wei Sun, Xiongkuo Min, Quan Zhou, Jun He, Qiyuan Wang, and Guangtao Zhai
• Abstract要約: マルチモーダル方式で,新しい非参照点クラウド品質評価(NR-PCQA)指標を提案する。 具体的には、点雲を部分モデルに分割し、点シフトやダウンサンプリングのような局所的な幾何学的歪みを表す。 目標を達成するために、サブモデルと投影された画像は、ポイントベースおよびイメージベースニューラルネットワークで符号化される。
• 参考スコア（独自算出の注目度）: 32.495387943305204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The visual quality of point clouds has been greatly emphasized since the ever-increasing 3D vision applications are expected to provide cost-effective and high-quality experiences for users. Looking back on the development of point cloud quality assessment (PCQA) methods, the visual quality is usually evaluated by utilizing single-modal information, i.e., either extracted from the 2D projections or 3D point cloud. The 2D projections contain rich texture and semantic information but are highly dependent on viewpoints, while the 3D point clouds are more sensitive to geometry distortions and invariant to viewpoints. Therefore, to leverage the advantages of both point cloud and projected image modalities, we propose a novel no-reference point cloud quality assessment (NR-PCQA) metric in a multi-modal fashion. In specific, we split the point clouds into sub-models to represent local geometry distortions such as point shift and down-sampling. Then we render the point clouds into 2D image projections for texture feature extraction. To achieve the goals, the sub-models and projected images are encoded with point-based and image-based neural networks. Finally, symmetric cross-modal attention is employed to fuse multi-modal quality-aware information. Experimental results show that our approach outperforms all compared state-of-the-art methods and is far ahead of previous NR-PCQA methods, which highlights the effectiveness of the proposed method.
• Abstract（参考訳）: ポイントクラウドの視覚的品質は、ますます増加する3Dビジョンアプリケーションが、ユーザにとってコスト効率と高品質なエクスペリエンスを提供すると予想されて以来、大幅に強調されてきた。 ポイントクラウド品質評価法(PCQA)の開発を振り返ると、視覚的品質は通常、単一のモーダル情報、すなわち2Dプロジェクションから抽出されるか、3Dポイントクラウドを用いて評価される。 2Dプロジェクションは豊かなテクスチャとセマンティック情報を含んでいるが、3Dポイントの雲は幾何学的歪みに敏感であり、視点に不変である。 そこで我々は,点雲と投影画像モダリティの両方の利点を活用するために,マルチモーダル方式で新しい非参照点雲質評価(NR-PCQA)指標を提案する。 具体的には、点雲を部分モデルに分割し、点シフトやダウンサンプリングのような局所的な幾何学的歪みを表す。 次に、点雲を2次元画像投影に描画してテクスチャ特徴抽出を行う。 目標を達成するために、サブモデルと投影された画像は、ポイントベースおよびイメージベースニューラルネットワークで符号化される。 最後に,マルチモーダル品質認識情報を融合するために対称的なクロスモーダル注意が用いられる。 実験の結果,提案手法は従来のNR-PCQA法よりもはるかに優れており,提案手法の有効性が示された。

関連論文リスト

• Frozen CLIP Model is An Efficient Point Cloud Backbone [83.44915413703315]
  本稿では,凍ったCLIPモデルを用いて高品質のポイントクラウドモデルをトレーニングするための効率的なポイントクラウド学習(EPCL)を提案する。 我々のEPCLは、2D-3Dデータをペア化せずに2D特徴とポイントクラウド特徴を意味的に整合させることで、2Dと3Dのモダリティを接続する。 3D検出、セマンティックセグメンテーション、分類、数ショット学習に関する総合的な実験は、2D CLIPモデルが効率的なポイントクラウドバックボーンであることを示している。
  論文  参考訳（メタデータ） (2022-12-08T06:27:11Z)
• Leveraging Single-View Images for Unsupervised 3D Point Cloud Completion [51.45906009095078]
  Cross-PCCは3次元完全点雲を必要としない教師なしの点雲補完法である。 2次元画像の相補的な情報を活用するために,単視点RGB画像を用いて2次元特徴を抽出する。 予測点雲の形状を導出するために,物体の予測点を2次元平面に投影し,そのシルエットマップの前景画素を使用する。
  論文  参考訳（メタデータ） (2022-12-01T15:11:21Z)
• Flow-based GAN for 3D Point Cloud Generation from a Single Image [16.04710129379503]
  本稿では,任意の解像度の点群をサンプリングするためのフローベース明示的生成モデルを継承する,ハイブリッドな明示的生成モデルを提案する。 大規模合成データセットShapeNetについて評価し,提案手法の優れた性能を示す実験結果を得た。
  論文  参考訳（メタデータ） (2022-10-08T17:58:20Z)
• Blind Quality Assessment of 3D Dense Point Clouds with Structure Guided Resampling [71.68672977990403]
  本研究では,3次元高密度点雲の知覚的視覚的品質を自動評価するために,Structure Guided Resampling (SGR) を用いた客観的点雲品質指標を提案する。 提案するSGRは,参照情報の不要な汎用ブラインド品質評価手法である。
  論文  参考訳（メタデータ） (2022-08-31T02:42:55Z)
• Treating Point Cloud as Moving Camera Videos: A No-Reference Quality Assessment Metric [35.932463998458864]
  ポイントクラウドは3Dコンテンツのための最も広く使われているデジタル表現フォーマットの1つである。 ポイントクラウド品質評価(PCQA)の課題に対処するために、多くのPCQA手法が提案されている。
  論文  参考訳（メタデータ） (2022-08-30T08:59:41Z)
• Leveraging Monocular Disparity Estimation for Single-View Reconstruction [8.583436410810203]
  単分子深度推定の進歩を利用して不均一マップを得る。 我々は,2次元の正規化不均質マップを,関連するカメラパラメータの最適化によって3次元の点群に変換する。
  論文  参考訳（メタデータ） (2022-07-01T03:05:40Z)
• A No-reference Quality Assessment Metric for Point Cloud Based on Captured Video Sequences [40.46566408312466]
  キャプチャーされたビデオシーケンスに基づいて,色付き点雲の非参照品質評価指標を提案する。 実験の結果,本手法はPCQAの基準値と非参照PCQAの基準値のほとんどより優れていた。
  論文  参考訳（メタデータ） (2022-06-09T06:42:41Z)
• PC-RGNN: Point Cloud Completion and Graph Neural Network for 3D Object Detection [57.49788100647103]
  LiDARベースの3Dオブジェクト検出は、自動運転にとって重要なタスクです。 現在のアプローチでは、遠方および閉ざされた物体の偏りと部分的な点雲に苦しむ。 本稿では,この課題を2つの解決法で解決する新しい二段階アプローチ,pc-rgnnを提案する。
  論文  参考訳（メタデータ） (2020-12-18T18:06:43Z)
• ParaNet: Deep Regular Representation for 3D Point Clouds [62.81379889095186]
  ParaNetは、3Dポイントクラウドを表現するための新しいエンドツーエンドのディープラーニングフレームワークである。 不規則な3D点雲を通常の2Dカラー画像に変換する。 多視点投影とボキセル化に基づく従来の正規表現法とは異なり、提案した表現は微分可能で可逆である。
  論文  参考訳（メタデータ） (2020-12-05T13:19:55Z)
• Reduced Reference Perceptual Quality Model and Application to Rate Control for 3D Point Cloud Compression [61.110938359555895]
  レート歪み最適化では、ビットレートの制約を受ける再構成品質尺度を最大化してエンコーダ設定を決定する。 本稿では,V-PCC幾何および色量化パラメータを変数とする線形知覚品質モデルを提案する。 400個の圧縮された3D点雲による主観的品質試験の結果,提案モデルが平均評価値とよく相関していることが示唆された。 また、同じ目標ビットレートに対して、提案モデルに基づくレート歪みの最適化は、ポイント・ツー・ポイントの客観的な品質指標による徹底的な探索に基づくレート歪みの最適化よりも高い知覚品質を提供することを示した。
  論文  参考訳（メタデータ） (2020-11-25T12:42:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。