論文の概要: MM-PCQA: Multi-Modal Learning for No-reference Point Cloud Quality Assessment

• arxiv url: http://arxiv.org/abs/2209.00244v2
• Date: Mon, 24 Apr 2023 08:46:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 23:57:23.163671
• Title: MM-PCQA: Multi-Modal Learning for No-reference Point Cloud Quality Assessment
• Title（参考訳）: mm-pcqa:クラウド品質評価のためのマルチモーダル学習
• Authors: Zicheng Zhang, Wei Sun, Xiongkuo Min, Quan Zhou, Jun He, Qiyuan Wang, and Guangtao Zhai
• Abstract要約: マルチモーダル方式で,新しい非参照点クラウド品質評価(NR-PCQA)指標を提案する。 具体的には、点雲を部分モデルに分割し、点シフトやダウンサンプリングのような局所的な幾何学的歪みを表す。 目標を達成するために、サブモデルと投影された画像は、ポイントベースおよびイメージベースニューラルネットワークで符号化される。
• 参考スコア（独自算出の注目度）: 32.495387943305204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The visual quality of point clouds has been greatly emphasized since the ever-increasing 3D vision applications are expected to provide cost-effective and high-quality experiences for users. Looking back on the development of point cloud quality assessment (PCQA) methods, the visual quality is usually evaluated by utilizing single-modal information, i.e., either extracted from the 2D projections or 3D point cloud. The 2D projections contain rich texture and semantic information but are highly dependent on viewpoints, while the 3D point clouds are more sensitive to geometry distortions and invariant to viewpoints. Therefore, to leverage the advantages of both point cloud and projected image modalities, we propose a novel no-reference point cloud quality assessment (NR-PCQA) metric in a multi-modal fashion. In specific, we split the point clouds into sub-models to represent local geometry distortions such as point shift and down-sampling. Then we render the point clouds into 2D image projections for texture feature extraction. To achieve the goals, the sub-models and projected images are encoded with point-based and image-based neural networks. Finally, symmetric cross-modal attention is employed to fuse multi-modal quality-aware information. Experimental results show that our approach outperforms all compared state-of-the-art methods and is far ahead of previous NR-PCQA methods, which highlights the effectiveness of the proposed method. The code is available at https://github.com/zzc-1998/MM-PCQA.
• Abstract（参考訳）: ポイントクラウドの視覚的品質は、ますます増加する3Dビジョンアプリケーションが、ユーザにとってコスト効率と高品質なエクスペリエンスを提供すると予想されて以来、大幅に強調されてきた。 ポイントクラウド品質評価法(PCQA)の開発を振り返ると、視覚的品質は通常、単一のモーダル情報、すなわち2Dプロジェクションから抽出されるか、3Dポイントクラウドを用いて評価される。 2Dプロジェクションは豊かなテクスチャとセマンティック情報を含んでいるが、3Dポイントの雲は幾何学的歪みに敏感であり、視点に不変である。 そこで我々は,点雲と投影画像モダリティの両方の利点を活用するために,マルチモーダル方式で新しい非参照点雲質評価(NR-PCQA)指標を提案する。 具体的には、点雲を部分モデルに分割し、点シフトやダウンサンプリングのような局所的な幾何学的歪みを表す。 次に、点雲を2次元画像投影に描画してテクスチャ特徴抽出を行う。 目標を達成するために、サブモデルと投影された画像は、ポイントベースおよびイメージベースニューラルネットワークで符号化される。 最後に,マルチモーダル品質認識情報を融合するために対称的なクロスモーダル注意が用いられる。 実験の結果,提案手法は従来のNR-PCQA法よりもはるかに優れており,提案手法の有効性が示された。 コードはhttps://github.com/zzc-1998/MM-PCQAで公開されている。

関連論文リスト

• Contrastive Pre-Training with Multi-View Fusion for No-Reference Point Cloud Quality Assessment [49.36799270585947]
  No-Reference Point Cloud Quality Assessment (NR-PCQA) は、歪んだ点雲の知覚的品質を、参照なしで自動的に評価することを目的としている。 我々は,PCQA(CoPA)に適した新しいコントラスト付き事前学習フレームワークを提案する。 提案手法は,最新のPCQA手法よりも高い性能を示す。
  論文  参考訳（メタデータ） (2024-03-15T07:16:07Z)
• Activating Frequency and ViT for 3D Point Cloud Quality Assessment without Reference [0.49157446832511503]
  与えられた3D-PCの非参照品質指標を提案する。 入力属性を品質スコアにマップするには、Deformable Convolutional Network(DCN)とViT(ViT)を組み合わせた軽量ハイブリッドディープモデルを用いる。 その結果,本手法は現在のNR-PCQA測度やPointXRのFR-PCQAよりも優れていた。
  論文  参考訳（メタデータ） (2023-12-10T19:13:34Z)
• Zero-Shot Point Cloud Registration [94.39796531154303]
  ZeroRegは、ポイントクラウドデータセットのトレーニングを不要にする最初のゼロショットポイントクラウド登録アプローチである。 ZeroRegの基盤は、キーポイントからポイントクラウドへの画像特徴の新たな移行であり、三次元幾何学的近傍からの情報を集約することによって強化されている。 3DMatch、3DLoMatch、ScanNetなどのベンチマークでは、ZeroRegはそれぞれ84%、46%、75%という印象的なリコール比(RR)を達成した。
  論文  参考訳（メタデータ） (2023-12-05T11:33:16Z)
• Cross-Modal Information-Guided Network using Contrastive Learning for Point Cloud Registration [17.420425069785946]
  本稿では,ポイントクラウド登録のための新しいCross-Modal Information-Guided Network(CMIGNet)を提案する。 まず,点雲から投影された画像を取り込んで,アテンション機構を用いてモーダルな特徴を融合する。 コントラスト学習戦略は2つあり、すなわち、コントラスト学習とクロスモーダルコントラスト学習が重なり合う。
  論文  参考訳（メタデータ） (2023-11-02T12:56:47Z)
• Simple Baselines for Projection-based Full-reference and No-reference Point Cloud Quality Assessment [60.2709006613171]
  投影型ポイントクラウド品質評価(PCQA)のための簡易ベースラインを提案する。 我々は、全参照(FR)タスクと非参照(NR)PCQAタスクの両方に対して、点雲から共通立方体状の投影プロセスによって得られる多重射影を用いる。 ICIP 2023 PCVQA Challengeに参加して,5トラック中4トラックで首位を獲得した。
  論文  参考訳（メタデータ） (2023-10-26T04:42:57Z)
• Blind Quality Assessment of 3D Dense Point Clouds with Structure Guided Resampling [71.68672977990403]
  本研究では,3次元高密度点雲の知覚的視覚的品質を自動評価するために,Structure Guided Resampling (SGR) を用いた客観的点雲品質指標を提案する。 提案するSGRは,参照情報の不要な汎用ブラインド品質評価手法である。
  論文  参考訳（メタデータ） (2022-08-31T02:42:55Z)
• Evaluating Point Cloud from Moving Camera Videos: A No-Reference Metric [58.309735075960745]
  本稿では,ビデオ品質評価(VQA)手法を用いて,ポイントクラウド品質評価(PCQA)タスクの処理方法について検討する。 捉えたビデオは、いくつかの円形の経路を通して、点雲の周りでカメラを回転させて生成する。 トレーニング可能な2D-CNNモデルと事前学習された3D-CNNモデルを用いて、選択したキーフレームとビデオクリップから空間的・時間的品質認識特徴を抽出する。
  論文  参考訳（メタデータ） (2022-08-30T08:59:41Z)
• A No-reference Quality Assessment Metric for Point Cloud Based on Captured Video Sequences [40.46566408312466]
  キャプチャーされたビデオシーケンスに基づいて,色付き点雲の非参照品質評価指標を提案する。 実験の結果,本手法はPCQAの基準値と非参照PCQAの基準値のほとんどより優れていた。
  論文  参考訳（メタデータ） (2022-06-09T06:42:41Z)
• ParaNet: Deep Regular Representation for 3D Point Clouds [62.81379889095186]
  ParaNetは、3Dポイントクラウドを表現するための新しいエンドツーエンドのディープラーニングフレームワークである。 不規則な3D点雲を通常の2Dカラー画像に変換する。 多視点投影とボキセル化に基づく従来の正規表現法とは異なり、提案した表現は微分可能で可逆である。
  論文  参考訳（メタデータ） (2020-12-05T13:19:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。