論文の概要: Contrastive Pre-Training with Multi-View Fusion for No-Reference Point Cloud Quality Assessment

• arxiv url: http://arxiv.org/abs/2403.10066v3
• Date: Wed, 27 Mar 2024 02:25:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 11:38:34.982462
• Title: Contrastive Pre-Training with Multi-View Fusion for No-Reference Point Cloud Quality Assessment
• Title（参考訳）: No-Reference Point Cloud Quality Assessmentのためのマルチビューフュージョンによる対照的な事前訓練
• Authors: Ziyu Shan, Yujie Zhang, Qi Yang, Haichen Yang, Yiling Xu, Jenq-Neng Hwang, Xiaozhong Xu, Shan Liu,
• Abstract要約: No-Reference Point Cloud Quality Assessment (NR-PCQA) は、歪んだ点雲の知覚的品質を、参照なしで自動的に評価することを目的としている。 我々は,PCQA(CoPA)に適した新しいコントラスト付き事前学習フレームワークを提案する。 提案手法は,最新のPCQA手法よりも高い性能を示す。
• 参考スコア（独自算出の注目度）: 49.36799270585947
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: No-reference point cloud quality assessment (NR-PCQA) aims to automatically evaluate the perceptual quality of distorted point clouds without available reference, which have achieved tremendous improvements due to the utilization of deep neural networks. However, learning-based NR-PCQA methods suffer from the scarcity of labeled data and usually perform suboptimally in terms of generalization. To solve the problem, we propose a novel contrastive pre-training framework tailored for PCQA (CoPA), which enables the pre-trained model to learn quality-aware representations from unlabeled data. To obtain anchors in the representation space, we project point clouds with different distortions into images and randomly mix their local patches to form mixed images with multiple distortions. Utilizing the generated anchors, we constrain the pre-training process via a quality-aware contrastive loss following the philosophy that perceptual quality is closely related to both content and distortion. Furthermore, in the model fine-tuning stage, we propose a semantic-guided multi-view fusion module to effectively integrate the features of projected images from multiple perspectives. Extensive experiments show that our method outperforms the state-of-the-art PCQA methods on popular benchmarks. Further investigations demonstrate that CoPA can also benefit existing learning-based PCQA models.
• Abstract（参考訳）: No-Reference Point Cloud Quality Assessment (NR-PCQA)は、利用可能な参照のない歪んだ点雲の知覚的品質を自動評価することを目的としており、ディープニューラルネットワークの利用により大幅に改善されている。 しかし、学習に基づくNR-PCQA法はラベル付きデータの不足に悩まされ、通常、一般化の観点からは準最適に実行される。 そこで本研究では,PCQA(CoPA)に適した新しいコントラスト付き事前学習フレームワークを提案する。 表現空間のアンカーを得るために、異なる歪みの点雲を画像に投影し、局所パッチをランダムに混合して複数の歪みの混合画像を生成する。 生成したアンカーを利用することで、知覚品質が内容と歪みの両方に密接に関連しているという哲学に従って、品質に配慮したコントラスト損失を通じて事前学習プロセスを制約する。 さらに、モデル微調整段階において、複数の視点から投影された画像の特徴を効果的に統合する意味誘導多視点融合モジュールを提案する。 実験結果から,提案手法はPCQA法よりも高い性能を示した。 さらなる調査は、CoPAが既存の学習ベースのPCQAモデルにも役立つことを実証している。

関連論文リスト

• Learning Disentangled Representations for Perceptual Point Cloud Quality Assessment via Mutual Information Minimization [26.224150625323812]
  No-Reference Point Cloud Quality Assessment (NR-PCQA)は、ポイントクラウドの人間の知覚的品質を客観的に評価することを目的としている。 NR-PCQAのための新しい非交叉表現学習フレームワークであるDisPAを提案する。 複数のPCQAデータセットにおいて、DisPAは最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-12T17:05:18Z)
• PAME: Self-Supervised Masked Autoencoder for No-Reference Point Cloud Quality Assessment [34.256276774430575]
  no-reference point cloud quality Assessment (NR-PCQA) は、参照なしでポイントクラウドの知覚的品質を自動的に予測することを目的としている。 本稿では,マスク付きオートエンコーダ(PAME)を用いた自己教師型事前学習フレームワークを提案する。 提案手法は,予測精度と一般化性の観点から,最新のNR-PCQA法よりも高い性能を示す。
  論文  参考訳（メタデータ） (2024-03-15T07:01:33Z)
• Uncertainty-aware No-Reference Point Cloud Quality Assessment [25.543217625958462]
  本研究は,非参照点クラウド品質評価(PCQA)のための最初の確率的アーキテクチャを提案する。 提案手法は条件付き変分オートエンコーダ(AE)を用いて被験者の品質判定をモデル化できる。 実験により,本手法は従来の最先端手法を大きなマージンで模倣し,データセット間実験を行うことを示す。
  論文  参考訳（メタデータ） (2024-01-17T02:25:42Z)
• Simple Baselines for Projection-based Full-reference and No-reference Point Cloud Quality Assessment [60.2709006613171]
  投影型ポイントクラウド品質評価(PCQA)のための簡易ベースラインを提案する。 我々は、全参照(FR)タスクと非参照(NR)PCQAタスクの両方に対して、点雲から共通立方体状の投影プロセスによって得られる多重射影を用いる。 ICIP 2023 PCVQA Challengeに参加して,5トラック中4トラックで首位を獲得した。
  論文  参考訳（メタデータ） (2023-10-26T04:42:57Z)
• CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
  知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。 本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。 本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T15:22:01Z)
• Learning Transformer Features for Image Quality Assessment [53.51379676690971]
  本稿では,CNNバックボーンとトランスフォーマーエンコーダを用いて特徴抽出を行うIQAフレームワークを提案する。 提案するフレームワークはFRモードとNRモードの両方と互換性があり、共同トレーニング方式が可能である。
  論文  参考訳（メタデータ） (2021-12-01T13:23:00Z)
• Image Quality Assessment using Contrastive Learning [50.265638572116984]
  我々は、補助的な問題を解決するために、対照的な対の目的を用いて深層畳み込みニューラルネットワーク(CNN)を訓練する。 本研究では,最新のNR画像品質モデルと比較して,ContriQUEが競争性能を向上することを示す。 以上の結果から,大きなラベル付き主観的画像品質データセットを必要とせずに,知覚的関連性を持つ強力な品質表現が得られることが示唆された。
  論文  参考訳（メタデータ） (2021-10-25T21:01:00Z)
• Cross Learning in Deep Q-Networks [82.20059754270302]
  本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。 本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
  論文  参考訳（メタデータ） (2020-09-29T04:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。