論文の概要: PAME: Self-Supervised Masked Autoencoder for No-Reference Point Cloud Quality Assessment

• arxiv url: http://arxiv.org/abs/2403.10061v1
• Date: Fri, 15 Mar 2024 07:01:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 18:19:27.877503
• Title: PAME: Self-Supervised Masked Autoencoder for No-Reference Point Cloud Quality Assessment
• Title（参考訳）: PAME: 参照不要なクラウド品質評価のための自己監督型マスクオートエンコーダ
• Authors: Ziyu Shan, Yujie Zhang, Qi Yang, Haichen Yang, Yiling Xu, Shan Liu,
• Abstract要約: no-reference point cloud quality Assessment (NR-PCQA) は、参照なしでポイントクラウドの知覚的品質を自動的に予測することを目的としている。 本稿では,マスク付きオートエンコーダ(PAME)を用いた自己教師型事前学習フレームワークを提案する。 提案手法は,予測精度と一般化性の観点から,最新のNR-PCQA法よりも高い性能を示す。
• 参考スコア（独自算出の注目度）: 34.256276774430575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: No-reference point cloud quality assessment (NR-PCQA) aims to automatically predict the perceptual quality of point clouds without reference, which has achieved remarkable performance due to the utilization of deep learning-based models. However, these data-driven models suffer from the scarcity of labeled data and perform unsatisfactorily in cross-dataset evaluations. To address this problem, we propose a self-supervised pre-training framework using masked autoencoders (PAME) to help the model learn useful representations without labels. Specifically, after projecting point clouds into images, our PAME employs dual-branch autoencoders, reconstructing masked patches from distorted images into the original patches within reference and distorted images. In this manner, the two branches can separately learn content-aware features and distortion-aware features from the projected images. Furthermore, in the model fine-tuning stage, the learned content-aware features serve as a guide to fuse the point cloud quality features extracted from different perspectives. Extensive experiments show that our method outperforms the state-of-the-art NR-PCQA methods on popular benchmarks in terms of prediction accuracy and generalizability.
• Abstract（参考訳）: No-Reference Point Cloud Quality Assessment (NR-PCQA) は、参照なしでポイントクラウドの知覚的品質を自動予測することを目的としており、ディープラーニングベースのモデルの利用により、優れたパフォーマンスを実現している。 しかし、これらのデータ駆動モデルはラベル付きデータの不足に悩まされ、データセット間の評価において不満足に実行する。 この問題に対処するために,マスク付きオートエンコーダ(PAME)を用いた自己教師付き事前学習フレームワークを提案する。 具体的には、画像に点雲を投影した後、PAMEはデュアルブランチオートエンコーダを使用し、歪んだ画像から元のパッチへの参照および歪んだ画像にマスクされたパッチを再構成する。 このようにして、2つのブランチは、投影された画像からコンテンツ認識特徴と歪み認識特徴を別々に学習することができる。 さらに、モデル微調整の段階では、学習されたコンテンツ認識機能は、異なる視点から抽出されたポイントクラウド品質機能を融合するためのガイドとして機能する。 大規模な実験により,提案手法は予測精度と一般化可能性の観点から,最先端のNR-PCQA法よりも高い性能を示した。

関連論文リスト

• Learning Disentangled Representations for Perceptual Point Cloud Quality Assessment via Mutual Information Minimization [26.224150625323812]
  No-Reference Point Cloud Quality Assessment (NR-PCQA)は、ポイントクラウドの人間の知覚的品質を客観的に評価することを目的としている。 NR-PCQAのための新しい非交叉表現学習フレームワークであるDisPAを提案する。 複数のPCQAデータセットにおいて、DisPAは最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-12T17:05:18Z)
• Attention Down-Sampling Transformer, Relative Ranking and Self-Consistency for Blind Image Quality Assessment [17.04649536069553]
  非参照画像品質評価は、元の参照なしで画像品質を推定する難しい領域である。 変換器エンコーダとCNNを用いて,画像から局所的および非局所的情報を抽出する機構を改良した。 非参照画像品質評価(NR-IQA)モデルの劣化に対処し,自己超越に対する自己整合性アプローチを提案する。
  論文  参考訳（メタデータ） (2024-09-11T09:08:43Z)
• Bringing Masked Autoencoders Explicit Contrastive Properties for Point Cloud Self-Supervised Learning [116.75939193785143]
  画像領域における視覚変換器(ViT)のコントラスト学習(CL)は、従来の畳み込みバックボーンのCLに匹敵する性能を達成した。 ViTで事前訓練した3Dポイントクラウドでは、マスク付きオートエンコーダ(MAE)モデリングが主流である。
  論文  参考訳（メタデータ） (2024-07-08T12:28:56Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Contrastive Pre-Training with Multi-View Fusion for No-Reference Point Cloud Quality Assessment [49.36799270585947]
  No-Reference Point Cloud Quality Assessment (NR-PCQA) は、歪んだ点雲の知覚的品質を、参照なしで自動的に評価することを目的としている。 我々は,PCQA(CoPA)に適した新しいコントラスト付き事前学習フレームワークを提案する。 提案手法は,最新のPCQA手法よりも高い性能を示す。
  論文  参考訳（メタデータ） (2024-03-15T07:16:07Z)
• Uncertainty-aware No-Reference Point Cloud Quality Assessment [25.543217625958462]
  本研究は,非参照点クラウド品質評価(PCQA)のための最初の確率的アーキテクチャを提案する。 提案手法は条件付き変分オートエンコーダ(AE)を用いて被験者の品質判定をモデル化できる。 実験により,本手法は従来の最先端手法を大きなマージンで模倣し,データセット間実験を行うことを示す。
  論文  参考訳（メタデータ） (2024-01-17T02:25:42Z)
• Evaluating Point Cloud from Moving Camera Videos: A No-Reference Metric [58.309735075960745]
  本稿では,ビデオ品質評価(VQA)手法を用いて,ポイントクラウド品質評価(PCQA)タスクの処理方法について検討する。 捉えたビデオは、いくつかの円形の経路を通して、点雲の周りでカメラを回転させて生成する。 トレーニング可能な2D-CNNモデルと事前学習された3D-CNNモデルを用いて、選択したキーフレームとビデオクリップから空間的・時間的品質認識特徴を抽出する。
  論文  参考訳（メタデータ） (2022-08-30T08:59:41Z)
• CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
  知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。 本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。 本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T15:22:01Z)
• Image Quality Assessment using Contrastive Learning [50.265638572116984]
  我々は、補助的な問題を解決するために、対照的な対の目的を用いて深層畳み込みニューラルネットワーク(CNN)を訓練する。 本研究では,最新のNR画像品質モデルと比較して,ContriQUEが競争性能を向上することを示す。 以上の結果から,大きなラベル付き主観的画像品質データセットを必要とせずに,知覚的関連性を持つ強力な品質表現が得られることが示唆された。
  論文  参考訳（メタデータ） (2021-10-25T21:01:00Z)
• No-Reference Image Quality Assessment via Transformers, Relative Ranking, and Self-Consistency [38.88541492121366]
  No-Reference Image Quality Assessment (NR-IQA) の目的は、主観的評価に応じて知覚的画質を推定することである。 本稿では、変圧器における畳み込みニューラルネットワーク(CNN)と自己保持機構の利点を生かしたハイブリッドアプローチを利用して、NR-IQAタスクに対処する新しいモデルを提案する。
  論文  参考訳（メタデータ） (2021-08-16T02:07:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。