論文の概要: PIT-QMM: A Large Multimodal Model For No-Reference Point Cloud Quality Assessment
- arxiv url: http://arxiv.org/abs/2510.07636v1
- Date: Thu, 09 Oct 2025 00:13:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-10 17:54:14.787574
- Title: PIT-QMM: A Large Multimodal Model For No-Reference Point Cloud Quality Assessment
- Title（参考訳）: PIT-QMM: 参照不要なクラウド品質評価のための大規模マルチモーダルモデル
- Authors: Shashank Gupta, Gregoire Phillips, Alan C. Bovik,
- Abstract要約: 大規模マルチモーダルモデル(LMM)は近年,画像および映像品質評価の領域において,大幅な進歩を実現している。
我々はこれらのモデルを用いて、No-Reference Point Cloud Quality Assessment (NR-PCQA)を実施することに興味があります。
その目的は、参照のない点雲の知覚的品質を自動的に評価することである。
NR-PCQAのための新しいLMMであるPIT-QMMを構築し、テキスト、画像、点雲をエンドツーエンドに消費して品質スコアを予測する。
- 参考スコア（独自算出の注目度）: 26.896426878221718
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Multimodal Models (LMMs) have recently enabled considerable advances in the realm of image and video quality assessment, but this progress has yet to be fully explored in the domain of 3D assets. We are interested in using these models to conduct No-Reference Point Cloud Quality Assessment (NR-PCQA), where the aim is to automatically evaluate the perceptual quality of a point cloud in absence of a reference. We begin with the observation that different modalities of data - text descriptions, 2D projections, and 3D point cloud views - provide complementary information about point cloud quality. We then construct PIT-QMM, a novel LMM for NR-PCQA that is capable of consuming text, images and point clouds end-to-end to predict quality scores. Extensive experimentation shows that our proposed method outperforms the state-of-the-art by significant margins on popular benchmarks with fewer training iterations. We also demonstrate that our framework enables distortion localization and identification, which paves a new way forward for model explainability and interactivity. Code and datasets are available at https://www.github.com/shngt/pit-qmm.
- Abstract（参考訳）: 大規模マルチモーダルモデル (LMM) は画像と映像の品質評価の領域において,近年かなりの進歩を遂げている。
我々はこれらのモデルを用いて、参照のないポイントクラウドの知覚品質を自動評価するNR-PCQA(No-Reference Point Cloud Quality Assessment)を実施することに興味があります。
まず、さまざまなデータ(テキスト記述、2Dプロジェクション、3Dポイントクラウドビュー)が、ポイントクラウドの品質に関する補完的な情報を提供する、という観察から始めます。
PIT-QMM は NR-PCQA 用の新しい LMM で,テキスト,画像,点雲を終末まで消費して品質スコアを予測できる。
大規模な実験により,提案手法は,トレーニングイテレーションの少ない一般的なベンチマークにおいて,最先端の手法よりも優れた性能を示した。
また、本フレームワークは歪みの局所化と同定を可能にし、モデル説明可能性と相互作用性に新たな道を開くことを実証する。
コードとデータセットはhttps://www.github.com/shngt/pit-qmm.comで公開されている。
関連論文リスト
- No-Reference Point Cloud Quality Assessment via Graph Convolutional Network [89.12589881881082]
3次元(3D)ポイントクラウドは、新しいビジュアルメディアフォーマットとして、消費者にますます好まれている。
ポイントクラウドは、必然的に、マルチメディア通信システムによる品質劣化と情報損失に悩まされる。
マルチビュー2次元投影画像の相互依存関係を特徴付けるために,GCN(Graph Convolutional Network)を用いた新しい非参照PCQA手法を提案する。
論文 参考訳（メタデータ） (2024-11-12T11:39:05Z) - Q-Ground: Image Quality Grounding with Large Multi-modality Models [61.72022069880346]
Q-Groundは、大規模な視覚的品質グラウンドに取り組むための最初のフレームワークである。
Q-Groundは、大規模なマルチモダリティモデルと詳細な視覚的品質分析を組み合わせる。
コントリビューションの中心は、QGround-100Kデータセットの導入です。
論文 参考訳（メタデータ） (2024-07-24T06:42:46Z) - Contrastive Pre-Training with Multi-View Fusion for No-Reference Point Cloud Quality Assessment [49.36799270585947]
No-Reference Point Cloud Quality Assessment (NR-PCQA) は、歪んだ点雲の知覚的品質を、参照なしで自動的に評価することを目的としている。
我々は,PCQA(CoPA)に適した新しいコントラスト付き事前学習フレームワークを提案する。
提案手法は,最新のPCQA手法よりも高い性能を示す。
論文 参考訳（メタデータ） (2024-03-15T07:16:07Z) - PAME: Self-Supervised Masked Autoencoder for No-Reference Point Cloud Quality Assessment [34.256276774430575]
no-reference point cloud quality Assessment (NR-PCQA) は、参照なしでポイントクラウドの知覚的品質を自動的に予測することを目的としている。
本稿では,マスク付きオートエンコーダ(PAME)を用いた自己教師型事前学習フレームワークを提案する。
提案手法は,予測精度と一般化性の観点から,最新のNR-PCQA法よりも高い性能を示す。
論文 参考訳（メタデータ） (2024-03-15T07:01:33Z) - Simple Baselines for Projection-based Full-reference and No-reference
Point Cloud Quality Assessment [60.2709006613171]
投影型ポイントクラウド品質評価(PCQA)のための簡易ベースラインを提案する。
我々は、全参照(FR)タスクと非参照(NR)PCQAタスクの両方に対して、点雲から共通立方体状の投影プロセスによって得られる多重射影を用いる。
ICIP 2023 PCVQA Challengeに参加して,5トラック中4トラックで首位を獲得した。
論文 参考訳（メタデータ） (2023-10-26T04:42:57Z) - Reduced-Reference Quality Assessment of Point Clouds via
Content-Oriented Saliency Projection [17.983188216548005]
多くの高密度な3Dポイントクラウドは、従来の画像やビデオではなく、視覚オブジェクトを表現するために利用されてきた。
本稿では, 点雲に対する新しい, 効率的な還元参照品質指標を提案する。
論文 参考訳（メタデータ） (2023-01-18T18:00:29Z) - MM-PCQA: Multi-Modal Learning for No-reference Point Cloud Quality
Assessment [32.495387943305204]
マルチモーダル方式で,新しい非参照点クラウド品質評価(NR-PCQA)指標を提案する。
具体的には、点雲を部分モデルに分割し、点シフトやダウンサンプリングのような局所的な幾何学的歪みを表す。
目標を達成するために、サブモデルと投影された画像は、ポイントベースおよびイメージベースニューラルネットワークで符号化される。
論文 参考訳（メタデータ） (2022-09-01T06:11:12Z) - Blind Quality Assessment of 3D Dense Point Clouds with Structure Guided
Resampling [71.68672977990403]
本研究では,3次元高密度点雲の知覚的視覚的品質を自動評価するために,Structure Guided Resampling (SGR) を用いた客観的点雲品質指標を提案する。
提案するSGRは,参照情報の不要な汎用ブラインド品質評価手法である。
論文 参考訳（メタデータ） (2022-08-31T02:42:55Z) - Evaluating Point Cloud from Moving Camera Videos: A No-Reference Metric [58.309735075960745]
本稿では,ビデオ品質評価(VQA)手法を用いて,ポイントクラウド品質評価(PCQA)タスクの処理方法について検討する。
捉えたビデオは、いくつかの円形の経路を通して、点雲の周りでカメラを回転させて生成する。
トレーニング可能な2D-CNNモデルと事前学習された3D-CNNモデルを用いて、選択したキーフレームとビデオクリップから空間的・時間的品質認識特徴を抽出する。
論文 参考訳（メタデータ） (2022-08-30T08:59:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。