論文の概要: CLIP-PCQA: Exploring Subjective-Aligned Vision-Language Modeling for Point Cloud Quality Assessment

• arxiv url: http://arxiv.org/abs/2501.10071v1
• Date: Fri, 17 Jan 2025 09:43:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 13:59:03.879140
• Title: CLIP-PCQA: Exploring Subjective-Aligned Vision-Language Modeling for Point Cloud Quality Assessment
• Title（参考訳）: CLIP-PCQA: ポイントクラウド品質評価のための主観的適応型ビジョンランゲージモデリングの探索
• Authors: Yating Liu, Yujie Zhang, Ziyu Shan, Yiling Xu,
• Abstract要約: そこで我々はCLIP-PCQAという新しい言語駆動型PCQA手法を提案する。 人間は個々の品質記述を用いて視覚的品質を記述することを好んでおり、我々は検索に基づくマッピング戦略を採用する。 私たちのCLIP-PCQAは、他のState-Of-The-Art(SOTA)アプローチよりも優れています。
• 参考スコア（独自算出の注目度）: 21.9149920194746
• License:
• Abstract: In recent years, No-Reference Point Cloud Quality Assessment (NR-PCQA) research has achieved significant progress. However, existing methods mostly seek a direct mapping function from visual data to the Mean Opinion Score (MOS), which is contradictory to the mechanism of practical subjective evaluation. To address this, we propose a novel language-driven PCQA method named CLIP-PCQA. Considering that human beings prefer to describe visual quality using discrete quality descriptions (e.g., "excellent" and "poor") rather than specific scores, we adopt a retrieval-based mapping strategy to simulate the process of subjective assessment. More specifically, based on the philosophy of CLIP, we calculate the cosine similarity between the visual features and multiple textual features corresponding to different quality descriptions, in which process an effective contrastive loss and learnable prompts are introduced to enhance the feature extraction. Meanwhile, given the personal limitations and bias in subjective experiments, we further covert the feature similarities into probabilities and consider the Opinion Score Distribution (OSD) rather than a single MOS as the final target. Experimental results show that our CLIP-PCQA outperforms other State-Of-The-Art (SOTA) approaches.
• Abstract（参考訳）: 近年,No-Reference Point Cloud Quality Assessment (NR-PCQA) 研究は大きな進歩を遂げている。 しかし、既存の手法は、視覚データから平均オピニオンスコア(MOS)への直接マッピング関数を求めることが多く、実際的な主観評価のメカニズムとは矛盾する。 そこで我々はCLIP-PCQAという新しい言語駆動型PCQA手法を提案する。 人間は特定のスコアではなく、個々の品質記述(例えば「優秀」や「貧乏」など)を用いて視覚的品質を記述することを好むので、主観的評価の過程をシミュレートするために、検索に基づくマッピング戦略を採用する。 より具体的には、CLIPの哲学に基づいて、異なる品質記述に対応する視覚的特徴と複数のテキスト的特徴のコサイン類似性を計算し、そのプロセスに効果的なコントラスト損失と学習可能なプロンプトを導入して特徴抽出を強化する。 一方、主観的実験における個人的制限と偏見から、その特徴的類似性を更にカバーし、単一のMOSを最終ターゲットとするのではなく、オピニオンスコア分布(OSD)を考慮する。 実験の結果,CLIP-PCQAは,他のSOTA(State-Of-The-Art)アプローチよりも優れていた。

関連論文リスト

• Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
  Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。 ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。 そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
  論文  参考訳（メタデータ） (2024-06-26T05:30:21Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Contrastive Pre-Training with Multi-View Fusion for No-Reference Point Cloud Quality Assessment [49.36799270585947]
  No-Reference Point Cloud Quality Assessment (NR-PCQA) は、歪んだ点雲の知覚的品質を、参照なしで自動的に評価することを目的としている。 我々は,PCQA(CoPA)に適した新しいコントラスト付き事前学習フレームワークを提案する。 提案手法は,最新のPCQA手法よりも高い性能を示す。
  論文  参考訳（メタデータ） (2024-03-15T07:16:07Z)
• Exploring Opinion-unaware Video Quality Assessment with Semantic Affinity Criterion [52.07084862209754]
  コントラッシブ言語画像事前学習モデルにおけるテキストプロンプトを用いた意見認識型VQAに対する明示的セマンティック親和性指標を提案する。 また、ガウス正規化とシグモイド再スケーリング戦略を通じて、異なる伝統的な低レベル自然度指数を集約する。 The proposed Blind Unified Opinion-Unaware Video Quality Index via Semantic and Technical Metric Aggregation (BUONA-VISTA)は、既存の意見不明のVQA手法を少なくとも20%改善した。
  論文  参考訳（メタデータ） (2023-02-26T08:46:07Z)
• Reduced-Reference Quality Assessment of Point Clouds via Content-Oriented Saliency Projection [17.983188216548005]
  多くの高密度な3Dポイントクラウドは、従来の画像やビデオではなく、視覚オブジェクトを表現するために利用されてきた。 本稿では, 点雲に対する新しい, 効率的な還元参照品質指標を提案する。
  論文  参考訳（メタデータ） (2023-01-18T18:00:29Z)
• Progressive Knowledge Transfer Based on Human Visual Perception Mechanism for Perceptual Quality Assessment of Point Clouds [21.50682830021656]
  点雲(PKT-PCQA)の知覚的品質評価のための人間の視覚知覚機構に基づく進歩的知識伝達を提案する。 3つの大規模および独立したポイントクラウドアセスメントデータセットの実験により、提案された参照PKT-PCQAネットワークが同等のパフォーマンスを向上することを示す。
  論文  参考訳（メタデータ） (2022-11-30T00:27:58Z)
• Exploring CLIP for Assessing the Look and Feel of Images [87.97623543523858]
  ゼロショット方式で画像の品質知覚(ルック)と抽象知覚(フィール)の両方を評価するために,コントラスト言語-画像事前学習(CLIP)モデルを導入する。 以上の結果から,CLIPは知覚的評価によく適合する有意義な先行情報を捉えることが示唆された。
  論文  参考訳（メタデータ） (2022-07-25T17:58:16Z)
• No-Reference Image Quality Assessment by Hallucinating Pristine Features [24.35220427707458]
  本稿では,特徴レベルの擬似参照(PR)幻覚を用いた非参照画像品質評価(IQA)手法を提案する。 提案手法の有効性を4つのIQAデータベースで実証した。
  論文  参考訳（メタデータ） (2021-08-09T16:48:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。