論文の概要: SAM-IQA: Can Segment Anything Boost Image Quality Assessment?

• arxiv url: http://arxiv.org/abs/2307.04455v1
• Date: Mon, 10 Jul 2023 10:07:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 13:31:08.290962
• Title: SAM-IQA: Can Segment Anything Boost Image Quality Assessment?
• Title（参考訳）: SAM-IQA:セグメンテーションは画像品質を向上できるか?
• Authors: Xinpeng Li, Ting Jiang, Haoqiang Fan, Shuaicheng Liu
• Abstract要約: ディープラーニングベースのIQA手法は、通常、大量のデータセットを特徴抽出器としてトレーニングしたトレーニング済みのネットワークに依存している。 本稿では,大規模データセット上で学習したセグメント化モデルであるセグメンテーション・アニーシングのエンコーダを用いて,高レベルの意味的特徴抽出を行う。 本実験では,Segment Anythingの強力な特徴抽出機能を確認し,IQAタスクにおける空間領域と周波数領域の機能の組み合わせの価値を強調した。
• 参考スコア（独自算出の注目度）: 32.10446341968312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image Quality Assessment (IQA) is a challenging task that requires training on massive datasets to achieve accurate predictions. However, due to the lack of IQA data, deep learning-based IQA methods typically rely on pre-trained networks trained on massive datasets as feature extractors to enhance their generalization ability, such as the ResNet network trained on ImageNet. In this paper, we utilize the encoder of Segment Anything, a recently proposed segmentation model trained on a massive dataset, for high-level semantic feature extraction. Most IQA methods are limited to extracting spatial-domain features, while frequency-domain features have been shown to better represent noise and blur. Therefore, we leverage both spatial-domain and frequency-domain features by applying Fourier and standard convolutions on the extracted features, respectively. Extensive experiments are conducted to demonstrate the effectiveness of all the proposed components, and results show that our approach outperforms the state-of-the-art (SOTA) in four representative datasets, both qualitatively and quantitatively. Our experiments confirm the powerful feature extraction capabilities of Segment Anything and highlight the value of combining spatial-domain and frequency-domain features in IQA tasks. Code: https://github.com/Hedlen/SAM-IQA
• Abstract（参考訳）: 画像品質評価(IQA)は、正確な予測を達成するために大量のデータセットのトレーニングを必要とする課題である。 しかし、IQAデータがないため、ディープラーニングベースのIQA手法は一般的に、ImageNetでトレーニングされたResNetネットワークのように、特徴抽出器として大量のデータセットでトレーニングされたトレーニング済みのネットワークに依存している。 本稿では,最近提案された大規模データセット上で訓練されたセグメント化モデルである segment anything のエンコーダを用いて,高レベルな意味的特徴抽出を行う。 ほとんどのIQA法は空間領域の特徴の抽出に限られているが、周波数領域の特徴はノイズやぼやけをよりよく表している。 そこで,抽出した特徴に対して,Fourierと標準畳み込みを適用することで,空間領域と周波数領域の特徴を両立させる。 その結果,提案手法は4つの代表的なデータセットにおいて,定性的かつ定量的に,SOTA(State-of-the-art)よりも優れていた。 本実験では,Segment Anythingの強力な特徴抽出機能を確認し,IQAタスクにおける空間領域と周波数領域の機能の組み合わせの価値を強調した。 コード:https://github.com/Hedlen/SAM-IQA

関連論文リスト

• Large Multi-modality Model Assisted AI-Generated Image Quality Assessment [53.182136445844904]
  本稿では,AI生成画像品質評価モデル(MA-AGIQA)を提案する。 セマンティックインフォームドガイダンスを使用して意味情報を感知し、慎重に設計されたテキストプロンプトを通してセマンティックベクターを抽出する。 最先端のパフォーマンスを実現し、AI生成画像の品質を評価する上で優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-04-27T02:40:36Z)
• CoFInAl: Enhancing Action Quality Assessment with Coarse-to-Fine Instruction Alignment [38.12600984070689]
  アクション品質アセスメント(AQA)は、スポーツや医療といった分野におけるアクションの定量化に重要である。 既存の方法は、小さなAQAデータセットのパフォーマンスを高めるために、大規模なアクション認識データセットからトレーニング済みのバックボーンに依存することが多い。 我々は、粗大な分類タスクとして再構成することで、AQAをより広範な事前訓練タスクと整合させるために、粗大なインストラクションアライメント(CoFInAl)を提案する。
  論文  参考訳（メタデータ） (2024-04-22T09:03:21Z)
• AQUALLM: Audio Question Answering Data Generation Using Large Language Models [2.2232550112727267]
  大規模言語モデル(LLM)に依存するスケーラブルなAQAデータ生成パイプラインを導入する。 AQAのための広範かつ高品質なベンチマークデータセットを3つ提示する。 我々のデータセットでトレーニングされたモデルは、人間の注釈付きAQAデータを用いてトレーニングされたモデルと比較して、拡張された一般化可能性を示す。
  論文  参考訳（メタデータ） (2023-12-28T20:01:27Z)
• Adaptive Feature Selection for No-Reference Image Quality Assessment by Mitigating Semantic Noise Sensitivity [55.399230250413986]
  上流タスクから有害なセマンティックノイズを除去するためのQFM-IQM(Quality-Aware Feature Matching IQA Metric)を提案する。 提案手法は,8つの標準IQAデータセット上での最先端NR-IQA法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-12-11T06:50:27Z)
• TOPIQ: A Top-down Approach from Semantics to Distortions for Image Quality Assessment [53.72721476803585]
  画像品質評価(IQA)は、ディープニューラルネットワークによる顕著な進歩を目の当たりにしたコンピュータビジョンの基本課題である。 本稿では,高レベルの意味論を用いてIQAネットワークを誘導し,意味的に重要な局所歪み領域に注目するトップダウンアプローチを提案する。 提案手法の重要な要素は,低レベル特徴に対するアテンションマップを算出した,クロススケールアテンション機構である。
  論文  参考訳（メタデータ） (2023-08-06T09:08:37Z)
• DeepDC: Deep Distance Correlation as a Perceptual Image Quality Evaluator [53.57431705309919]
  ImageNet Pre-trained Deep Neural Network (DNN)は、効果的な画像品質評価(IQA)モデルを構築するための顕著な転送性を示す。 我々は,事前学習DNN機能のみに基づく新しいフル参照IQA(FR-IQA)モデルを開発した。 5つの標準IQAデータセット上で,提案した品質モデルの優位性を示すため,包括的実験を行った。
  論文  参考訳（メタデータ） (2022-11-09T14:57:27Z)
• Learning Transformer Features for Image Quality Assessment [53.51379676690971]
  本稿では,CNNバックボーンとトランスフォーマーエンコーダを用いて特徴抽出を行うIQAフレームワークを提案する。 提案するフレームワークはFRモードとNRモードの両方と互換性があり、共同トレーニング方式が可能である。
  論文  参考訳（メタデータ） (2021-12-01T13:23:00Z)
• Self-Challenging Improves Cross-Domain Generalization [81.99554996975372]
  畳み込みニューラルネットワーク(CNN)は、ラベルと相関する支配的特徴を活性化することにより、画像分類を行う。 ドメイン外データに対するCNNの一般化を著しく改善する簡単なトレーニングである自己整合表現(RSC)を導入する。 RSCはトレーニングデータ上で活性化される主要な機能に対して反復的に挑戦し、ラベルと相関する残りの機能を有効にするようネットワークに強制する。
  論文  参考訳（メタデータ） (2020-07-05T21:42:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。