論文の概要: Blind Image Quality Assessment via Vision-Language Correspondence: A Multitask Learning Perspective

• arxiv url: http://arxiv.org/abs/2303.14968v1
• Date: Mon, 27 Mar 2023 07:58:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 16:39:21.372022
• Title: Blind Image Quality Assessment via Vision-Language Correspondence: A Multitask Learning Perspective
• Title（参考訳）: 視覚言語対応によるブラインド画像品質評価:マルチタスク学習の視点から
• Authors: Weixia Zhang and Guangtao Zhai and Ying Wei and Xiaokang Yang and Kede Ma
• Abstract要約: ブラインド画像品質評価(BIQA)は、参照情報なしで画像品質の人間の知覚を予測する。 我々は,他のタスクからの補助的知識を活用するために,BIQAのための汎用的かつ自動化されたマルチタスク学習手法を開発した。
• 参考スコア（独自算出の注目度）: 93.56647950778357
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We aim at advancing blind image quality assessment (BIQA), which predicts the human perception of image quality without any reference information. We develop a general and automated multitask learning scheme for BIQA to exploit auxiliary knowledge from other tasks, in a way that the model parameter sharing and the loss weighting are determined automatically. Specifically, we first describe all candidate label combinations (from multiple tasks) using a textual template, and compute the joint probability from the cosine similarities of the visual-textual embeddings. Predictions of each task can be inferred from the joint distribution, and optimized by carefully designed loss functions. Through comprehensive experiments on learning three tasks - BIQA, scene classification, and distortion type identification, we verify that the proposed BIQA method 1) benefits from the scene classification and distortion type identification tasks and outperforms the state-of-the-art on multiple IQA datasets, 2) is more robust in the group maximum differentiation competition, and 3) realigns the quality annotations from different IQA datasets more effectively. The source code is available at https://github.com/zwx8981/LIQE.
• Abstract（参考訳）: 画像品質の人間の知覚を基準情報なしで予測するブラインド画像品質評価(BIQA)の進歩を目指す。 モデルパラメータの共有と損失重み付けが自動的に決定される方法で、BIQAの汎用的かつ自動化されたマルチタスク学習手法を開発し、他のタスクからの補助的知識を活用する。 具体的には、まず、テキストテンプレートを用いて(複数のタスクから)全ての候補ラベルの組み合わせを記述し、視覚-テキスト埋め込みのコサイン類似性から結合確率を計算する。 各タスクの予測はジョイント分布から推測でき、注意深く設計された損失関数によって最適化される。 BIQA,シーン分類,歪み型同定という3つの課題の総合的な学習実験を通じて,提案手法の有効性を検証する。 1)シーン分類と歪み型識別の利点を生かし,複数のIQAデータセットの最先端性能を向上する。 2)群最大分化競争においてより堅牢であり, 3) さまざまなIQAデータセットの品質アノテーションをより効果的に調整する。 ソースコードはhttps://github.com/zwx8981/LIQEで入手できる。

関連論文リスト

• Exploring Rich Subjective Quality Information for Image Quality Assessment in the Wild [66.40314964321557]
  我々は,リッチIQAという新しいIQA手法を提案し,MOSを超えるリッチな主観的評価情報を探索し,野生における画像品質を予測する。 コンボリューショナル・ビジョン・トランスフォーマー(CvT)の強力な特徴表現能力を活用し、人間の脳の短期記憶機構と長期記憶機構を模倣する3段階画像品質予測ネットワークである。 RichIQAは、リッチな主観的評価ラベルを持つ複数の大規模IQAデータベースにおいて、最先端の競合より優れている。
  論文  参考訳（メタデータ） (2024-09-09T12:00:17Z)
• Vision-Language Consistency Guided Multi-modal Prompt Learning for Blind AI Generated Image Quality Assessment [57.07360640784803]
  視覚言語による多モーダル・プロンプト学習による画像品質評価(AGIQA)を提案する。 具体的には、コントラスト言語-画像事前学習(CLIP)モデルの言語と視覚の分岐に学習可能なテキストと視覚的プロンプトを導入する。 我々は、上記のマルチモーダルプロンプトの最適化を導くために、学習された視覚言語一貫性の知識を用いて、テキストから画像へのアライメント品質予測タスクを設計する。
  論文  参考訳（メタデータ） (2024-06-24T13:45:31Z)
• UniQA: Unified Vision-Language Pre-training for Image Quality and Aesthetic Assessment [23.48816491333345]
  画像品質評価(IQA)と画像審美評価(IAA)は、人間の視覚的品質と美的魅力に対する主観的知覚をシミュレートすることを目的としている。 既存の手法は、異なる学習目的のために、これらのタスクを独立して扱うのが一般的である。 本研究では,2つのタスクの一般的な認識を学習するために,視覚言語による品質と美学の事前学習(UniQA)を提案する。
  論文  参考訳（メタデータ） (2024-06-03T07:40:10Z)
• Descriptive Image Quality Assessment in the Wild [25.503311093471076]
  VLMに基づく画像品質評価(IQA)は、画像品質を言語的に記述し、人間の表現に合わせることを目指している。 野生における画像品質評価(DepictQA-Wild)について紹介する。 本手法は,評価タスクと比較タスク,簡潔かつ詳細な応答,完全参照,非参照シナリオを含む多機能IQAタスクパラダイムを含む。
  論文  参考訳（メタデータ） (2024-05-29T07:49:15Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Learning Generalizable Perceptual Representations for Data-Efficient No-Reference Image Quality Assessment [7.291687946822539]
  最先端のNR-IQA技術の大きな欠点は、多数の人間のアノテーションに依存していることである。 低レベルな特徴の学習を、新しい品質に配慮したコントラスト損失を導入することで、歪みタイプの学習を可能にする。 両経路からゼロショット品質の予測を、完全に盲目な環境で設計する。
  論文  参考訳（メタデータ） (2023-12-08T05:24:21Z)
• Adaptable image quality assessment using meta-reinforcement learning of task amenability [2.499394199589254]
  現代のディープラーニングアルゴリズムは、主観的(人間に基づく)画像品質評価(IQA)に依存している タスクアメニビリティを予測するために、IQAエージェントは、同時に最適化されたタスク予測器を備えた強化学習(RL)を用いて訓練される。 本研究では、IQAエージェントとタスク予測器の両方の適応性を高めるために、転送学習または適応戦略を開発する。
  論文  参考訳（メタデータ） (2021-07-31T11:29:37Z)
• Task-Specific Normalization for Continual Learning of Blind Image Quality Models [105.03239956378465]
  視覚的画像品質評価(BIQA)のための簡易かつ効果的な連続学習法を提案する。 このアプローチの重要なステップは、トレーニング済みのディープニューラルネットワーク(DNN)のすべての畳み込みフィルタを凍結して、安定性を明示的に保証することです。 我々は、各新しいIQAデータセット(タスク)に予測ヘッドを割り当て、対応する正規化パラメータをロードして品質スコアを生成する。 最終的な品質推定は、軽量な$K$-meansゲーティング機構で、すべての頭からの予測の重み付け総和によって計算される。
  論文  参考訳（メタデータ） (2021-07-28T15:21:01Z)
• Continual Learning for Blind Image Quality Assessment [80.55119990128419]
  ブラインド画像品質評価(BIQA)モデルは、サブポピュレーションシフトに継続的に適応できない。 最近の研究では、利用可能なすべての人間評価のIQAデータセットの組み合わせに関するBIQAメソッドのトレーニングが推奨されている。 モデルがIQAデータセットのストリームから継続的に学習するBIQAの継続的学習を策定する。
  論文  参考訳（メタデータ） (2021-02-19T03:07:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。