論文の概要: Blind Image Quality Assessment via Vision-Language Correspondence: A
Multitask Learning Perspective
- arxiv url: http://arxiv.org/abs/2303.14968v1
- Date: Mon, 27 Mar 2023 07:58:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 16:39:21.372022
- Title: Blind Image Quality Assessment via Vision-Language Correspondence: A
Multitask Learning Perspective
- Title(参考訳): 視覚言語対応によるブラインド画像品質評価:マルチタスク学習の視点から
- Authors: Weixia Zhang and Guangtao Zhai and Ying Wei and Xiaokang Yang and Kede
Ma
- Abstract要約: ブラインド画像品質評価(BIQA)は、参照情報なしで画像品質の人間の知覚を予測する。
我々は,他のタスクからの補助的知識を活用するために,BIQAのための汎用的かつ自動化されたマルチタスク学習手法を開発した。
- 参考スコア(独自算出の注目度): 93.56647950778357
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We aim at advancing blind image quality assessment (BIQA), which predicts the
human perception of image quality without any reference information. We develop
a general and automated multitask learning scheme for BIQA to exploit auxiliary
knowledge from other tasks, in a way that the model parameter sharing and the
loss weighting are determined automatically. Specifically, we first describe
all candidate label combinations (from multiple tasks) using a textual
template, and compute the joint probability from the cosine similarities of the
visual-textual embeddings. Predictions of each task can be inferred from the
joint distribution, and optimized by carefully designed loss functions. Through
comprehensive experiments on learning three tasks - BIQA, scene classification,
and distortion type identification, we verify that the proposed BIQA method 1)
benefits from the scene classification and distortion type identification tasks
and outperforms the state-of-the-art on multiple IQA datasets, 2) is more
robust in the group maximum differentiation competition, and 3) realigns the
quality annotations from different IQA datasets more effectively. The source
code is available at https://github.com/zwx8981/LIQE.
- Abstract(参考訳): 画像品質の人間の知覚を基準情報なしで予測するブラインド画像品質評価(BIQA)の進歩を目指す。
モデルパラメータの共有と損失重み付けが自動的に決定される方法で、BIQAの汎用的かつ自動化されたマルチタスク学習手法を開発し、他のタスクからの補助的知識を活用する。
具体的には、まず、テキストテンプレートを用いて(複数のタスクから)全ての候補ラベルの組み合わせを記述し、視覚-テキスト埋め込みのコサイン類似性から結合確率を計算する。
各タスクの予測はジョイント分布から推測でき、注意深く設計された損失関数によって最適化される。
BIQA,シーン分類,歪み型同定という3つの課題の総合的な学習実験を通じて,提案手法の有効性を検証する。
1)シーン分類と歪み型識別の利点を生かし,複数のIQAデータセットの最先端性能を向上する。
2)群最大分化競争においてより堅牢であり,
3) さまざまなIQAデータセットの品質アノテーションをより効果的に調整する。
ソースコードはhttps://github.com/zwx8981/LIQEで入手できる。
関連論文リスト
- QGFace: Quality-Guided Joint Training For Mixed-Quality Face Recognition [2.8519768339207356]
混合品質顔認証のための新しい品質誘導型共同訓練手法を提案する。
品質分割に基づいて、分類に基づく手法が本社データ学習に用いられている。
識別情報を欠いたLQ画像に対しては,自己教師付き画像イメージコントラスト学習を用いて学習する。
論文 参考訳(メタデータ) (2023-12-29T06:56:22Z) - Depicting Beyond Scores: Advancing Image Quality Assessment through
Multi-modal Language Models [29.87548490316521]
本稿では,従来のスコアベース手法の制約を克服するDepicted Image Quality Assessment法(DepictQA)を提案する。
DepictQAは、マルチモーダル大言語モデル(MLLM)を活用することで、画像品質の詳細な、言語ベース、人間ライクな評価を可能にする
本研究は,非参照アプリケーションにおける全参照データセットの有用性を実証し,言語ベースのIQA手法が個人の好みに合わせてカスタマイズできる可能性を示唆している。
論文 参考訳(メタデータ) (2023-12-14T14:10:02Z) - Learning Generalizable Perceptual Representations for Data-Efficient
No-Reference Image Quality Assessment [7.291687946822539]
最先端のNR-IQA技術の大きな欠点は、多数の人間のアノテーションに依存していることである。
低レベルな特徴の学習を、新しい品質に配慮したコントラスト損失を導入することで、歪みタイプの学習を可能にする。
両経路からゼロショット品質の予測を、完全に盲目な環境で設計する。
論文 参考訳(メタデータ) (2023-12-08T05:24:21Z) - Assessor360: Multi-sequence Network for Blind Omnidirectional Image
Quality Assessment [50.82681686110528]
Blind Omnidirectional Image Quality Assessment (BOIQA)は、全方位画像(ODI)の人間の知覚品質を客観的に評価することを目的としている。
ODIの品質評価は、既存のBOIQAパイプラインがオブザーバのブラウジングプロセスのモデリングを欠いているという事実によって著しく妨げられている。
Assessor360と呼ばれるBOIQAのための新しいマルチシーケンスネットワークを提案する。
論文 参考訳(メタデータ) (2023-05-18T13:55:28Z) - Exploring CLIP for Assessing the Look and Feel of Images [87.97623543523858]
ゼロショット方式で画像の品質知覚(ルック)と抽象知覚(フィール)の両方を評価するために,コントラスト言語-画像事前学習(CLIP)モデルを導入する。
以上の結果から,CLIPは知覚的評価によく適合する有意義な先行情報を捉えることが示唆された。
論文 参考訳(メタデータ) (2022-07-25T17:58:16Z) - MSTRIQ: No Reference Image Quality Assessment Based on Swin Transformer
with Multi-Stage Fusion [8.338999282303755]
本稿では,Swin Transformerに基づく新しいアルゴリズムを提案する。
ローカル機能とグローバル機能の両方から情報を集約して、品質をより正確に予測する。
NTIRE 2022 Perceptual Image Quality Assessment Challengeのノーレファレンストラックで2位。
論文 参考訳(メタデータ) (2022-05-20T11:34:35Z) - Adaptable image quality assessment using meta-reinforcement learning of
task amenability [2.499394199589254]
現代のディープラーニングアルゴリズムは、主観的(人間に基づく)画像品質評価(IQA)に依存している
タスクアメニビリティを予測するために、IQAエージェントは、同時に最適化されたタスク予測器を備えた強化学習(RL)を用いて訓練される。
本研究では、IQAエージェントとタスク予測器の両方の適応性を高めるために、転送学習または適応戦略を開発する。
論文 参考訳(メタデータ) (2021-07-31T11:29:37Z) - Task-Specific Normalization for Continual Learning of Blind Image
Quality Models [105.03239956378465]
視覚的画像品質評価(BIQA)のための簡易かつ効果的な連続学習法を提案する。
このアプローチの重要なステップは、トレーニング済みのディープニューラルネットワーク(DNN)のすべての畳み込みフィルタを凍結して、安定性を明示的に保証することです。
我々は、各新しいIQAデータセット(タスク)に予測ヘッドを割り当て、対応する正規化パラメータをロードして品質スコアを生成する。
最終的な品質推定は、軽量な$K$-meansゲーティング機構で、すべての頭からの予測の重み付け総和によって計算される。
論文 参考訳(メタデータ) (2021-07-28T15:21:01Z) - Continual Learning for Blind Image Quality Assessment [80.55119990128419]
ブラインド画像品質評価(BIQA)モデルは、サブポピュレーションシフトに継続的に適応できない。
最近の研究では、利用可能なすべての人間評価のIQAデータセットの組み合わせに関するBIQAメソッドのトレーニングが推奨されている。
モデルがIQAデータセットのストリームから継続的に学習するBIQAの継続的学習を策定する。
論文 参考訳(メタデータ) (2021-02-19T03:07:01Z) - Generating Diverse and Consistent QA pairs from Contexts with
Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。
我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
論文 参考訳(メタデータ) (2020-05-28T08:26:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。