論文の概要: Explainability of the Implications of Supervised and Unsupervised Face Image Quality Estimations Through Activation Map Variation Analyses in Face Recognition Models

• arxiv url: http://arxiv.org/abs/2112.04827v1
• Date: Thu, 9 Dec 2021 10:52:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-10 20:36:37.189884
• Title: Explainability of the Implications of Supervised and Unsupervised Face Image Quality Estimations Through Activation Map Variation Analyses in Face Recognition Models
• Title（参考訳）: 顔認識モデルにおけるアクティベーションマップ変動解析による教師付きおよび教師なし顔画像品質推定の意義の解明
• Authors: Biying Fu and Naser Damer
• Abstract要約: 本稿では、顔画像品質評価法(FIQA)の推論を導出する新しい説明可能性ツールを提案する。 提案したツールと解析結果から,高画質の画像が中央面領域外の領域で一貫した低活性化を引き起こすことが示唆された。 また,低画質画像がFRモデルの空間的アクティベーションを持つ傾向を示し,高画質画像と期待するものとは大きく異なることを示す。
• 参考スコア（独自算出の注目度）: 2.8174125805742416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is challenging to derive explainability for unsupervised or statistical-based face image quality assessment (FIQA) methods. In this work, we propose a novel set of explainability tools to derive reasoning for different FIQA decisions and their face recognition (FR) performance implications. We avoid limiting the deployment of our tools to certain FIQA methods by basing our analyses on the behavior of FR models when processing samples with different FIQA decisions. This leads to explainability tools that can be applied for any FIQA method with any CNN-based FR solution using activation mapping to exhibit the network's activation derived from the face embedding. To avoid the low discrimination between the general spatial activation mapping of low and high-quality images in FR models, we build our explainability tools in a higher derivative space by analyzing the variation of the FR activation maps of image sets with different quality decisions. We demonstrate our tools and analyze the findings on four FIQA methods, by presenting inter and intra-FIQA method analyses. Our proposed tools and the analyses based on them point out, among other conclusions, that high-quality images typically cause consistent low activation on the areas outside of the central face region, while low-quality images, despite general low activation, have high variations of activation in such areas. Our explainability tools also extend to analyzing single images where we show that low-quality images tend to have an FR model spatial activation that strongly differs from what is expected from a high-quality image where this difference also tends to appear more in areas outside of the central face region and does correspond to issues like extreme poses and facial occlusions. The implementation of the proposed tools is accessible here [link].
• Abstract（参考訳）: 教師なしまたは統計ベースの顔画像品質評価法(FIQA)の説明可能性の導出は困難である。 そこで本研究では,FIQAの異なる決定とその顔認識(FR)性能に関する推論を導出する,新しい説明可能性ツールを提案する。 我々は、FIQA決定の異なるサンプルを処理する際に、FRモデルの振る舞いを分析することによって、ツールの特定のFIQAメソッドへの展開を制限することを避ける。 これにより、フェース埋め込みから導かれるネットワークの活性化を示すためにアクティベーションマッピングを使用する任意のCNNベースのFRソリューションを持つ任意のFIQAメソッドに適用可能な説明可能性ツールが導かれる。 FRモデルにおける画像の空間的アクティベーションマッピングと高画質画像との区別の低さを回避するために,画像集合のFRアクティベーションマップの変動を異なる品質決定で解析することにより,高階微分空間における説明可能性ツールを構築した。 本手法を実証し,FIQA法とFIQA法を併用して4種類のFIQA法について解析を行った。 提案手法と解析結果から,高画質画像は一般的に中央面領域外の領域で一貫した低活性化を引き起こすが,低画質画像は一般的には低活性化にもかかわらず,それらの領域では高い活性化のばらつきがあることが示唆された。 また,低画質画像がFRモデルの空間的アクティベーションを持つ傾向を示し,この差が中心の顔領域以外の領域にも現れる傾向があり,極端なポーズや顔のオクルージョンといった問題に対応しているような高画質画像とは大きく異なる傾向を示した。 提案されたツールの実装はここでアクセスできます[リンク]。

関連論文リスト

• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Comparison of No-Reference Image Quality Models via MAP Estimation in Diffusion Latents [99.19391983670569]
  NR-IQAモデルは、画像強調のための最大後部推定(MAP)フレームワークにプラグイン可能であることを示す。 異なるNR-IQAモデルは異なる拡張イメージを誘導し、最終的には精神物理学的なテストを受ける。 これにより, NR-IQAモデルの比較を行う新たな計算手法が提案される。
  論文  参考訳（メタデータ） (2024-03-11T03:35:41Z)
• Diffusion Model Based Visual Compensation Guidance and Visual Difference Analysis for No-Reference Image Quality Assessment [82.13830107682232]
  本稿では, 複雑な関係をモデル化する能力を示す, 最先端(SOTA)生成モデルを提案する。 生成した拡張画像とノイズを含む画像を利用する新しい拡散復元ネットワークを考案する。 2つの視覚評価枝は、得られた高レベル特徴情報を包括的に解析するように設計されている。
  論文  参考訳（メタデータ） (2024-02-22T09:39:46Z)
• Adaptive Feature Selection for No-Reference Image Quality Assessment by Mitigating Semantic Noise Sensitivity [55.399230250413986]
  上流タスクから有害なセマンティックノイズを除去するためのQFM-IQM(Quality-Aware Feature Matching IQA Metric)を提案する。 提案手法は,8つの標準IQAデータセット上での最先端NR-IQA法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-12-11T06:50:27Z)
• Fair SA: Sensitivity Analysis for Fairness in Face Recognition [1.7149364927872013]
  汎用フレームワークの形で頑健性に基づく新しい公正性評価を提案する。 我々は、一般的な顔認識モデルの性能を分析し、画像が摂動状態にある場合、ある種のサブグループが不利であることを実証的に示す。
  論文  参考訳（メタデータ） (2022-02-08T01:16:09Z)
• Learning Transformer Features for Image Quality Assessment [53.51379676690971]
  本稿では,CNNバックボーンとトランスフォーマーエンコーダを用いて特徴抽出を行うIQAフレームワークを提案する。 提案するフレームワークはFRモードとNRモードの両方と互換性があり、共同トレーニング方式が可能である。
  論文  参考訳（メタデータ） (2021-12-01T13:23:00Z)
• Cross-Quality LFW: A Database for Analyzing Cross-Resolution Image Face Recognition in Unconstrained Environments [8.368543987898732]
  現実世界の顔認識アプリケーションは、異なるキャプチャ条件のために、最適な画像の品質や解像度を扱うことが多い。 最近のクロスレゾリューション顔認識手法は、画像品質における現実のエッジケースとの距離を測定するために、単純で任意で非現実的なダウンスケールとアップスケーリングの手法を用いている。 本稿では,Wildにおける有名なラベル付き顔から派生した,新しい標準ベンチマークデータセットと評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2021-08-23T17:04:32Z)
• MAFER: a Multi-resolution Approach to Facial Expression Recognition [9.878384185493623]
  そこで本稿では,表情認識に携わる深層学習モデルを訓練するための2段階学習手法であるMAFERを提案する。 MAFERの関連する特徴は、タスクに依存しない、すなわち、他の客観的関連技術に補完的に使用できることである。
  論文  参考訳（メタデータ） (2021-05-06T07:26:58Z)
• Face Anti-Spoofing Via Disentangled Representation Learning [90.90512800361742]
  顔認識システムのセキュリティには、顔の偽造が不可欠だ。 本稿では,画像から生意気な特徴やコンテンツの特徴を乱す顔のアンチ・スプーフィングの新たな視点を提案する。
  論文  参考訳（メタデータ） (2020-08-19T03:54:23Z)
• No-Reference Image Quality Assessment via Feature Fusion and Multi-Task Learning [29.19484863898778]
  ブラインドまたはノン参照画像品質評価(NR-IQA)は基本的な問題であり、未解決であり、難しい問題である。 マルチタスク学習に基づく簡易かつ効果的な汎用的ノンリフレクション(NR)画像品質評価フレームワークを提案する。 このモデルでは、歪み型と主観的な人間のスコアを用いて画質を推定する。
  論文  参考訳（メタデータ） (2020-06-06T05:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。