論文の概要: Latent-OFER: Detect, Mask, and Reconstruct with Latent Vectors for Occluded Facial Expression Recognition

• arxiv url: http://arxiv.org/abs/2307.11404v1
• Date: Fri, 21 Jul 2023 07:56:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-24 13:22:32.795126
• Title: Latent-OFER: Detect, Mask, and Reconstruct with Latent Vectors for Occluded Facial Expression Recognition
• Title（参考訳）: Latent-OFER: 顔表情認識のための潜在ベクトルを用いた検出・マスク・再構成
• Authors: Isack Lee, Eungi Lee, Seok Bong Yoo
• Abstract要約: 提案手法は, 顔の隠蔽部分を, 隠蔽されていないかのように検出し, 認識し, FER精度を向上する。 まず、視覚変換器(ViT)ベースのオクルージョンパッチ検出器は、隠蔽されたパッチから潜在ベクトルのみを訓練することで、隠蔽された位置をマスクする。 第2に、ハイブリッド再構成ネットワークは、ViTと畳み込みニューラルネットワーク(CNN)を用いて、完全な画像としてマスキング位置を生成する。 最後に、式関連潜時ベクトル抽出器は、CNNに基づくクラスアクティベーションマップを適用して、すべての潜時ベクトルから式関連情報を検索し、使用する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Most research on facial expression recognition (FER) is conducted in highly controlled environments, but its performance is often unacceptable when applied to real-world situations. This is because when unexpected objects occlude the face, the FER network faces difficulties extracting facial features and accurately predicting facial expressions. Therefore, occluded FER (OFER) is a challenging problem. Previous studies on occlusion-aware FER have typically required fully annotated facial images for training. However, collecting facial images with various occlusions and expression annotations is time-consuming and expensive. Latent-OFER, the proposed method, can detect occlusions, restore occluded parts of the face as if they were unoccluded, and recognize them, improving FER accuracy. This approach involves three steps: First, the vision transformer (ViT)-based occlusion patch detector masks the occluded position by training only latent vectors from the unoccluded patches using the support vector data description algorithm. Second, the hybrid reconstruction network generates the masking position as a complete image using the ViT and convolutional neural network (CNN). Last, the expression-relevant latent vector extractor retrieves and uses expression-related information from all latent vectors by applying a CNN-based class activation map. This mechanism has a significant advantage in preventing performance degradation from occlusion by unseen objects. The experimental results on several databases demonstrate the superiority of the proposed method over state-of-the-art methods.
• Abstract（参考訳）: 表情認識(fer)に関するほとんどの研究は高度に制御された環境で行われているが、実際の状況に適用するとその性能は受け入れられないことが多い。 これは、予期せぬ物体が顔を遮蔽すると、ferネットワークは顔の特徴を抽出し、表情を正確に予測することが困難になるためである。 したがって、隠蔽FER(OFER)は難しい問題である。 Occclusion-aware FER に関する以前の研究は、訓練のために完全に注釈付けされた顔画像を必要とするのが一般的である。 しかし、様々な閉塞や表現アノテーションによる顔画像の収集には時間と費用がかかる。 提案手法であるLatent-OFERは、隠蔽を検知し、顔の隠蔽部分を隠蔽していないかのように復元し、認識し、FER精度を向上させる。 まず、視覚トランスフォーマ(vit)ベースのオクルージョンパッチ検出器は、サポートベクターデータ記述アルゴリズムを用いて、未オクルードパッチから潜在ベクターのみをトレーニングすることにより、オクルード位置をマスクする。 第2に、ハイブリッド再構成ネットワークは、ViTと畳み込みニューラルネットワーク(CNN)を用いて、完全な画像としてマスキング位置を生成する。 最後に、式関連潜在ベクター抽出器は、cnnベースのクラスアクティベーションマップを適用して、すべての潜在ベクターから表現関連情報を検索して使用する。 この機構は、目に見えない物体による性能劣化を防止する上で大きな利点がある。 複数のデータベースに対する実験結果から,提案手法が最先端手法よりも優れていることを示す。

関連論文リスト

• Seeing through the Mask: Multi-task Generative Mask Decoupling Face Recognition [47.248075664420874]
  現在の一般的な顔認識システムは、隠蔽シーンに遭遇する際の重大な性能劣化に悩まされている。 本稿では,これら2つのタスクを協調的に扱うために,マルチタスクのgEnerative mask dEcoupling Face Recognition (MEER) ネットワークを提案する。 まず,マスクと識別情報を分離する新しいマスクデカップリングモジュールを提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:23:03Z)
• COMICS: End-to-end Bi-grained Contrastive Learning for Multi-face Forgery Detection [56.7599217711363]
  顔偽造認識法は一度に1つの顔しか処理できない。 ほとんどの顔偽造認識法は一度に1つの顔しか処理できない。 マルチフェイスフォージェリ検出のためのエンドツーエンドフレームワークであるCOMICSを提案する。
  論文  参考訳（メタデータ） (2023-08-03T03:37:13Z)
• Mask or Non-Mask? Robust Face Mask Detector via Triplet-Consistency Representation Learning [23.062034116854875]
  新型コロナウイルスの感染拡大を遅らせる効果的な方法の1つは、ワクチンや薬品がない場合、マスクを着用することである。 公共の場でのマスクや覆いの使用を義務付けるには、面倒で注意が集中的な人的資源の追加が必要である。 本稿では,フィードフォワード畳み込みニューラルネットワークの効果的な注目を実現するために,コンテキストアテンションモジュールを用いたフェイスマスク検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-01T16:44:06Z)
• End2End Occluded Face Recognition by Masking Corrupted Features [82.27588990277192]
  最先端の一般的な顔認識モデルは、隠蔽された顔画像に対してうまく一般化しない。 本稿では,1つのエンドツーエンドのディープニューラルネットワークに基づいて,オクルージョンに頑健な新しい顔認識手法を提案する。 我々のアプローチは、深い畳み込みニューラルネットワークから破損した特徴を発見し、動的に学習されたマスクによってそれらをきれいにする。
  論文  参考訳（メタデータ） (2021-08-21T09:08:41Z)
• Mutual Information Regularized Identity-aware Facial ExpressionRecognition in Compressed Video [27.602648102881535]
  本稿では,相互情報(MI)を最小化するための新しい協調ミンミニゲームを提案する。 同一人物からの識別ラベルや複数の表現サンプルは不要である。 我々のソリューションは、最近のデコードされた画像ベース手法に匹敵する、あるいは優れた性能を実現することができる。
  論文  参考訳（メタデータ） (2020-10-20T21:42:18Z)
• Occlusion-Adaptive Deep Network for Robust Facial Expression Recognition [56.11054589916299]
  本研究では,隠蔽領域から腐敗した特徴を発見・破棄するためのランドマーク誘導型アテンションブランチを提案する。 注意マップが最初に作成され、特定の顔部が閉鎖されているかどうかを示し、我々のモデルを非閉鎖領域に誘導する。 これにより、顔が部分的に隠されている場合でも、表情認識システムが回復することができる。
  論文  参考訳（メタデータ） (2020-05-12T20:42:55Z)
• Fake face detection via adaptive manipulation traces extraction network [9.892936175042939]
  本稿では,画像内容の抑制と操作トレースの強調のために,適応的な操作トレース抽出ネットワーク (AMTEN) を提案する。 AMTENは適応的な畳み込み層を利用して画像内の操作トレースを予測する。 様々なFIM技術によって生成された偽の顔画像を検出する場合、AMTENnetは平均精度98.52%に達する。
  論文  参考訳（メタデータ） (2020-05-11T09:16:39Z)
• Deep Spatial Gradient and Temporal Depth Learning for Face Anti-spoofing [61.82466976737915]
  深層学習は、顔の反偽造の最も効果的な方法の1つとして証明されている。 2つの洞察に基づいて,複数フレームからの提示攻撃を検出する新しい手法を提案する。 提案手法は,5つのベンチマークデータセットの最先端結果を実現する。
  論文  参考訳（メタデータ） (2020-03-18T06:11:20Z)
• Face Anti-Spoofing by Learning Polarization Cues in a Real-World Scenario [50.36920272392624]
  顔の偽造は生体認証アプリケーションにおけるセキュリティ侵害を防ぐ鍵となる。 RGBと赤外線画像を用いたディープラーニング手法は,新たな攻撃に対する大量のトレーニングデータを必要とする。 本研究では,実顔の偏光画像の物理的特徴を自動的に学習することにより,現実のシナリオにおける顔のアンチ・スプーフィング手法を提案する。
  論文  参考訳（メタデータ） (2020-03-18T03:04:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。