論文の概要: Latent-OFER: Detect, Mask, and Reconstruct with Latent Vectors for
Occluded Facial Expression Recognition
- arxiv url: http://arxiv.org/abs/2307.11404v1
- Date: Fri, 21 Jul 2023 07:56:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-24 13:22:32.795126
- Title: Latent-OFER: Detect, Mask, and Reconstruct with Latent Vectors for
Occluded Facial Expression Recognition
- Title（参考訳）: Latent-OFER: 顔表情認識のための潜在ベクトルを用いた検出・マスク・再構成
- Authors: Isack Lee, Eungi Lee, Seok Bong Yoo
- Abstract要約: 提案手法は, 顔の隠蔽部分を, 隠蔽されていないかのように検出し, 認識し, FER精度を向上する。
まず、視覚変換器(ViT)ベースのオクルージョンパッチ検出器は、隠蔽されたパッチから潜在ベクトルのみを訓練することで、隠蔽された位置をマスクする。
第2に、ハイブリッド再構成ネットワークは、ViTと畳み込みニューラルネットワーク(CNN)を用いて、完全な画像としてマスキング位置を生成する。
最後に、式関連潜時ベクトル抽出器は、CNNに基づくクラスアクティベーションマップを適用して、すべての潜時ベクトルから式関連情報を検索し、使用する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Most research on facial expression recognition (FER) is conducted in highly
controlled environments, but its performance is often unacceptable when applied
to real-world situations. This is because when unexpected objects occlude the
face, the FER network faces difficulties extracting facial features and
accurately predicting facial expressions. Therefore, occluded FER (OFER) is a
challenging problem. Previous studies on occlusion-aware FER have typically
required fully annotated facial images for training. However, collecting facial
images with various occlusions and expression annotations is time-consuming and
expensive. Latent-OFER, the proposed method, can detect occlusions, restore
occluded parts of the face as if they were unoccluded, and recognize them,
improving FER accuracy. This approach involves three steps: First, the vision
transformer (ViT)-based occlusion patch detector masks the occluded position by
training only latent vectors from the unoccluded patches using the support
vector data description algorithm. Second, the hybrid reconstruction network
generates the masking position as a complete image using the ViT and
convolutional neural network (CNN). Last, the expression-relevant latent vector
extractor retrieves and uses expression-related information from all latent
vectors by applying a CNN-based class activation map. This mechanism has a
significant advantage in preventing performance degradation from occlusion by
unseen objects. The experimental results on several databases demonstrate the
superiority of the proposed method over state-of-the-art methods.
- Abstract（参考訳）: 表情認識(fer)に関するほとんどの研究は高度に制御された環境で行われているが、実際の状況に適用するとその性能は受け入れられないことが多い。
これは、予期せぬ物体が顔を遮蔽すると、ferネットワークは顔の特徴を抽出し、表情を正確に予測することが困難になるためである。
したがって、隠蔽FER(OFER)は難しい問題である。
Occclusion-aware FER に関する以前の研究は、訓練のために完全に注釈付けされた顔画像を必要とするのが一般的である。
しかし、様々な閉塞や表現アノテーションによる顔画像の収集には時間と費用がかかる。
提案手法であるLatent-OFERは、隠蔽を検知し、顔の隠蔽部分を隠蔽していないかのように復元し、認識し、FER精度を向上させる。
まず、視覚トランスフォーマ(vit)ベースのオクルージョンパッチ検出器は、サポートベクターデータ記述アルゴリズムを用いて、未オクルードパッチから潜在ベクターのみをトレーニングすることにより、オクルード位置をマスクする。
第2に、ハイブリッド再構成ネットワークは、ViTと畳み込みニューラルネットワーク(CNN)を用いて、完全な画像としてマスキング位置を生成する。
最後に、式関連潜在ベクター抽出器は、cnnベースのクラスアクティベーションマップを適用して、すべての潜在ベクターから表現関連情報を検索して使用する。
この機構は、目に見えない物体による性能劣化を防止する上で大きな利点がある。
複数のデータベースに対する実験結果から,提案手法が最先端手法よりも優れていることを示す。
関連論文リスト
- OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
拡散モデルは、顔の修復において顕著な性能を示した。
顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。
その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
論文 参考訳（メタデータ） (2024-11-26T07:07:48Z) - DiffusionFake: Enhancing Generalization in Deepfake Detection via Guided Stable Diffusion [94.46904504076124]
ディープフェイク技術は、顔交換を極めて現実的にし、偽造された顔コンテンツの使用に対する懸念を高めている。
既存の方法は、顔操作の多様な性質のため、目に見えない領域に一般化するのに苦労することが多い。
顔偽造者の生成過程を逆転させて検出モデルの一般化を促進する新しいフレームワークであるDiffusionFakeを紹介する。
論文 参考訳（メタデータ） (2024-10-06T06:22:43Z) - UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。
我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
論文 参考訳（メタデータ） (2024-07-26T20:51:54Z) - Seeing through the Mask: Multi-task Generative Mask Decoupling Face
Recognition [47.248075664420874]
現在の一般的な顔認識システムは、隠蔽シーンに遭遇する際の重大な性能劣化に悩まされている。
本稿では,これら2つのタスクを協調的に扱うために,マルチタスクのgEnerative mask dEcoupling Face Recognition (MEER) ネットワークを提案する。
まず,マスクと識別情報を分離する新しいマスクデカップリングモジュールを提案する。
論文 参考訳（メタデータ） (2023-11-20T03:23:03Z) - COMICS: End-to-end Bi-grained Contrastive Learning for Multi-face Forgery Detection [56.7599217711363]
顔偽造認識法は一度に1つの顔しか処理できない。
ほとんどの顔偽造認識法は一度に1つの顔しか処理できない。
マルチフェイスフォージェリ検出のためのエンドツーエンドフレームワークであるCOMICSを提案する。
論文 参考訳（メタデータ） (2023-08-03T03:37:13Z) - Mask or Non-Mask? Robust Face Mask Detector via Triplet-Consistency
Representation Learning [23.062034116854875]
新型コロナウイルスの感染拡大を遅らせる効果的な方法の1つは、ワクチンや薬品がない場合、マスクを着用することである。
公共の場でのマスクや覆いの使用を義務付けるには、面倒で注意が集中的な人的資源の追加が必要である。
本稿では,フィードフォワード畳み込みニューラルネットワークの効果的な注目を実現するために,コンテキストアテンションモジュールを用いたフェイスマスク検出フレームワークを提案する。
論文 参考訳（メタデータ） (2021-10-01T16:44:06Z) - End2End Occluded Face Recognition by Masking Corrupted Features [82.27588990277192]
最先端の一般的な顔認識モデルは、隠蔽された顔画像に対してうまく一般化しない。
本稿では,1つのエンドツーエンドのディープニューラルネットワークに基づいて,オクルージョンに頑健な新しい顔認識手法を提案する。
我々のアプローチは、深い畳み込みニューラルネットワークから破損した特徴を発見し、動的に学習されたマスクによってそれらをきれいにする。
論文 参考訳（メタデータ） (2021-08-21T09:08:41Z) - Occlusion-Adaptive Deep Network for Robust Facial Expression Recognition [56.11054589916299]
本研究では,隠蔽領域から腐敗した特徴を発見・破棄するためのランドマーク誘導型アテンションブランチを提案する。
注意マップが最初に作成され、特定の顔部が閉鎖されているかどうかを示し、我々のモデルを非閉鎖領域に誘導する。
これにより、顔が部分的に隠されている場合でも、表情認識システムが回復することができる。
論文 参考訳（メタデータ） (2020-05-12T20:42:55Z) - Fake face detection via adaptive manipulation traces extraction network [9.892936175042939]
本稿では,画像内容の抑制と操作トレースの強調のために,適応的な操作トレース抽出ネットワーク (AMTEN) を提案する。
AMTENは適応的な畳み込み層を利用して画像内の操作トレースを予測する。
様々なFIM技術によって生成された偽の顔画像を検出する場合、AMTENnetは平均精度98.52%に達する。
論文 参考訳（メタデータ） (2020-05-11T09:16:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。