論文の概要: Learning Knowledge-based Prompts for Robust 3D Mask Presentation Attack Detection

• arxiv url: http://arxiv.org/abs/2505.03610v1
• Date: Tue, 06 May 2025 15:09:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 18:50:11.443786
• Title: Learning Knowledge-based Prompts for Robust 3D Mask Presentation Attack Detection
• Title（参考訳）: ロバストな3次元マスク提示検出のための知識ベースプロンプト
• Authors: Fangling Jiang, Qi Li, Bing Liu, Weining Wang, Caifeng Shan, Zhenan Sun, Ming-Hsuan Yang,
• Abstract要約: 本稿では,3次元マスク提示攻撃検出のための視覚言語モデルの強力な一般化能力を検討するための,知識に基づく新しいプロンプト学習フレームワークを提案する。 実験により,提案手法は最先端のシナリオ内およびクロスシナリオ検出性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 84.21257150497254
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: 3D mask presentation attack detection is crucial for protecting face recognition systems against the rising threat of 3D mask attacks. While most existing methods utilize multimodal features or remote photoplethysmography (rPPG) signals to distinguish between real faces and 3D masks, they face significant challenges, such as the high costs associated with multimodal sensors and limited generalization ability. Detection-related text descriptions offer concise, universal information and are cost-effective to obtain. However, the potential of vision-language multimodal features for 3D mask presentation attack detection remains unexplored. In this paper, we propose a novel knowledge-based prompt learning framework to explore the strong generalization capability of vision-language models for 3D mask presentation attack detection. Specifically, our approach incorporates entities and triples from knowledge graphs into the prompt learning process, generating fine-grained, task-specific explicit prompts that effectively harness the knowledge embedded in pre-trained vision-language models. Furthermore, considering different input images may emphasize distinct knowledge graph elements, we introduce a visual-specific knowledge filter based on an attention mechanism to refine relevant elements according to the visual context. Additionally, we leverage causal graph theory insights into the prompt learning process to further enhance the generalization ability of our method. During training, a spurious correlation elimination paradigm is employed, which removes category-irrelevant local image patches using guidance from knowledge-based text features, fostering the learning of generalized causal prompts that align with category-relevant local patches. Experimental results demonstrate that the proposed method achieves state-of-the-art intra- and cross-scenario detection performance on benchmark datasets.
• Abstract（参考訳）: 3次元マスク提示攻撃検出は,3次元マスク攻撃の脅威が増大するのに対して,顔認識システムを保護するために重要である。 既存のほとんどの手法では、実顔と3Dマスクを区別するために、マルチモーダルの特徴やリモート光断層撮影(rPPG)信号を使用しているが、マルチモーダルセンサーと関連する高コストや一般化能力の制限など、大きな課題に直面している。 検出関連テキスト記述は簡潔で普遍的な情報を提供し、入手に費用対効果がある。 しかし,3次元マスク提示攻撃検出における視覚言語マルチモーダル機能の可能性は未解明のままである。 本稿では,3次元マスク提示攻撃検出のための視覚言語モデルの強力な一般化能力を探求する,知識に基づく新しいプロンプト学習フレームワークを提案する。 具体的には、知識グラフからのエンティティとトリプルを即時学習プロセスに組み込んで、学習済みの視覚言語モデルに埋め込まれた知識を効果的に活用する、きめ細かいタスク固有の明示的なプロンプトを生成する。 さらに、異なる入力画像が異なる知識グラフ要素を強調することを考慮し、視覚コンテキストに応じて関連要素を洗練するための注意機構に基づく視覚固有の知識フィルタを導入する。 さらに,本手法の一般化能力を高めるために,因果グラフ理論のインサイトを即時学習プロセスに活用する。 学習中に、知識ベースのテキスト特徴からのガイダンスを用いてカテゴリ非関連ローカルイメージパッチを除去し、カテゴリ関連ローカルパッチと整合する一般化因果的プロンプトの学習を促進する、素早い相関除去パラダイムが採用されている。 実験結果から,提案手法はベンチマークデータセット上で,最先端のインターセサリオ検出およびクロスセサリオ検出性能を実現することが示された。

関連論文リスト

• 3D-AffordanceLLM: Harnessing Large Language Models for Open-Vocabulary Affordance Detection in 3D Worlds [81.14476072159049]
  3D Affordance Detectionは、様々なロボットタスクの幅広い応用において難しい問題である。 我々は従来の割当検出パラダイムをテキスト推論改善(IRAS)タスクに再構成する。 本研究では,3次元オープンシーンにおけるアベイランス検出のためのフレームワークである3D-ADLLMを提案する。
  論文  参考訳（メタデータ） (2025-02-27T12:29:44Z)
• ForgeryGPT: Multimodal Large Language Model For Explainable Image Forgery Detection and Localization [49.12958154544838]
  ForgeryGPTはImage Forgery DetectionとLocalizationタスクを進化させる新しいフレームワークである。 多様な言語的特徴空間からの偽画像の高次相関をキャプチャする。 新たにカスタマイズされたLarge Language Model (LLM)アーキテクチャを通じて、説明可能な生成と対話を可能にする。
  論文  参考訳（メタデータ） (2024-10-14T07:56:51Z)
• Free-ATM: Exploring Unsupervised Learning on Diffusion-Generated Images with Free Attention Masks [64.67735676127208]
  テキストと画像の拡散モデルは、画像認識の恩恵を受ける大きな可能性を示している。 有望ではあるが、拡散生成画像の教師なし学習に特化した調査は不十分である。 上記フリーアテンションマスクをフル活用することで、カスタマイズされたソリューションを導入する。
  論文  参考訳（メタデータ） (2023-08-13T10:07:46Z)
• Learning Robust Visual-Semantic Embedding for Generalizable Person Re-identification [11.562980171753162]
  一般化可能な人物識別(Re-ID)は、機械学習とコンピュータビジョンにおいて非常にホットな研究トピックである。 従来の手法は主に視覚表現学習に焦点をあてるが、訓練中の意味的特徴の可能性を検討することは無視される。 MMETと呼ばれるマルチモーダル等価変換器を提案し,より堅牢なビジュアル・セマンティックな埋め込み学習を実現する。
  論文  参考訳（メタデータ） (2023-04-19T08:37:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。