論文の概要: Interpretable Face Anti-Spoofing: Enhancing Generalization with Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2501.01720v1
• Date: Fri, 03 Jan 2025 09:25:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-06 15:11:37.114578
• Title: Interpretable Face Anti-Spoofing: Enhancing Generalization with Multimodal Large Language Models
• Title（参考訳）: 解釈可能な顔のアンチスプーフィング:多モーダル大言語モデルによる一般化の強化
• Authors: Guosheng Zhang, Keyao Wang, Haixiao Yue, Ajian Liu, Gang Zhang, Kun Yao, Errui Ding, Jingdong Wang,
• Abstract要約: 顔認識システムのセキュリティと信頼性を確保するためには,FAS(Face Anti-Spoofing)が不可欠である。 I-FAS(Interpretable Face Anti-Spoofing)と呼ばれるFASのためのマルチモーダルな大規模言語モデルフレームワークを提案する。 本稿では,FAS画像の高品質なキャプションを生成するために,Spof-Aware Captioning and Filtering(SCF)戦略を提案する。
• 参考スコア（独自算出の注目度）: 58.936893810674896
• License:
• Abstract: Face Anti-Spoofing (FAS) is essential for ensuring the security and reliability of facial recognition systems. Most existing FAS methods are formulated as binary classification tasks, providing confidence scores without interpretation. They exhibit limited generalization in out-of-domain scenarios, such as new environments or unseen spoofing types. In this work, we introduce a multimodal large language model (MLLM) framework for FAS, termed Interpretable Face Anti-Spoofing (I-FAS), which transforms the FAS task into an interpretable visual question answering (VQA) paradigm. Specifically, we propose a Spoof-aware Captioning and Filtering (SCF) strategy to generate high-quality captions for FAS images, enriching the model's supervision with natural language interpretations. To mitigate the impact of noisy captions during training, we develop a Lopsided Language Model (L-LM) loss function that separates loss calculations for judgment and interpretation, prioritizing the optimization of the former. Furthermore, to enhance the model's perception of global visual features, we design a Globally Aware Connector (GAC) to align multi-level visual representations with the language model. Extensive experiments on standard and newly devised One to Eleven cross-domain benchmarks, comprising 12 public datasets, demonstrate that our method significantly outperforms state-of-the-art methods.
• Abstract（参考訳）: 顔認識システムのセキュリティと信頼性を確保するためには,FAS(Face Anti-Spoofing)が不可欠である。 既存のFAS手法の多くはバイナリ分類タスクとして定式化されており、解釈なしで信頼性スコアを提供する。 新しい環境や見えないスプーフィングタイプといったドメイン外のシナリオでは、限定的な一般化が示されています。 本研究では,FASタスクを解釈可能な視覚的質問応答(VQA)パラダイムに変換する,解釈可能な顔アンチスプーフィング(Interpretable Face Anti-Spoofing, I-FAS)と呼ばれるマルチモーダル大規模言語モデル(MLLM)フレームワークを提案する。 具体的には、FAS画像の高品質なキャプションを生成するためのSpof-Aware Captioning and Filtering(SCF)戦略を提案し、自然言語解釈によるモデルの監督を強化する。 学習中の雑音キャプションの影響を軽減するため,評価と解釈のための損失計算を分離し,前者の最適化を優先するLopsided Language Model (L-LM)損失関数を開発した。 さらに,グローバルな視覚的特徴に対するモデルの認識を高めるため,多レベル視覚表現を言語モデルと整合させるグローバル・アウェア・コネクタ(GAC)を設計する。 12の公開データセットからなる標準および新たに開発されたOne to Elevenクロスドメインベンチマークに関する大規模な実験により、我々の手法が最先端の手法を大幅に上回ることを示した。

関連論文リスト

• Preserving Multi-Modal Capabilities of Pre-trained VLMs for Improving Vision-Linguistic Compositionality [69.76121008898677]
  きめ細かい選択校正CLIPは局所的硬陰性損失と選択的校正正規化を統合している。 評価の結果、FSC-CLIPは、最先端モデルと同等の合成性を達成できるだけでなく、強力なマルチモーダル能力を保っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-07T17:16:20Z)
• MFCLIP: Multi-modal Fine-grained CLIP for Generalizable Diffusion Face Forgery Detection [64.29452783056253]
  フォトリアリスティック・フェイスジェネレーション手法の急速な発展は、社会やアカデミックにおいて大きな関心を集めている。 既存のアプローチは主に画像モダリティを用いて顔の偽造パターンをキャプチャするが、きめ細かいノイズやテキストのような他のモダリティは完全には探索されていない。 そこで本研究では,画像ノイズの多点にわたる包括的かつきめ細かなフォージェリートレースをマイニングする,MFCLIP(MF-modal Fine-fine-fine-fine-fine-fine CLIP)モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-15T13:08:59Z)
• Beyond Mask: Rethinking Guidance Types in Few-shot Segmentation [67.35274834837064]
  我々は、テキスト、マスク、ボックス、画像からのプロンプトを統合するユニバーサルビジョン言語フレームワーク(UniFSS)を開発した。 UniFSSは最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-07-16T08:41:01Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Text-Guided Face Recognition using Multi-Granularity Cross-Modal Contrastive Learning [0.0]
  テキスト誘導顔認識(TGFR)を導入し、自然言語記述の形で顔属性を統合することの影響を解析する。 TGFRは、特に低画質の画像において、既存の顔認識モデルよりも顕著に改善されている。
  論文  参考訳（メタデータ） (2023-12-14T22:04:22Z)
• FLIP: Cross-domain Face Anti-spoofing with Language Guidance [19.957293190322332]
  Face Anti-Spoofing (FAS) またはプレゼンテーションアタック検出は、顔認識システムにおいて不可欠な要素である。 最近の視覚変換器(ViT)モデルはFASタスクに有効であることが示されている。 本稿では、自然言語の助けを借りて視覚表現を基盤とした、堅牢なドメイン間FASのための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-28T17:53:20Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。