論文の概要: BIG-MoE: Bypass Isolated Gating MoE for Generalized Multimodal Face Anti-Spoofing

• arxiv url: http://arxiv.org/abs/2412.18065v1
• Date: Tue, 24 Dec 2024 00:28:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:55:09.883132
• Title: BIG-MoE: Bypass Isolated Gating MoE for Generalized Multimodal Face Anti-Spoofing
• Title（参考訳）: BIG-MoE:汎用マルチモーダル顔アンチスポーフィングのための分離ゲーティングMoEのバイパス
• Authors: Yingjie Ma, Zitong Yu, Xun Lin, Weicheng Xie, Linlin Shen,
• Abstract要約: マルチモーダル・フェイス・アンチ・スプーフィング(FAS)は、プレゼンテーションアタックに対抗するために不可欠である。 既存の技術は、モダリティバイアスや不均衡、ドメインシフトといった問題に直面している。 本稿では,これらの問題を効果的に解決するためのMixture of Experts(MoE)モデルについて紹介する。
• 参考スコア（独自算出の注目度）: 45.59998158610864
• License:
• Abstract: In the domain of facial recognition security, multimodal Face Anti-Spoofing (FAS) is essential for countering presentation attacks. However, existing technologies encounter challenges due to modality biases and imbalances, as well as domain shifts. Our research introduces a Mixture of Experts (MoE) model to address these issues effectively. We identified three limitations in traditional MoE approaches to multimodal FAS: (1) Coarse-grained experts' inability to capture nuanced spoofing indicators; (2) Gated networks' susceptibility to input noise affecting decision-making; (3) MoE's sensitivity to prompt tokens leading to overfitting with conventional learning methods. To mitigate these, we propose the Bypass Isolated Gating MoE (BIG-MoE) framework, featuring: (1) Fine-grained experts for enhanced detection of subtle spoofing cues; (2) An isolation gating mechanism to counteract input noise; (3) A novel differential convolutional prompt bypass enriching the gating network with critical local features, thereby improving perceptual capabilities. Extensive experiments on four benchmark datasets demonstrate significant generalization performance improvement in multimodal FAS task. The code is released at https://github.com/murInJ/BIG-MoE.
• Abstract（参考訳）: 顔認識セキュリティの分野では、マルチモーダル・フェイス・アンチ・スプーフィング(FAS)がプレゼンテーション・アタックに対抗するのに不可欠である。 しかし、既存の技術は、モダリティバイアスや不均衡、ドメインシフトといった問題に直面している。 本稿では,これらの問題を効果的に解決するためのMixture of Experts(MoE)モデルについて紹介する。 従来型のマルチモーダルFASに対するMoEアプローチには,(1)粗粒度の専門家がニュアンスなスプーフィング指標を捕捉できないこと,(2)意思決定に影響を及ぼす入力ノイズに対するGated Networkの感受性,(3)MoEのトークンを過剰に適合させる感度,の3つの制限がある。 これらを緩和するために,(1)微妙なスプーフィングの手がかりを検出するためのきめ細かい専門家,(2)入力ノイズに対処するための分離ゲーティング機構,(3)重要な局所的特徴を持つゲーティングネットワークを充実させる新しい差分畳み込みプロンプト・バイパス(BIG-MoE)フレームワークを提案する。 4つのベンチマークデータセットに対する大規模な実験により、マルチモーダルFASタスクにおいて、大幅な一般化性能の向上が示された。 コードはhttps://github.com/murInJ/BIG-MoE.comで公開されている。

関連論文リスト

• Mixture-of-Noises Enhanced Forgery-Aware Predictor for Multi-Face Manipulation Detection and Localization [52.87635234206178]
  本稿では,多面的操作検出と局所化に適したMoNFAPという新しいフレームワークを提案する。 このフレームワークには2つの新しいモジュールが含まれている: Forgery-aware Unified Predictor (FUP) Module と Mixture-of-Noises Module (MNM)。
  論文  参考訳（メタデータ） (2024-08-05T08:35:59Z)
• MoE-FFD: Mixture of Experts for Generalized and Parameter-Efficient Face Forgery Detection [54.545054873239295]
  ディープフェイクは、最近、国民の間で重大な信頼問題とセキュリティ上の懸念を提起した。 ViT法はトランスの表現性を生かし,優れた検出性能を実現する。 この研究は、汎用的でパラメータ効率のよいViTベースのアプローチであるFace Forgery Detection (MoE-FFD)のためのMixture-of-Expertsモジュールを導入する。
  論文  参考訳（メタデータ） (2024-04-12T13:02:08Z)
• Suppress and Rebalance: Towards Generalized Multi-Modal Face Anti-Spoofing [26.901402236963374]
  Face Anti-Spoofing (FAS) は、顔認証システムのプレゼンテーション攻撃に対する保護に不可欠である。 多くのマルチモーダルなFASアプローチが出現しているが、見当たらない攻撃や展開条件を一般化する上での課題に直面している。
  論文  参考訳（メタデータ） (2024-02-29T16:06:36Z)
• Generative-based Fusion Mechanism for Multi-Modal Tracking [35.77340348091937]
  CGAN(Con Conditional Generative Adversarial Networks)とDM(Diffusion Models)を導入する。 我々はこれらのマルチモーダルな特徴をGMフレームワークでランダムノイズで条件付けし、元のトレーニングサンプルをより難しいインスタンスに効果的に変換する。 この設計は特徴から識別的手がかりを抽出し、究極の追跡性能を向上させる。
  論文  参考訳（メタデータ） (2023-09-04T17:22:10Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• M3FAS: An Accurate and Robust MultiModal Mobile Face Anti-Spoofing System [39.37647248710612]
  フェイスプレゼンテーションアタック(FPA)は、様々な悪意あるアプリケーションを通じて、公衆の懸念を高めている。 我々は,M3FASという,正確で堅牢なマルチモーダル・モバイル・フェイス・アンチ・スポーフィングシステムを開発した。
  論文  参考訳（メタデータ） (2023-01-30T12:37:04Z)
• Dual Spoof Disentanglement Generation for Face Anti-spoofing with Depth Uncertainty Learning [54.15303628138665]
  フェース・アンチ・スプーフィング(FAS)は、顔認識システムが提示攻撃を防ぐ上で重要な役割を担っている。 既存のフェース・アンチ・スプーフィング・データセットは、アイデンティティと重要なばらつきが不十分なため、多様性を欠いている。 我々は「生成によるアンチ・スプーフィング」によりこの問題に対処するデュアル・スポット・ディアンタングメント・ジェネレーション・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-01T15:36:59Z)
• Face Anti-Spoofing with Human Material Perception [76.4844593082362]
  フェース・アンチ・スプーフィング(FAS)は、プレゼンテーション攻撃から顔認識システムを保護する上で重要な役割を担っている。 我々は、顔の反偽造を物質認識問題として言い換え、それを古典的な人間の物質知覚と組み合わせる。 本稿では,本質的な素材に基づくパターンをキャプチャ可能なバイラテラル畳み込みネットワーク(BCN)を提案する。
  論文  参考訳（メタデータ） (2020-07-04T18:25:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。