論文の概要: Enhancing Single-Image Facial Demorphing using Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2605.25442v1
• Date: Mon, 25 May 2026 05:40:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:19.330667
• Title: Enhancing Single-Image Facial Demorphing using Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルを用いた単眼顔面変形の促進
• Authors: Nitish Shukla, Arun Ross,
• Abstract要約: 顔認証システムは、複数のアイデンティティにマッチするように合成画像が作成される、モーフィング攻撃に対してますます脆弱になっている。 本稿では,マルチモーダル大規模言語モデルを活用した,参照不要な顔変形フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 8.088040801883015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Face recognition systems are increasingly vulnerable to morphing attacks, where a composite image is crafted to match multiple identities, enabling unauthorized access and identity fraud. Existing detection methods identify morphed images but cannot recover constituent images or identities, limiting their forensic utility. This paper presents a novel reference-free facial demorphing framework that leverages Multimodal Large Language Models (MLLMs) to guide a coupled diffusion-based reconstruction process. Our key innovation lies in extracting semantic embeddings from intermediate MLLM layers to condition the demorphing, providing high-level reasoning about facial attributes and identity cues that complement low-level pixel information. We formulate demorphing as a coupled conditional generation problem, where both constituent faces are synthesized jointly through a denoising diffusion model operating directly in the RGB domain, ensuring inter-identity consistency while preserving fine-grained perceptual details. Unlike prior approaches that rely on compressed latent representations or assume identity overlap between training and testing sets, our method bypasses lossy text generation-reencoding cycles by directly utilizing MLLM hidden states as conditioning signals, enabling the denoising network to attend to subtle visual cues such as hair, background, and facial textures. Ablation studies further reveal that middle MLLM layers encode more identity-discriminative representations, RGB-domain demorphing outperforms latent-space approaches by 30--40\% at strict operating points, and full MLLM embeddings provide substantial advantages over raw ViT features through enhanced semantic structuring from multimodal pretraining.
• Abstract（参考訳）: 顔認証システムは、複数のアイデンティティにマッチするように合成画像が作成され、不正なアクセスとID詐欺を可能にする、モーフィング攻撃にますます脆弱になっている。 既存の検出方法は、形態画像を特定するが、構成画像やアイデンティティを復元することができず、法医学的有用性を制限している。 本稿では,Multimodal Large Language Models (MLLM) を利用した参照レス顔変形フレームワークを提案する。 我々の重要な革新は、中間MLLM層から意味的な埋め込みを抽出して変形を条件づけることであり、低レベルのピクセル情報を補完する顔の特徴やアイデンティティーの手がかりについて高いレベルの推論を提供する。 両構成面をRGBドメインで直接動作させるデノナイズ拡散モデルにより結合条件生成問題としてデフォーミングを定式化し,粒度の細かい知覚情報を保存しながら同一性間の整合性を確保する。 圧縮された潜在表現に依存したり、トレーニングセットとテストセット間の同一性重なりを仮定する従来の手法とは異なり、本手法は、MLLM隠れ状態を直接条件付け信号として利用することにより、失われたテキスト生成/復号サイクルをバイパスし、ヘア、バックグラウンド、顔のテクスチャなどの微妙な視覚的手がかりにデノイングネットワークが対応できるようにする。 アブレーション研究では、中間MLLM層がより識別的な表現を符号化し、RGBドメインのデフォーミングは厳密な操作点において30～40倍の遅延空間アプローチを上回り、完全なMLLM埋め込みはマルチモーダル事前訓練によるセマンティック構造化の強化を通じて、生のViT特徴よりも大きな利点をもたらすことを明らかにした。

関連論文リスト

• SMFD-UNet: Semantic Face Mask Is The Only Thing You Need To Deblur Faces [0.0]
  SMFD-UNet(Semantic Mask Fusion Deblurring UNet)を提案する。 SMFD-UNetは,高ピーク信号雑音比 (PSNR) と構造類似度指数測定 (SSIM) を達成しつつ, 良好な自然度対策を保ちながら, 最先端モデルよりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2026-04-08T18:16:39Z)
• MAUGen: A Unified Diffusion Approach for Multi-Identity Facial Expression and AU Label Generation [18.996319133901473]
  拡散に基づくマルチモーダル・フレームワークであるMAUGenを提案する。 本フレームワークでは、包括的AUアノテーションとアイデンティティのバリエーションを備えた大規模マルチモーダル合成データセットであるMIFA(Multi-Identity Facial Action)を導入する。
  論文  参考訳（メタデータ） (2026-01-31T07:56:22Z)
• Growing Visual Generative Capacity for Pre-Trained MLLMs [60.826355079902505]
  Bridgeは純粋な自己回帰統合MLLMであり、学習済みの視覚的理解モデルを生成能力で強化する。 本稿では,コンパクトなセマンティックトークンと微細なピクセルトークンを統合するセマンティック・ツー・ピクセルの離散表現を提案する。
  論文  参考訳（メタデータ） (2025-10-02T00:40:02Z)
• MFCLIP: Multi-modal Fine-grained CLIP for Generalizable Diffusion Face Forgery Detection [64.29452783056253]
  フォトリアリスティック・フェイスジェネレーション手法の急速な発展は、社会やアカデミックにおいて大きな関心を集めている。 既存のアプローチは主に画像モダリティを用いて顔の偽造パターンをキャプチャするが、きめ細かいノイズやテキストのような他のモダリティは完全には探索されていない。 そこで本研究では,画像ノイズの多点にわたる包括的かつきめ細かなフォージェリートレースをマイニングする,MFCLIP(MF-modal Fine-fine-fine-fine-fine-fine CLIP)モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-15T13:08:59Z)
• Multi-Margin based Decorrelation Learning for Heterogeneous Face Recognition [90.26023388850771]
  本稿では,超球面空間におけるデコリレーション表現を抽出するディープニューラルネットワーク手法を提案する。 提案するフレームワークは,不均一表現ネットワークとデコリレーション表現学習の2つのコンポーネントに分けることができる。 2つの難解な異種顔データベースに対する実験結果から,本手法は検証タスクと認識タスクの両方において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-05-25T07:01:12Z)
• Joint Deep Learning of Facial Expression Synthesis and Recognition [97.19528464266824]
  顔表情の合成と認識を効果的に行うための新しい統合深層学習法を提案する。 提案手法は, 2段階の学習手順を伴い, まず, 表情の異なる顔画像を生成するために, 表情合成生成対向ネットワーク (FESGAN) を事前訓練する。 実画像と合成画像間のデータバイアスの問題を軽減するために,新しい実データ誘導バックプロパゲーション(RDBP)アルゴリズムを用いたクラス内損失を提案する。
  論文  参考訳（メタデータ） (2020-02-06T10:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。