論文の概要: Unmasking Face Embeddings: Reading, Rendering and Naming with Foundation Models
- arxiv url: http://arxiv.org/abs/2609.00411v1
- Date: Mon, 31 Aug 2026 21:46:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.105511
- Title: Unmasking Face Embeddings: Reading, Rendering and Naming with Foundation Models
- Title（参考訳）: Unmasking Face Embeddings: ファウンデーションモデルによる読み取り、レンダリング、命名
- Abstract要約: モデル間の互換性の組込みに関する最近の研究に基づいて、簡単な計算済みの線形変換を用いてFRモデルと既製の基礎モデルとを接続する。
この相互運用性は、顔の埋め込みを意味的および視覚的にリッチなバイオメトリック表現として公開し、解釈可能性、検索、再構築、テンプレートセキュリティに影響を及ぼす。
- 参考スコア（独自算出の注目度）: 8.929662625846595
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern face recognition (FR) owes much of its success to deep neural networks that learn to extract compact identity embeddings from face images. These models are typically trained for identity discrimination, producing embeddings that are highly effective for biometric matching but largely opaque to semantic interpretation. In contrast, foundation models, pretrained on broad visual or vision--language tasks, provide rich interfaces for describing, retrieving, generating, and organizing visual content. This contrast raises a natural question: what capabilities become available when face embeddings from domain-specific FR models are made interoperable with foundation models? Building on recent work on embedding compatibility across models, we use simple pre-computed linear transformations, estimated from paired embeddings alone, to connect existing FR models with off-the-shelf foundation models. Once aligned with a foundation model, a face embedding can be 'unmasked' in multiple ways, without training or modifying either model: it can be read in natural language, enabling free-form text queries over a gallery of FR embeddings; rendered into a face image that recovers a person's appearance, using an unmodified diffusion decoder; and converted to a name, enabling identification even in the absence of an enrolled face gallery. In effect, one linear transformation turns an identity embedding into a rich embedding for web-scale foundation models. This interoperability exposes face embeddings as semantically and visually rich biometric representations, with direct implications for interpretability, retrieval, reconstruction, and template security.
- Abstract（参考訳）: 現代の顔認識(FR)はその成功の大部分は、顔画像からコンパクトなアイデンティティ埋め込みを抽出することを学ぶディープニューラルネットワークに負っている。
これらのモデルは典型的にはアイデンティティ識別のために訓練され、バイオメトリックマッチングに非常に効果的な埋め込みを生成するが、主に意味論的解釈には不透明である。
対照的に、幅広い視覚的または視覚的タスクに基づいて事前訓練された基礎モデルは、視覚的コンテンツを記述、検索、生成、整理するための豊富なインターフェースを提供する。
ドメイン固有のFRモデルからの顔埋め込みが基礎モデルと相互運用可能になったとき、どのような機能が利用可能になるのか?
モデル間の互換性の組込みに関する最近の研究に基づいて、ペア埋め込みのみから推定される単純な事前計算された線形変換を用いて、既存のFRモデルを既成の基盤モデルと接続する。
自然言語で読み取ることができ、FR埋め込みのギャラリー上で自由形式のテキストクエリを可能にし、修正されていない拡散デコーダを使用して人の外観を回復する顔画像に変換され、登録された顔ギャラリーがなくても識別できる名前に変換される。
事実上、ある線形変換は、Webスケールの基盤モデルのためのリッチな埋め込みにアイデンティティの埋め込みを組み込む。
この相互運用性は、顔の埋め込みを意味的にも視覚的にもリッチなバイオメトリック表現として公開し、解釈可能性、検索、再構築、テンプレートセキュリティに直接影響する。
関連論文リスト
- Enhancing Single-Image Facial Demorphing using Multimodal Large Language Models [8.088040801883015]
顔認証システムは、複数のアイデンティティにマッチするように合成画像が作成される、モーフィング攻撃に対してますます脆弱になっている。
本稿では,マルチモーダル大規模言語モデルを活用した,参照不要な顔変形フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-25T05:40:32Z) - Are Face Embeddings Compatible Across Deep Neural Network Models? [8.929662625846595]
我々は、異なるディープニューラルネットワーク(DNN)モデルが、あるモデルの顔表現を他のモデルと整列できるかどうかを検討する。
以上の結果から, 驚くほどのクロスモデル互換性が確認された。
これらの発見は、モデルの相互運用性、アンサンブル設計、バイオメトリックテンプレートセキュリティに影響を及ぼす。
論文 参考訳（メタデータ） (2026-04-08T16:44:42Z) - CLIP-FTI: Fine-Grained Face Template Inversion via CLIP-Driven Attribute Conditioning [15.01028853162385]
顔認識システムは、効率的なマッチングのために顔テンプレートを格納する。
逆転することでプライバシーを侵害し、偽装を可能にするサロゲートが生成される。
顔テンプレートインバージョンのためのCLIP駆動の微粒化属性条件付けフレームワークであるCLIP-FTIを提案する。
論文 参考訳（メタデータ） (2025-12-17T13:26:34Z) - UIFace: Unleashing Inherent Model Capabilities to Enhance Intra-Class Diversity in Synthetic Face Recognition [42.86969216015855]
顔認識(FR)はコンピュータビジョンにおいて最も重要な応用の1つである。
UIFaceとして短縮された合成顔認識のためのクラス内多様性を高めるフレームワークを提案する。
実験結果から,本手法は従来の手法に比べてトレーニングデータが少なく,合成データセットの約半分の規模で大幅に上回っていることがわかった。
論文 参考訳（メタデータ） (2025-02-27T06:22:18Z) - OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
拡散モデルは、顔の修復において顕著な性能を示した。
顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。
その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
論文 参考訳（メタデータ） (2024-11-26T07:07:48Z) - Arc2Face: A Foundation Model for ID-Consistent Human Faces [95.00331107591859]
Arc2Faceは、ID条件のフェイスファンデーションモデルである。
既存のモデルと無矛盾の顔類似度で、多様なフォトリアリスティック画像を生成することができる。
論文 参考訳（メタデータ） (2024-03-18T10:32:51Z) - When StyleGAN Meets Stable Diffusion: a $\mathscr{W}_+$ Adapter for
Personalized Image Generation [60.305112612629465]
テキストと画像の拡散モデルは、多種多様で高品質でフォトリアリスティックな画像を生成するのに優れている。
本稿では,拡散モデルのための拡張されたアイデンティティ保存とアンタングル化を実現するために,StyleGAN 埋め込み空間 $mathcalW_+$ の新たな利用法を提案する。
提案手法は,即時記述に適合するだけでなく,一般的なスタイルGAN編集方向に対応可能なパーソナライズされたテキスト・ツー・イメージ出力を生成する。
論文 参考訳（メタデータ） (2023-11-29T09:05:14Z) - Multimodal-driven Talking Face Generation via a Unified Diffusion-based
Generator [29.58245990622227]
マルチモーダル駆動型トーキングフェイス生成(マルチモーダルドリブントーキングフェイスジェネレーション)とは、画像や動画から移動された、あるいはテキストやオーディオから推定される、与えられたポーズ、表情、および視線で肖像画をアニメーションすることを指す。
既存の手法はテキスト・モーダルの可能性を無視し、ジェネレータは主に不安定なGANフレームワークと結合したソース指向の機能パラダイムに従う。
不安定なシーソースタイルの最適化が不要な新しいパラダイムを導出し、単純で安定で効果的なトレーニングと推論スキームを導出する。
論文 参考訳（メタデータ） (2023-05-04T07:01:36Z) - Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo
Collection [65.92058628082322]
非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。
本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T03:10:17Z) - InterFaceGAN: Interpreting the Disentangled Face Representation Learned
by GANs [73.27299786083424]
我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。
まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。
次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
論文 参考訳（メタデータ） (2020-05-18T18:01:22Z) - DotFAN: A Domain-transferred Face Augmentation Network for Pose and
Illumination Invariant Face Recognition [94.96686189033869]
本稿では,3次元モデルを用いたドメイン転送型顔強調ネットワーク(DotFAN)を提案する。
DotFANは、他のドメインから収集された既存のリッチフェイスデータセットから抽出された知識に基づいて、入力顔の一連の変種を生成することができる。
実験によると、DotFANは、クラス内の多様性を改善するために、小さな顔データセットを増やすのに有益である。
論文 参考訳（メタデータ） (2020-02-23T08:16:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。