論文の概要: CLIP4Sketch: Enhancing Sketch to Mugshot Matching through Dataset Augmentation using Diffusion Models

• arxiv url: http://arxiv.org/abs/2408.01233v1
• Date: Fri, 2 Aug 2024 12:48:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 13:27:42.087316
• Title: CLIP4Sketch: Enhancing Sketch to Mugshot Matching through Dataset Augmentation using Diffusion Models
• Title（参考訳）: CLIP4Sketch: 拡散モデルを用いたデータセット拡張によるスケッチとマグショットマッチングの強化
• Authors: Kushal Kumar Jain, Steve Grosz, Anoop M. Namboodiri, Anil K. Jain,
• Abstract要約: 拡散モデルを利用した大規模かつ多様なスケッチ画像を生成する新しいアプローチであるCLIP4Sketchを提案する。 本手法は拡散確率モデル(DDPM)を用いて,個人性やスタイルを明確に制御したスケッチを生成する。 以上の結果から,既存の顔のスケッチデータに対するトレーニングよりも,スケッチ・トゥ・マガットのマッチング精度が大幅に向上したことが示された。
• 参考スコア（独自算出の注目度）: 15.595047487069616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Forensic sketch-to-mugshot matching is a challenging task in face recognition, primarily hindered by the scarcity of annotated forensic sketches and the modality gap between sketches and photographs. To address this, we propose CLIP4Sketch, a novel approach that leverages diffusion models to generate a large and diverse set of sketch images, which helps in enhancing the performance of face recognition systems in sketch-to-mugshot matching. Our method utilizes Denoising Diffusion Probabilistic Models (DDPMs) to generate sketches with explicit control over identity and style. We combine CLIP and Adaface embeddings of a reference mugshot, along with textual descriptions of style, as the conditions to the diffusion model. We demonstrate the efficacy of our approach by generating a comprehensive dataset of sketches corresponding to mugshots and training a face recognition model on our synthetic data. Our results show significant improvements in sketch-to-mugshot matching accuracy over training on an existing, limited amount of real face sketch data, validating the potential of diffusion models in enhancing the performance of face recognition systems across modalities. We also compare our dataset with datasets generated using GAN-based methods to show its superiority.
• Abstract（参考訳）: Forensic sketch-to-mugshot matchingは顔認識において難しい課題であり、主に注釈付き法医学的スケッチの不足と、スケッチと写真の間のモダリティギャップによって妨げられる。 これを解決するために,拡散モデルを利用して多種多様なスケッチ画像を生成する新しいアプローチであるCLIP4Sketchを提案する。 本手法は拡散確率モデル(DDPM)を用いて,個人性やスタイルを明確に制御したスケッチを生成する。 参照マグショットのCLIPとAdafaceの埋め込みとスタイルのテキスト記述を,拡散モデルの条件として組み合わせる。 本研究のアプローチの有効性は,マグショットに対応するスケッチの包括的データセットを作成し,合成データに基づいて顔認識モデルを訓練することによって実証する。 本研究は,既存の実顔スケッチデータに対するトレーニングよりも,スケッチ・ツー・マガットのマッチング精度を大幅に向上させ,モダリティを越えた顔認識システムの性能向上における拡散モデルの可能性を検証した。 また、その優位性を示すために、GANベースの手法を用いて生成されたデータセットとデータセットを比較した。

関連論文リスト

• OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
  拡散モデルは、顔の修復において顕著な性能を示した。 顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。 その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-26T07:07:48Z)
• MFCLIP: Multi-modal Fine-grained CLIP for Generalizable Diffusion Face Forgery Detection [64.29452783056253]
  フォトリアリスティック・フェイスジェネレーション手法の急速な発展は、社会やアカデミックにおいて大きな関心を集めている。 既存のアプローチは主に画像モダリティを用いて顔の偽造パターンをキャプチャするが、きめ細かいノイズやテキストのような他のモダリティは完全には探索されていない。 そこで本研究では,画像ノイズの多点にわたる包括的かつきめ細かなフォージェリートレースをマイニングする,MFCLIP(MF-modal Fine-fine-fine-fine-fine-fine CLIP)モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-15T13:08:59Z)
• Realistic and Efficient Face Swapping: A Unified Approach with Diffusion Models [69.50286698375386]
  フェース・スワッピングのための拡散モデルを改善する新しい手法を提案する。 インペイントトレーニング中にマスクシャッフル技術を導入し、スワップのためのいわゆるユニバーサルモデルを作成することができる。 私たちのアプローチは比較的統一されたアプローチなので、他のオフザシェルフモデルのエラーに対して耐性があります。
  論文  参考訳（メタデータ） (2024-09-11T13:43:53Z)
• Bridging Generative and Discriminative Models for Unified Visual Perception with Diffusion Priors [56.82596340418697]
  本稿では,豊富な生成前駆体を含む事前学習型安定拡散(SD)モデルと,階層的表現を統合可能な統一型ヘッド(Uヘッド)と,識別前駆体を提供する適応型専門家からなる,シンプルで効果的なフレームワークを提案する。 包括的調査では、異なる時間ステップで潜伏変数に隠された知覚の粒度や様々なU-netステージなど、バーマスの潜在的な特性が明らかになった。 有望な結果は,有望な学習者としての拡散モデルの可能性を示し,情報的かつ堅牢な視覚表現の確立にその意義を定めている。
  論文  参考訳（メタデータ） (2024-01-29T10:36:57Z)
• Modality-Aware Representation Learning for Zero-shot Sketch-based Image Retrieval [10.568851068989973]
  ゼロショット学習は、機械学習モデルが目に見えないカテゴリを扱うための効率的なソリューションを提供する。 そこで本研究では,スケッチや写真をテキストで対比して間接的にアライメントする新しいフレームワークを提案する。 データから学習したモダリティを明示的に符号化することで、モダリティ固有の情報からモダリティに依存しないセマンティクスを分離する。
  論文  参考訳（メタデータ） (2024-01-10T00:39:03Z)
• Diversity is Definitely Needed: Improving Model-Agnostic Zero-shot Classification via Stable Diffusion [22.237426507711362]
  モデル非依存ゼロショット分類(モデル非依存ゼロショット分類、英: Model-Agnostic Zero-Shot Classification、MA-ZSC)とは、訓練中に実際の画像を使わずに、実際の画像を分類するための非特異な分類アーキテクチャを訓練することである。 近年の研究では、拡散モデルを用いて合成訓練画像を生成することが、MA-ZSCに対処するための潜在的な解決策となることが示されている。 本研究では,事前学習した拡散モデルを用いてテキスト・画像生成プロセスの修正を行い,多様性を高める。
  論文  参考訳（メタデータ） (2023-02-07T07:13:53Z)
• Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
  本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。 2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
  論文  参考訳（メタデータ） (2022-11-22T18:59:50Z)
• An application of a pseudo-parabolic modeling to texture image recognition [0.0]
  偏微分方程式モデルを用いたテクスチャ画像認識のための新しい手法を提案する。 擬似パラボリックなBuckley-Leverett方程式を用いて、デジタル画像表現のダイナミクスを提供し、時間とともに進化するそれらの画像から局所的な記述子を収集する。
  論文  参考訳（メタデータ） (2021-02-09T18:08:42Z)
• Face Anti-Spoofing Via Disentangled Representation Learning [90.90512800361742]
  顔認識システムのセキュリティには、顔の偽造が不可欠だ。 本稿では,画像から生意気な特徴やコンテンツの特徴を乱す顔のアンチ・スプーフィングの新たな視点を提案する。
  論文  参考訳（メタデータ） (2020-08-19T03:54:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。