論文の概要: Face Photo-Sketch Recognition Using Bidirectional Collaborative Synthesis Network

• arxiv url: http://arxiv.org/abs/2108.09898v1
• Date: Mon, 23 Aug 2021 02:30:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-24 15:59:07.913256
• Title: Face Photo-Sketch Recognition Using Bidirectional Collaborative Synthesis Network
• Title（参考訳）: 双方向協調合成ネットワークを用いた顔認識
• Authors: Seho Bae, Nizam Ud Din, Hyunkyu Park, and Juneho Yi
• Abstract要約: 本研究は,顔のスケッチ画像と顔写真データベースとをマッチングする問題に対処する,ディープラーニングベースのフレームワークを特徴とする。 1)写真とスケッチの間には大きなモダリティギャップがあり,2) 深層学習ネットワークを訓練するにはペアのトレーニングサンプルの数が不十分であるため,写真スケッチマッチングの問題は難しい。
• 参考スコア（独自算出の注目度）: 2.5199066832791535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This research features a deep-learning based framework to address the problem of matching a given face sketch image against a face photo database. The problem of photo-sketch matching is challenging because 1) there is large modality gap between photo and sketch, and 2) the number of paired training samples is insufficient to train deep learning based networks. To circumvent the problem of large modality gap, our approach is to use an intermediate latent space between the two modalities. We effectively align the distributions of the two modalities in this latent space by employing a bidirectional (photo -> sketch and sketch -> photo) collaborative synthesis network. A StyleGAN-like architecture is utilized to make the intermediate latent space be equipped with rich representation power. To resolve the problem of insufficient training samples, we introduce a three-step training scheme. Extensive evaluation on public composite face sketch database confirms superior performance of our method compared to existing state-of-the-art methods. The proposed methodology can be employed in matching other modality pairs.
• Abstract（参考訳）: 本研究は,顔のスケッチ画像と顔写真データベースとのマッチング問題に対処するディープラーニングベースのフレームワークを特徴とする。 1)写真とスケッチの間には大きなモダリティギャップがあり,2) 深層学習ネットワークをトレーニングするにはペアのトレーニングサンプルの数が不十分であるため,写真スケッチマッチングの問題は難しい。 大きなモダリティギャップの問題を回避するために、我々のアプローチは2つのモダリティ間の中間潜在空間を使用することである。 双方向(photo -> sketch and sketch -> photo)協調合成ネットワークを用いて,この潜在空間における2つのモードの分布を効果的に調整する。 StyleGANのようなアーキテクチャを用いて、中間潜伏空間に豊かな表現力を持たせる。 トレーニングサンプル不足の問題を解決するために,3段階のトレーニング方式を提案する。 公開複合顔スケッチデータベースの広範な評価により,既存の最先端手法と比較して優れた性能が得られた。 提案手法は他のモダリティ対のマッチングに応用できる。

関連論文リスト

• Towards Self-Supervised FG-SBIR with Unified Sample Feature Alignment and Multi-Scale Token Recycling [11.129453244307369]
  FG-SBIRは、埋め込み空間におけるスケッチと対応する画像の距離を最小化することを目的としている。 両領域間のギャップを狭める効果的なアプローチを提案する。 主に、イントラサンプルとインターサンプルの両方を共有する統一的な相互情報共有を促進する。
  論文  参考訳（メタデータ） (2024-06-17T13:49:12Z)
• Symmetrical Bidirectional Knowledge Alignment for Zero-Shot Sketch-Based Image Retrieval [69.46139774646308]
  本稿ではゼロショットスケッチベース画像検索(ZS-SBIR)の問題点について検討する。 目に見えないカテゴリのスケッチをクエリとして使用して、同じカテゴリのイメージにマッチさせることが目的だ。 ゼロショットスケッチに基づく画像検索(SBKA)のための新しい対称双方向知識アライメントを提案する。
  論文  参考訳（メタデータ） (2023-12-16T04:50:34Z)
• Layered Rendering Diffusion Model for Zero-Shot Guided Image Synthesis [60.260724486834164]
  本稿では,テキストクエリに依存する拡散モデルにおける空間制御性向上のための革新的な手法を提案する。 視覚誘導(Vision Guidance)とレイヤーレンダリング拡散(Layered Rendering Diffusion)フレームワーク(Layered Diffusion)という2つの重要なイノベーションを提示します。 本稿では,ボックス・ツー・イメージ,セマンティック・マスク・ツー・イメージ,画像編集の3つの実践的応用に適用する。
  論文  参考訳（メタデータ） (2023-11-30T10:36:19Z)
• Active Learning for Fine-Grained Sketch-Based Image Retrieval [1.994307489466967]
  フリーハンドスケッチによる写真検索能力は、きめ細かなスケッチベース画像検索(FG-SBIR)の可能性を強調している。 本稿では,写真スケッチ作成の必要性を大幅に軽減する,新しい能動的学習サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T20:07:14Z)
• Training Methods of Multi-label Prediction Classifiers for Hyperspectral Remote Sensing Images [0.0]
  ハイパースペクトルリモートセンシング画像に対するマルチラベル・パッチレベルの分類法を提案する。 リモートセンシング画像から抽出した空間次元を縮小したパッチと全スペクトル深度を用いた。
  論文  参考訳（メタデータ） (2023-01-17T13:30:03Z)
• S2-Net: Self-supervision Guided Feature Representation Learning for Cross-Modality Images [0.0]
  モダリティ間の画像ペアは、通信の特徴表現を可能な限り近いものにするのに失敗することが多い。 本稿では,最近成功した検出・記述パイプラインに基づいて,モーダリティ間特徴表現学習ネットワークであるS2-Netを設計する。 本稿では,自己教師型学習とよく設計された損失関数を導入し,本来の利点を捨てることなくトレーニングを指導する。
  論文  参考訳（メタデータ） (2022-03-28T08:47:49Z)
• Learning Contrastive Representation for Semantic Correspondence [150.29135856909477]
  セマンティックマッチングのためのマルチレベルコントラスト学習手法を提案する。 画像レベルのコントラスト学習は、畳み込み特徴が類似したオブジェクト間の対応を見出すための鍵となる要素であることを示す。
  論文  参考訳（メタデータ） (2021-09-22T18:34:14Z)
• THAT: Two Head Adversarial Training for Improving Robustness at Scale [126.06873298511425]
  本研究では,大規模多クラスイメージネットデータセットを扱うために設計された2ストリームの逆学習ネットワークであるhead adversarial trainingを提案する。 提案手法では,2つのヘッドと2つの損失関数を持つネットワークを訓練する。1つは自然画像と逆画像間の特徴空間領域シフトを最小化し,もう1つは高い分類精度を促進する。
  論文  参考訳（メタデータ） (2021-03-25T05:32:38Z)
• Multi-Margin based Decorrelation Learning for Heterogeneous Face Recognition [90.26023388850771]
  本稿では,超球面空間におけるデコリレーション表現を抽出するディープニューラルネットワーク手法を提案する。 提案するフレームワークは,不均一表現ネットワークとデコリレーション表現学習の2つのコンポーネントに分けることができる。 2つの難解な異種顔データベースに対する実験結果から,本手法は検証タスクと認識タスクの両方において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-05-25T07:01:12Z)
• Learning Deformable Image Registration from Optimization: Perspective, Modules, Bilevel Training and Beyond [62.730497582218284]
  マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。 我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
  論文  参考訳（メタデータ） (2020-04-30T03:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。