論文の概要: Identity-Aware Semi-Supervised Learning for Comic Character Re-Identification

• arxiv url: http://arxiv.org/abs/2308.09096v1
• Date: Thu, 17 Aug 2023 16:48:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 15:55:43.680896
• Title: Identity-Aware Semi-Supervised Learning for Comic Character Re-Identification
• Title（参考訳）: コミカルキャラクタ再同定のためのアイデンティティ認識半教師付き学習
• Authors: G\"urkan Soykan, Deniz Yuret, Tevfik Metin Sezgin
• Abstract要約: 本稿では,メタラーニングと新しい「アイデンティティ・アウェア」自己監督手法を組み合わせた頑健なフレームワークを提案する。 我々のアプローチは、統合されたネットワークアーキテクチャにおいて、顔と身体の両方の機能を処理することである。 シリーズ内評価とシリーズ間評価の指標を用いて,本手法を広範囲に検証することにより,漫画のキャラクターを一貫した同定において,その有効性を示す。
• 参考スコア（独自算出の注目度）: 2.4624325014867763
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Character re-identification, recognizing characters consistently across different panels in comics, presents significant challenges due to limited annotated data and complex variations in character appearances. To tackle this issue, we introduce a robust semi-supervised framework that combines metric learning with a novel 'Identity-Aware' self-supervision method by contrastive learning of face and body pairs of characters. Our approach involves processing both facial and bodily features within a unified network architecture, facilitating the extraction of identity-aligned character embeddings that capture individual identities while preserving the effectiveness of face and body features. This integrated character representation enhances feature extraction and improves character re-identification compared to re-identification by face or body independently, offering a parameter-efficient solution. By extensively validating our method using in-series and inter-series evaluation metrics, we demonstrate its effectiveness in consistently re-identifying comic characters. Compared to existing methods, our approach not only addresses the challenge of character re-identification but also serves as a foundation for downstream tasks since it can produce character embeddings without restrictions of face and body availability, enriching the comprehension of comic books. In our experiments, we leverage two newly curated datasets: the 'Comic Character Instances Dataset', comprising over a million character instances and the 'Comic Sequence Identity Dataset', containing annotations of identities within more than 3000 sets of four consecutive comic panels that we collected.
• Abstract（参考訳）: キャラクタの再識別は、コミックの異なるパネルにまたがるキャラクタを一貫して認識するが、注釈付きデータの制限とキャラクタの外観の複雑なバリエーションにより、重大な課題がある。 そこで本研究では, 距離学習と, 顔と体の組み合わせのコントラスト学習による新しい「アイデンティティ認識」自己スーパービジョン手法を組み合わせた, 頑健な半教師付きフレームワークを提案する。 本手法では, 顔と身体の両特徴を統合ネットワークアーキテクチャ内で処理し, 顔と身体の有効性を保ちながら, 個人識別を捉えた人物埋め込みの抽出を容易にする。 この統合キャラクタ表現は特徴抽出を強化し、パラメータ効率の良いソリューションを提供するため、顔や身体による再識別に比べて文字再識別を改善している。 本手法をin-series と inter-series 評価指標を用いて広範囲に検証することにより,漫画キャラクタの同一性確認の有効性を実証する。 既存の手法と比較して,本手法は文字再同定の課題に対処するだけでなく,顔や身体の可用性を制限せずに文字埋め込みを生成できるため,下流タスクの基盤としても機能する。 実験では、100万以上のキャラクタインスタンスからなる「Comic Character Instances Dataset」と、収集した4つの連続する漫画パネルの3000セット以上のアイデンティティのアノテーションを含む「Comic Sequence Identity Dataset」という2つの新たなデータセットを活用しました。

関連論文リスト

• Foundation Cures Personalization: Recovering Facial Personalized Models' Prompt Consistency [33.35678923549471]
  FreeCureは、基礎モデル自体から固有の知識を活用して、パーソナライゼーションモデルの迅速な一貫性を改善する、トレーニング不要のフレームワークである。 パーソナライズモデルの出力における複数の属性を、新しいノイズブリーディング戦略と反転に基づくプロセスによって強化する。
  論文  参考訳（メタデータ） (2024-11-22T15:21:38Z)
• Disentangled Representations for Short-Term and Long-Term Person Re-Identification [33.76874948187976]
  アイデンティティシャッフルGAN(Identity shuffle GAN:IS-GAN)と呼ばれる新たな生成対向ネットワークを提案する。 それは、アイデンティティシャッフル技術によって、個人画像からアイデンティティ関連および非関連の特徴を解き放つ。 実験により,IS-GANの有効性が検証され,標準reIDベンチマークにおける最先端性能が示された。
  論文  参考訳（メタデータ） (2024-09-09T02:09:49Z)
• Content and Salient Semantics Collaboration for Cloth-Changing Person Re-Identification [74.10897798660314]
  衣服を交換する人の再識別は、重複しないカメラで同じ人の衣服の変化を認識することを目的としている。 本稿では、並列間セマンティクスの相互作用と洗練を容易にするコンテンツ・サリアンセマンティクス協調フレームワークを提案する。 我々のフレームワークはシンプルだが有効であり、重要な設計はセマンティックス・マイニング・アンド・リファインメント(SMR)モジュールである。
  論文  参考訳（メタデータ） (2024-05-26T15:17:28Z)
• Evolving Storytelling: Benchmarks and Methods for New Character Customization with Diffusion Models [79.21968152209193]
  ニューエピソード・ベンチマークを導入し、新しいキャラクターで新しいストーリーを生成する際の生成モデルの適応性を評価する。 EpicEvoは,新しいキャラクタをシームレスに統合した単一ストーリーで,拡散に基づくビジュアルストーリー生成モデルをカスタマイズする手法である。
  論文  参考訳（メタデータ） (2024-05-20T07:54:03Z)
• Infinite-ID: Identity-preserved Personalization via ID-semantics Decoupling Paradigm [31.06269858216316]
  アイデンティティ保存型パーソナライゼーションのためのID-セマンティックデカップリングパラダイムであるInfinite-IDを提案する。 我々は、十分なID情報を取得するために、追加のイメージクロスアテンションモジュールを組み込んだアイデンティティ強化トレーニングを導入する。 また、2つのストリームをシームレスにマージするために、混合アテンションモジュールとAdaIN平均演算を組み合わせた機能相互作用機構を導入する。
  論文  参考訳（メタデータ） (2024-03-18T13:39:53Z)
• StableIdentity: Inserting Anybody into Anywhere at First Sight [57.99693188913382]
  一つの顔画像で同一性に一貫性のある再テクスチャ化を可能にするStableIdentityを提案する。 私たちは、1つの画像から学んだアイデンティティを直接、微調整なしでビデオ/3D生成に注入する最初の人です。
  論文  参考訳（メタデータ） (2024-01-29T09:06:15Z)
• StyleID: Identity Disentanglement for Anonymizing Faces [4.048444203617942]
  この論文の主な貢献は、フィーチャ保存の匿名化フレームワークであるStyleIDの設計である。 コントリビューションの一環として,新しいアンタングル化指標,補足的アンタングル化法,およびアイデンティティ・アンタングル化に関する新たな知見を提示する。 StyleIDはチューナブルなプライバシを提供し、計算の複雑さが低く、現在の最先端ソリューションを上回っている。
  論文  参考訳（メタデータ） (2022-12-28T12:04:24Z)
• Disentangling Identity and Pose for Facial Expression Recognition [54.50747989860957]
  より識別的な特徴表現を学習するために,識別モデルを提案し,不整形表情認識(IPD-FER)モデルを提案する。 アイデンティティエンコーダでは、訓練中に訓練済みの顔認識モデルを利用して固定し、特定の表情訓練データに対する制限を軽減する。 合成された中性画像と同一個体の表情画像との差を比較することにより、表現成分はアイデンティティやポーズからさらに切り離される。
  論文  参考訳（メタデータ） (2022-08-17T06:48:13Z)
• Protecting Celebrities with Identity Consistency Transformer [119.67996461810304]
  アイデンティティ一貫性変換器は、高度なセマンティクス、特にアイデンティティ情報に焦点を当て、内面領域と外面領域におけるアイデンティティの不整合を見つけ、容疑者の顔を検出する。 我々は、アイデンティティ一貫性変換器が、異なるデータセットにまたがるだけでなく、ディープフェイクビデオを含む現実世界のアプリケーションで見られる様々な種類の画像劣化フォームにまたがる優れた一般化能力を示すことを示した。
  論文  参考訳（メタデータ） (2022-03-02T18:59:58Z)
• Semantic Consistency and Identity Mapping Multi-Component Generative Adversarial Network for Person Re-Identification [39.605062525247135]
  本稿では,1つのドメインから複数のドメインへのスタイル適応を提供する,意味一貫性とアイデンティティマッピングの多成分生成対向ネットワーク(SC-IMGAN)を提案する。 提案手法は,6つの挑戦的人物リidデータセットにおける最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2021-04-28T14:12:29Z)
• Separating Content from Style Using Adversarial Learning for Recognizing Text in the Wild [103.51604161298512]
  画像中の複数の文字の生成と認識のための逆学習フレームワークを提案する。 我々のフレームワークは、新しい最先端の認識精度を達成するために、最近の認識手法に統合することができる。
  論文  参考訳（メタデータ） (2020-01-13T12:41:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。