論文の概要: Unsupervised Manga Character Re-identification via Face-body and
Spatial-temporal Associated Clustering
- arxiv url: http://arxiv.org/abs/2204.04621v1
- Date: Sun, 10 Apr 2022 07:28:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-12 16:30:59.752882
- Title: Unsupervised Manga Character Re-identification via Face-body and
Spatial-temporal Associated Clustering
- Title（参考訳）: 顔と時空間関連クラスタリングによる教師なしマンガキャラクタ再同定
- Authors: Zhimin Zhang, Zheng Wang, Wei Hu
- Abstract要約: マンガの芸術的表現と様式的制限は、再同定問題に多くの課題をもたらす。
コンテンツに関連するいくつかの特徴がクラスタリングに役立つという考えから着想を得て,顔の身体と空間的関連クラスタリング法を提案する。
フェースボディ結合モジュールにおいて、アート創造における誇張や変形などの問題を解決するために、フェースボディグラフを構築する。
時空間関係補正モジュールにおいて,文字の出現特徴を分析し,時間空間関連三重項損失を設計し,クラスタリングを微調整する。
- 参考スコア（独自算出の注目度）: 21.696847342192072
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the past few years, there has been a dramatic growth in e-manga
(electronic Japanese-style comics). Faced with the booming demand for manga
research and the large amount of unlabeled manga data, we raised a new task,
called unsupervised manga character re-identification. However, the artistic
expression and stylistic limitations of manga pose many challenges to the
re-identification problem. Inspired by the idea that some content-related
features may help clustering, we propose a Face-body and Spatial-temporal
Associated Clustering method (FSAC). In the face-body combination module, a
face-body graph is constructed to solve problems such as exaggeration and
deformation in artistic creation by using the integrity of the image. In the
spatial-temporal relationship correction module, we analyze the appearance
features of characters and design a temporal-spatial-related triplet loss to
fine-tune the clustering. Extensive experiments on a manga book dataset with
109 volumes validate the superiority of our method in unsupervised manga
character re-identification.
- Abstract（参考訳）: 近年では電子漫画が飛躍的に伸びている。
マンガ研究の急激な需要と大量の未ラベルマンガデータに直面する中で,教師なしマンガキャラクタ再同定という新たな課題を提起した。
しかし、マンガの芸術的表現と様式的制限は再同定問題に多くの課題をもたらす。
コンテンツに関連した特徴がクラスタリングに役立つという考えから着想を得て,FSAC (Face-body and Spatial-temporal Associated Clustering Method) を提案する。
顔体組み合わせモジュールにおいて、画像の整合性を利用して、芸術的創造における誇張や変形などの問題を解決するために、顔体グラフを構築する。
空間-時間関係補正モジュールでは,文字の出現特性を分析し,時間空間関連三重項損失を設計し,クラスタリングを微調整する。
109巻のマンガブックデータセットに関する広範囲な実験により,教師なしマンガキャラクタ再同定における手法の優位性が検証された。
関連論文リスト
- Learning Gaussian Data Augmentation in Feature Space for One-shot Object Detection in Manga [2.800768893804362]
日本漫画の世界的な普及に伴い、キャラクターの物体検出がますます重要になっている。
新しいキャラクターは、新しい量のマンガが放出されるたびに出現し、オブジェクト検出器を再訓練するのは現実的ではない。
新たなキャラクタを検出するために単一のクエリ(参照)イメージのみを必要とするワンショットオブジェクト検出は,マンガ産業において必須の課題である。
論文 参考訳（メタデータ） (2024-10-08T11:38:13Z) - Tails Tell Tales: Chapter-Wide Manga Transcriptions with Character Names [53.24414727354768]
本論文は,マンガ全章の対話書き起こしを完全自動生成することを目的とする。
i) 言っていることを識別し、各ページのテキストを検出し、それらが本質的か非本質的かに分類する。
また、章を通して同じ文字が一貫した名前で呼ばれることも保証している。
論文 参考訳（メタデータ） (2024-08-01T05:47:04Z) - Sketch2Manga: Shaded Manga Screening from Sketch with Diffusion Models [26.010509997863196]
本稿では,まずスケッチからカラーイラストを作成し,次にスクリーントーンマンガを生成する新しいスケッチ・ツー・マンガフレームワークを提案する。
本手法は, シェード型高周波数スクリーントーンを用いた高品質マンガの製作において, 既存の手法よりも優れていた。
論文 参考訳（メタデータ） (2024-03-13T05:33:52Z) - The Manga Whisperer: Automatically Generating Transcriptions for Comics [55.544015596503726]
我々は,パネル,テキストボックス,文字ボックスを検出可能な統一モデル Magi を提案する。
本稿では,検出したテキストボックスを読み順にソートし,対話文を生成する手法を提案する。
論文 参考訳（メタデータ） (2024-01-18T18:59:09Z) - inkn'hue: Enhancing Manga Colorization from Multiple Priors with
Alignment Multi-Encoder VAE [0.0]
マンガ色化のための特殊フレームワークを提案する。
マルチエンコーダVAEを用いたシェーディングと鮮やかな色付けに確立されたモデルを活用する。
この構造化ワークフローは、参照イメージと手動ヒントを組み込むオプションによって、明確でカラフルな結果を保証する。
論文 参考訳（メタデータ） (2023-11-03T09:33:32Z) - Scenimefy: Learning to Craft Anime Scene via Semi-Supervised
Image-to-Image Translation [75.91455714614966]
そこで我々は,新しい半教師付き画像-画像間翻訳フレームワークであるScenimefyを提案する。
提案手法は,構造に一貫性のある擬似ペアデータによる学習を導く。
スタイル化と細部を改善するために、パッチワイドのコントラストスタイルロスが導入されている。
論文 参考訳（メタデータ） (2023-08-24T17:59:50Z) - Dense Multitask Learning to Reconfigure Comics [63.367664789203936]
漫画パネルの密集予測を実現するために,MultiTask Learning (MTL) モデルを開発した。
本手法は,漫画パネルにおける意味単位と3D概念の同定に有効である。
論文 参考訳（メタデータ） (2023-07-16T15:10:34Z) - MM-3DScene: 3D Scene Understanding by Customizing Masked Modeling with
Informative-Preserved Reconstruction and Self-Distilled Consistency [120.9499803967496]
本稿では,地域統計を探索し,代表的構造化点の発見と保存を行う新しい情報保存型再構築法を提案する。
本手法は, 地域形状のモデル化に集中し, マスク復元のあいまいさを軽減できる。
マスク付き領域における情報保存型再構築と未加工領域からの連続自己蒸留を組み合わせることにより,MM-3DSceneと呼ばれる統合フレームワークが提供される。
論文 参考訳（メタデータ） (2022-12-20T01:53:40Z) - AniGAN: Style-Guided Generative Adversarial Networks for Unsupervised
Anime Face Generation [84.52819242283852]
本稿では,肖像画をアニメ化するための新しい枠組みを提案する。
私たちの目標は、特定の参照アニメフェイスとスタイル一貫性のあるアニメフェイスを合成することです。
既存の方法は、しばしば参照アニメフェイスのスタイルを転送したり、生成された顔の局所的な形状に顕著なアーティファクトや歪みを導入することに失敗する。
論文 参考訳（メタデータ） (2021-02-24T22:47:38Z) - MangaGAN: Unpaired Photo-to-Manga Translation Based on The Methodology
of Manga Drawing [27.99490750445691]
本稿では,GAN(Generative Adversarial Network)をベースとしたマンガGANを提案する。
マンガアーティストがいかにマンガを描くかにインスパイアされたMangaGANは、デザインされたGANモデルによってマンガの幾何学的特徴を生成する。
高品質なマンガ面を生成するために,スムーズなストロークラインへの構造的スムージングロスとノイズの多い画素の回避,および類似性保存モジュールを提案する。
論文 参考訳（メタデータ） (2020-04-22T15:23:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。