論文の概要: Instance-guided Cartoon Editing with a Large-scale Dataset
- arxiv url: http://arxiv.org/abs/2312.01943v1
- Date: Mon, 4 Dec 2023 15:00:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 14:50:34.094100
- Title: Instance-guided Cartoon Editing with a Large-scale Dataset
- Title（参考訳）: 大規模データセットを用いたインスタンス誘導型マンガ編集
- Authors: Jian Lin, Chengze Li, Xueting Liu and Zhongping Ge
- Abstract要約: 本稿では,画像中の文字に対する高精度なセグメンテーションマスクを生成するインスタンス認識画像セグメンテーションモデルを提案する。
提案手法は,3D Ken Burns のパララックス効果,テキスト誘導の漫画スタイルの編集,イラストやマンガからの人形アニメーションなど,セグメンテーションに依存した漫画編集の応用を可能にする。
- 参考スコア（独自算出の注目度）: 12.955181769243232
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Cartoon editing, appreciated by both professional illustrators and hobbyists,
allows extensive creative freedom and the development of original narratives
within the cartoon domain. However, the existing literature on cartoon editing
is complex and leans heavily on manual operations, owing to the challenge of
automatic identification of individual character instances. Therefore, an
automated segmentation of these elements becomes imperative to facilitate a
variety of cartoon editing applications such as visual style editing, motion
decomposition and transfer, and the computation of stereoscopic depths for an
enriched visual experience. Unfortunately, most current segmentation methods
are designed for natural photographs, failing to recognize from the intricate
aesthetics of cartoon subjects, thus lowering segmentation quality. The major
challenge stems from two key shortcomings: the rarity of high-quality cartoon
dedicated datasets and the absence of competent models for high-resolution
instance extraction on cartoons. To address this, we introduce a high-quality
dataset of over 100k paired high-resolution cartoon images and their instance
labeling masks. We also present an instance-aware image segmentation model that
can generate accurate, high-resolution segmentation masks for characters in
cartoon images. We present that the proposed approach enables a range of
segmentation-dependent cartoon editing applications like 3D Ken Burns parallax
effects, text-guided cartoon style editing, and puppet animation from
illustrations and manga.
- Abstract（参考訳）: カートゥーンの編集は、プロのイラストレーターとホビイストの両方から評価され、幅広い創造的な自由と漫画領域におけるオリジナルの物語の開発を可能にしている。
しかし、漫画編集に関する既存の文献は複雑であり、個々の文字インスタンスの自動識別の難しさから手作業に重きを置いている。
したがって、これらの要素の自動セグメンテーションは、視覚的なスタイル編集、動きの分解、転送、立体的な奥行きの計算といった様々なマンガ編集アプリケーションを容易にするために必須となる。
残念なことに、現在のセグメンテーション手法のほとんどは自然写真のために設計されており、漫画の主題の複雑な美学から認識できず、セグメンテーションの品質が低下している。
主要な課題は、高品質のマンガ専用データセットの豪華さと、マンガの高解像度インスタンス抽出のための有能なモデルがないことだ。
そこで本稿では,100万枚以上の高精細マンガ画像と,それらのサンプルラベリングマスクの高品質データセットを紹介する。
また,画像中の文字に対する高精度なセグメンテーションマスクを生成するインスタンス認識画像セグメンテーションモデルを提案する。
提案手法は,3D Ken Burns のパララックス効果,テキスト誘導の漫画スタイルの編集,イラストやマンガからの人形アニメーションなど,セグメンテーションに依存した漫画編集の応用を可能にする。
関連論文リスト
- Sakuga-42M Dataset: Scaling Up Cartoon Research [4.676528353567339]
作画42Mは、多種多様の芸術様式・地域・年号を網羅した4400万文を包括的意味論で構成している。
我々のモチベーションは、漫画研究に大規模スケーリングを導入し、将来の漫画応用における一般化と堅牢性を促進することである。
論文 参考訳（メタデータ） (2024-05-13T01:50:05Z) - AniClipart: Clipart Animation with Text-to-Video Priors [28.76809141136148]
AniClipartは、静的な画像をテキストからビデオへの事前案内による高品質なモーションシーケンスに変換するシステムである。
実験結果から,提案したAniClipartは既存の画像・映像生成モデルより一貫して優れていることがわかった。
論文 参考訳（メタデータ） (2024-04-18T17:24:28Z) - AnimateZoo: Zero-shot Video Generation of Cross-Species Animation via Subject Alignment [64.02822911038848]
動物アニメーションを作成するため, ゼロショット拡散に基づくビデオジェネレータAnimateZooを提案する。
AnimateZooで使われる主要なテクニックは、2つのステップを含む被写体アライメントです。
我々のモデルは、正確な動き、一貫した外観、高忠実度フレームを特徴とする映像を生成することができる。
論文 参考訳（メタデータ） (2024-04-07T12:57:41Z) - Cartoondiff: Training-free Cartoon Image Generation with Diffusion
Transformer Models [5.830731563895666]
拡散変圧器モデルを用いて画像のマンガ化を生成する新しいトレーニングフリーサンプリング手法であるCartoonDiffを提案する。
本研究では,ノイズ画像の高周波信号を特定の聴覚ステップで正規化することにより,画像のマンガ化を実現する。
論文 参考訳（メタデータ） (2023-09-15T08:55:59Z) - Interactive Cartoonization with Controllable Perceptual Factors [5.8641445422054765]
漫画作成プロセスに基づいたテクスチャと色彩の編集機能を備えた新しいソリューションを提案する。
テクスチャデコーダでは、ユーザがストロークスタイルや抽象化を制御し、多様なマンガテクスチャを生成することができるテクスチャコントローラを提案する。
また、多様な色変換を生成するために、ネットワークを誘導するHSV色拡張も導入する。
論文 参考訳（メタデータ） (2022-12-19T15:45:47Z) - Learning to Incorporate Texture Saliency Adaptive Attention to Image
Cartoonization [20.578335938736384]
マンガ・テクスチュア・サリエンシ・サンプラー (CTSS) モジュールを提案し, トレーニングデータからマンガ・テクスチュア・サリエントパッチを動的にサンプリングする。
大規模な実験により,画像のマンガ化を促進・強化する上で,テクスチャ・サリエンシー適応型学習が重要であることを示す。
論文 参考訳（メタデータ） (2022-08-02T16:45:55Z) - Unsupervised Coherent Video Cartoonization with Perceptual Motion
Consistency [89.75731026852338]
映像のコヒーレント化のための空間適応型アライメントフレームワークを提案する。
我々は,セマンティック相関写像を,知覚整合運動におけるスタイルに依存しないグローバルな正規化として考案する。
本手法は,高度にスタイリスティックで時間的に一貫したマンガ映像を生成することができる。
論文 参考訳（メタデータ） (2022-04-02T07:59:02Z) - DoodleFormer: Creative Sketch Drawing with Transformers [68.18953603715514]
創造的スケッチ(Creative sketching)またはドゥーリング(Duodling)は、日常の視覚的物体の想像的かつ以前は目に見えない描写が描かれた表現的活動である。
本稿では,クリエイティビティスケッチ生成問題を粗いスケッチ合成に分解する,粗い2段階のフレームワークDoodleFormerを提案する。
生成した創作スケッチの多様性を確保するため,確率論的粗いスケッチデコーダを導入する。
論文 参考訳（メタデータ） (2021-12-06T18:59:59Z) - Deep Animation Video Interpolation in the Wild [115.24454577119432]
本研究では,アニメーション・ビデオ・コードに関する問題を初めて形式的に定義・検討する。
効果的なフレームワークであるAnimeInterpを2つの専用モジュールで粗密に提案します。
特にAnimeInterpは、野生のアニメーションシナリオに良好な知覚品質と堅牢性を示します。
論文 参考訳（メタデータ） (2021-04-06T13:26:49Z) - Learning to Caricature via Semantic Shape Transform [95.25116681761142]
本稿では,意味的形状変換に基づくアルゴリズムを提案する。
提案手法は,顔の構造を維持しつつ,視覚的に心地よい形状の誇張を表現できることを示す。
論文 参考訳（メタデータ） (2020-08-12T03:41:49Z) - Deep Plastic Surgery: Robust and Controllable Image Editing with
Human-Drawn Sketches [133.01690754567252]
スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。
Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
論文 参考訳（メタデータ） (2020-01-09T08:57:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。