論文の概要: Learning to Incorporate Texture Saliency Adaptive Attention to Image Cartoonization

• arxiv url: http://arxiv.org/abs/2208.01587v1
• Date: Tue, 2 Aug 2022 16:45:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-03 13:19:40.157985
• Title: Learning to Incorporate Texture Saliency Adaptive Attention to Image Cartoonization
• Title（参考訳）: テクスチャ・サリエンシー適応型注意を画像の漫画化に組み込む学習
• Authors: Xiang Gao, Yuqi Zhang, and Yingjie Tian
• Abstract要約: マンガ・テクスチュア・サリエンシ・サンプラー (CTSS) モジュールを提案し, トレーニングデータからマンガ・テクスチュア・サリエントパッチを動的にサンプリングする。 大規模な実験により,画像のマンガ化を促進・強化する上で,テクスチャ・サリエンシー適応型学習が重要であることを示す。
• 参考スコア（独自算出の注目度）: 22.97576721135152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image cartoonization is recently dominated by generative adversarial networks (GANs) from the perspective of unsupervised image-to-image translation, in which an inherent challenge is to precisely capture and sufficiently transfer characteristic cartoon styles (e.g., clear edges, smooth color shading, abstract fine structures, etc.). Existing advanced models try to enhance cartoonization effect by learning to promote edges adversarially, introducing style transfer loss, or learning to align style from multiple representation space. This paper demonstrates that more distinct and vivid cartoonization effect could be easily achieved with only basic adversarial loss. Observing that cartoon style is more evident in cartoon-texture-salient local image regions, we build a region-level adversarial learning branch in parallel with the normal image-level one, which constrains adversarial learning on cartoon-texture-salient local patches for better perceiving and transferring cartoon texture features. To this end, a novel cartoon-texture-saliency-sampler (CTSS) module is proposed to dynamically sample cartoon-texture-salient patches from training data. With extensive experiments, we demonstrate that texture saliency adaptive attention in adversarial learning, as a missing ingredient of related methods in image cartoonization, is of significant importance in facilitating and enhancing image cartoon stylization, especially for high-resolution input pictures.
• Abstract（参考訳）: 画像の漫画化は、近ごろ、教師なしのイメージ・ツー・イメージ翻訳の観点から、特徴ある漫画スタイル(クリアエッジ、スムーズなカラーシェーディング、抽象的な微細構造など)を正確に捉え、十分に伝達することが固有の課題である、生成的敵ネットワーク(GAN)に支配されている。 既存の高度なモデルは、エッジを逆方向に推進する学習、スタイル伝達損失の導入、あるいは複数の表現空間からスタイルを整合させる学習により、漫画化効果を高めようとする。 本稿では,より鮮明かつ鮮明なマンガ化効果が,基本的対向損失のみで容易に達成できることを実証する。 漫画のスタイルが漫画のテクスチャ・サレントなローカル画像領域でより明確であることを示すため,通常の画像レベルと平行して,漫画のテクスチャの特徴をよりよく認識し伝達するために,漫画のテクスチャ・サレントなローカルパッチに対する逆学習を制限する領域レベルの逆学習ブランチを構築した。 そこで, マンガ・テクスチュア・サリエンシ・サンプラー (CTSS) モジュールを提案し, トレーニングデータからマンガ・テクスチュア・サリエントパッチを動的にサンプリングする。 広範な実験により,画像マンガ化における関連する手法の欠如成分として,敵対的学習におけるテクスチャ・サリエンシー適応的注意が,特に高分解能入力画像において,画像マンガのスタイライゼーションの促進と向上に重要であることを実証した。

関連論文リスト

• Instance-guided Cartoon Editing with a Large-scale Dataset [12.955181769243232]
  本稿では,画像中の文字に対する高精度なセグメンテーションマスクを生成するインスタンス認識画像セグメンテーションモデルを提案する。 提案手法は,3D Ken Burns のパララックス効果,テキスト誘導の漫画スタイルの編集,イラストやマンガからの人形アニメーションなど,セグメンテーションに依存した漫画編集の応用を可能にする。
  論文  参考訳（メタデータ） (2023-12-04T15:00:15Z)
• Portrait Diffusion: Training-free Face Stylization with Chain-of-Painting [64.43760427752532]
  顔のスタイリゼーション(face stylization)とは、顔の特定の肖像画スタイルへの変換を指す。 現在の手法では、ファインチューン事前訓練された生成モデルに対するサンプルベースの適応アプローチが必要とされる。 本稿では,ポートレートディフュージョン(Portrait Diffusion)という,トレーニング不要な顔スタイル化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-03T06:48:35Z)
• Interactive Cartoonization with Controllable Perceptual Factors [5.8641445422054765]
  漫画作成プロセスに基づいたテクスチャと色彩の編集機能を備えた新しいソリューションを提案する。 テクスチャデコーダでは、ユーザがストロークスタイルや抽象化を制御し、多様なマンガテクスチャを生成することができるテクスチャコントローラを提案する。 また、多様な色変換を生成するために、ネットワークを誘導するHSV色拡張も導入する。
  論文  参考訳（メタデータ） (2022-12-19T15:45:47Z)
• Unsupervised Coherent Video Cartoonization with Perceptual Motion Consistency [89.75731026852338]
  映像のコヒーレント化のための空間適応型アライメントフレームワークを提案する。 我々は,セマンティック相関写像を,知覚整合運動におけるスタイルに依存しないグローバルな正規化として考案する。 本手法は,高度にスタイリスティックで時間的に一貫したマンガ映像を生成することができる。
  論文  参考訳（メタデータ） (2022-04-02T07:59:02Z)
• White-Box Cartoonization Using An Extended GAN Framework [0.0]
  本稿では,既存のGANフレームワークを拡張するために,逆数プロセスによる生成モデルを推定するための新しいフレームワークを提案する。 実世界の写真やビデオから高品質な漫画画像や映像を生成できる、ホワイトボックス制御可能な画像漫画化を開発した。
  論文  参考訳（メタデータ） (2021-07-09T17:09:19Z)
• MarioNette: Self-Supervised Sprite Learning [67.51317291061115]
  反復要素のグラフィカルな非絡み合い表現を得るための深層学習手法を提案する。 テクスチャパッチの辞書を共同で学習し,それらをキャンバスに配置するネットワークを訓練することにより,スプライトベースのコンテンツをスパースで一貫性があり,解釈可能な表現に効果的に分解する。
  論文  参考訳（メタデータ） (2021-04-29T17:59:01Z)
• Unsupervised Contrastive Photo-to-Caricature Translation based on Auto-distortion [49.93278173824292]
  Photo-to-caricatureは、スケッチ、鉛筆のストローク、その他の芸術的図面を通じて特徴を誇張するレンダリング画像として、似顔絵を合成することを目的としている。 スタイルレンダリングと幾何学的変形は、フォト・ツー・キャリキュア・トランスフォーメーション・タスクにおいて最も重要な側面である。 教師なしのコントラスト変換アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-11-10T08:14:36Z)
• Modeling Caricature Expressions by 3D Blendshape and Dynamic Texture [58.78290175562601]
  本稿では,アーティストが描いた似顔絵を正規表現に従って変形させる問題に対する解法を提案する。 本ソリューションの鍵となるのは,従来の3DMM表現をキャラクチュア領域に拡張した,キャラクチュア表現をモデル化する新しい手法である。 提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2020-08-13T06:31:01Z)
• Learning to Caricature via Semantic Shape Transform [95.25116681761142]
  本稿では,意味的形状変換に基づくアルゴリズムを提案する。 提案手法は,顔の構造を維持しつつ,視覚的に心地よい形状の誇張を表現できることを示す。
  論文  参考訳（メタデータ） (2020-08-12T03:41:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。