論文の概要: APISR: Anime Production Inspired Real-World Anime Super-Resolution
- arxiv url: http://arxiv.org/abs/2403.01598v2
- Date: Thu, 4 Apr 2024 16:12:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-05 19:23:57.119898
- Title: APISR: Anime Production Inspired Real-World Anime Super-Resolution
- Title（参考訳）: APISR:アニメ制作にインスパイアされた現実世界のアニメのスーパーリゾリューション
- Authors: Boyang Wang, Fengyu Yang, Xihang Yu, Chao Zhang, Hanbin Zhao,
- Abstract要約: 我々は,手描きフレームの繰り返し使用により,映像ネットワークやデータセットはアニメSRでは不要であると主張している。
代わりに,ビデオソースから最も圧縮され,最も情報に富んだフレームを選択することにより,アニメ画像収集パイプラインを提案する。
提案手法は,公開ベンチマークによる広範囲な実験により評価され,最先端のアニメデータセット学習手法よりも優れていた。
- 参考スコア（独自算出の注目度）: 15.501488335115269
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While real-world anime super-resolution (SR) has gained increasing attention in the SR community, existing methods still adopt techniques from the photorealistic domain. In this paper, we analyze the anime production workflow and rethink how to use characteristics of it for the sake of the real-world anime SR. First, we argue that video networks and datasets are not necessary for anime SR due to the repetition use of hand-drawing frames. Instead, we propose an anime image collection pipeline by choosing the least compressed and the most informative frames from the video sources. Based on this pipeline, we introduce the Anime Production-oriented Image (API) dataset. In addition, we identify two anime-specific challenges of distorted and faint hand-drawn lines and unwanted color artifacts. We address the first issue by introducing a prediction-oriented compression module in the image degradation model and a pseudo-ground truth preparation with enhanced hand-drawn lines. In addition, we introduce the balanced twin perceptual loss combining both anime and photorealistic high-level features to mitigate unwanted color artifacts and increase visual clarity. We evaluate our method through extensive experiments on the public benchmark, showing our method outperforms state-of-the-art anime dataset-trained approaches.
- Abstract（参考訳）: リアル・ワールド・アニメ・スーパーレゾリューション (SR) は、SRコミュニティで注目されているが、既存の手法は依然としてフォトリアリスティック・ドメインの技法を取り入れている。
本稿では,アニメ制作のワークフローを分析し,その特徴を現実のアニメSRのために活用する方法を再考する。
まず,手書きフレームの繰り返し使用により,映像ネットワークやデータセットはアニメSRでは不要である。
代わりに,ビデオソースから最も圧縮され,最も情報に富んだフレームを選択することにより,アニメ画像収集パイプラインを提案する。
このパイプラインに基づいて,Anime Production-oriented Image (API)データセットを紹介する。
さらに,手描き線を歪ませるアニメ特有の課題と,不要なカラーアーティファクトの2つを同定した。
画像劣化モデルに予測指向圧縮モジュールを導入し,手書き線を拡張した擬似地下真実作成を行うことで,最初の課題に対処する。
さらに,アニメとフォトリアリスティックな高レベルの特徴を組み合わせたバランスの取れた双対の知覚損失を導入し,不要なカラーアーティファクトを緩和し,視覚的明瞭度を高める。
提案手法は,公開ベンチマークによる広範囲な実験により評価され,最先端のアニメデータセット学習手法よりも優れていた。
関連論文リスト
- NOVA-3D: Non-overlapped Views for 3D Anime Character Reconstruction [14.509202872426942]
3D textbf Anime character Reconstruction (NOVA-3D) の非オーバーラップビュー
新しいフレームワークは、3D一貫性のある特徴を効果的に学習するためのビュー認識機能融合法を実装している。
実験では、特筆すべき細かな忠実さを持つアニメキャラクターの優れた再構成が示されている。
論文 参考訳（メタデータ） (2024-05-21T05:31:03Z) - Diffutoon: High-Resolution Editable Toon Shading via Diffusion Models [25.903156244291168]
トーンシェーディング(Toon Shading)は、アニメーションの非フォトリアリスティックレンダリングタスクの一種である。
Diffutoonは、鮮明で高解像度で拡張された動画をアニメ形式でレンダリングすることができる。
論文 参考訳（メタデータ） (2024-01-29T15:21:37Z) - Scenimefy: Learning to Craft Anime Scene via Semi-Supervised
Image-to-Image Translation [75.91455714614966]
そこで我々は,新しい半教師付き画像-画像間翻訳フレームワークであるScenimefyを提案する。
提案手法は,構造に一貫性のある擬似ペアデータによる学習を導く。
スタイル化と細部を改善するために、パッチワイドのコントラストスタイルロスが導入されている。
論文 参考訳（メタデータ） (2023-08-24T17:59:50Z) - AnimeDiffusion: Anime Face Line Drawing Colorization via Diffusion
Models [24.94532405404846]
本稿では,アニメの顔線描画色を自動生成する拡散モデルを用いたAnimeDiffusionという新しい手法を提案する。
我々は31696のトレーニングデータと579のテストデータを含むアニメの顔線描画カラー化ベンチマークデータセットを実行する。
アニメフェース描画のカラー化において,AnimeDiffusionは最先端のGANモデルよりも優れることを示す。
論文 参考訳（メタデータ） (2023-03-20T14:15:23Z) - Learning 3D Photography Videos via Self-supervised Diffusion on Single
Images [105.81348348510551]
3D写真は、静止画を3D視覚効果のあるビデオにレンダリングする。
既存のアプローチは通常、まず単眼深度推定を行い、次に様々な視点で入力フレームを後続のフレームに描画する。
我々は、入力オブジェクトの空間と時間を拡張する、新しいタスク、out-animationを提案する。
論文 参考訳（メタデータ） (2023-02-21T16:18:40Z) - AnimeRun: 2D Animation Visual Correspondence from Open Source 3D Movies [98.65469430034246]
既存の2次元漫画のデータセットは、単純なフレーム構成と単調な動きに悩まされている。
我々は,オープンソースの3D映画を2Dスタイルのフルシーンに変換することによって,新しい2Dアニメーション視覚対応データセットAnimeRunを提案する。
分析の結果,提案したデータセットは画像合成において実際のアニメに似るだけでなく,既存のデータセットと比較してよりリッチで複雑な動きパターンを持つことがわかった。
論文 参考訳（メタデータ） (2022-11-10T17:26:21Z) - AniGAN: Style-Guided Generative Adversarial Networks for Unsupervised
Anime Face Generation [84.52819242283852]
本稿では,肖像画をアニメ化するための新しい枠組みを提案する。
私たちの目標は、特定の参照アニメフェイスとスタイル一貫性のあるアニメフェイスを合成することです。
既存の方法は、しばしば参照アニメフェイスのスタイルを転送したり、生成された顔の局所的な形状に顕著なアーティファクトや歪みを導入することに失敗する。
論文 参考訳（メタデータ） (2021-02-24T22:47:38Z) - Exploiting Raw Images for Real-Scene Super-Resolution [105.18021110372133]
本稿では,合成データと実撮影画像とのギャップを埋めるために,実シーンにおける単一画像の超解像化の問題について検討する。
本稿では,デジタルカメラの撮像過程を模倣して,よりリアルなトレーニングデータを生成する手法を提案する。
また、原画像に記録された放射情報を活用するために、2分岐畳み込みニューラルネットワークを開発した。
論文 参考訳（メタデータ） (2021-02-02T16:10:15Z) - Deep CG2Real: Synthetic-to-Real Translation via Image Disentanglement [78.58603635621591]
画像空間における未ペアの合成-現実翻訳ネットワークの訓練は、厳しい制約下にある。
画像の非交叉シェーディング層とアルベド層に作用する半教師付きアプローチを提案する。
私たちの2段階のパイプラインはまず、物理ベースのレンダリングをターゲットとして、教師付き方法で正確なシェーディングを予測することを学習します。
論文 参考訳（メタデータ） (2020-03-27T21:45:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。