論文の概要: Improving the Perceptual Quality of 2D Animation Interpolation
- arxiv url: http://arxiv.org/abs/2111.12792v1
- Date: Wed, 24 Nov 2021 20:51:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-05 04:12:37.911673
- Title: Improving the Perceptual Quality of 2D Animation Interpolation
- Title（参考訳）: 2次元アニメーション補間の知覚品質の向上
- Authors: Shuhong Chen, Matthias Zwicker
- Abstract要約: 伝統的な2Dアニメーションは労働集約的であり、しばしばアニメーターは1秒間に12枚のイラストを描く必要がある。
低いフレームレートは大きな変位と閉塞をもたらし、例えばラインやソリッドカラー領域のような個々の知覚要素は、テクスチャ指向の畳み込みネットワークに困難をもたらす。
以前の研究はこれらの問題に対処しようとしたが、計算不能なメソッドを使用し、ピクセル完全性能に重点を置いていた。
私たちは、この芸術領域の知覚的品質を重視した、より適切なスケーラブルなシステムを構築します。
- 参考スコア（独自算出の注目度）: 37.04208600867858
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Traditional 2D animation is labor-intensive, often requiring animators to
manually draw twelve illustrations per second of movement. While automatic
frame interpolation may ease this burden, the artistic effects inherent to 2D
animation make video synthesis particularly challenging compared to in the
photorealistic domain. Lower framerates result in larger displacements and
occlusions, discrete perceptual elements (e.g. lines and solid-color regions)
pose difficulties for texture-oriented convolutional networks, and exaggerated
nonlinear movements hinder training data collection. Previous work tried
addressing these issues, but used unscalable methods and focused on
pixel-perfect performance. In contrast, we build a scalable system more
appropriately centered on perceptual quality for this artistic domain. Firstly,
we propose a lightweight architecture with a simple yet effective
occlusion-inpainting technique to improve convergence on perceptual metrics
with fewer trainable parameters. Secondly, we design a novel auxiliary module
that leverages the Euclidean distance transform to improve the preservation of
key line and region structures. Thirdly, we automatically double the existing
manually-collected dataset for this task by quantitatively filtering out
movement nonlinearities, allowing us to improve model generalization. Finally,
we establish LPIPS and chamfer distance as strongly preferable to PSNR and SSIM
through a user study, validating our system's emphasis on perceptual quality in
the 2D animation domain.
- Abstract（参考訳）: 伝統的な2Dアニメーションは労働集約的であり、しばしばアニメーターは1秒間に12枚のイラストを描く必要がある。
フレームの自動補間は、この負担を軽減するかもしれないが、2Dアニメーションに固有の芸術効果は、フォトリアリスティック領域に比べて特に難しい。
低いフレームレートは大きな変位と閉塞をもたらし、個々の知覚要素(線や固体色領域)はテクスチャ指向の畳み込みネットワークに困難をもたらし、過大な非線形運動はトレーニングデータ収集を妨げる。
以前の研究はこれらの問題に対処しようとしたが、計算不能なメソッドを使用し、ピクセル完全性能に重点を置いていた。
対照的に、我々はこの芸術領域の知覚的品質を重視したスケーラブルなシステムを構築している。
まず,学習可能なパラメータの少ない知覚的メトリクスの収束性を改善するため,単純かつ効果的なオクルージョン・インペインティング手法を用いた軽量アーキテクチャを提案する。
次に, ユークリッド距離変換を利用した新たな補助モジュールを設計し, キーラインと領域構造の保存性を向上させる。
第3に、動きの非線形性を定量的にフィルタリングすることで、既存の手動合成データセットを2倍にし、モデル一般化を改善する。
最後に,PSNR と SSIM に強く好適な LPIPS と Chamfer 距離をユーザスタディにより確立し,システムによる2次元アニメーション領域の知覚品質の重視を検証した。
関連論文リスト
- Thin-Plate Spline-based Interpolation for Animation Line Inbetweening [54.69811179222127]
チャンファー距離(CD: Chamfer Distance)は、一般に間欠的な性能を評価するために用いられる。
薄板スプライン変換を応用したアニメーションラインインテタイニングの簡易かつ効果的な手法を提案する。
提案手法は, 流動性を高めた高品質な結果を提供することにより, 既存の手法よりも優れる。
論文 参考訳（メタデータ） (2024-08-17T08:05:31Z) - An Animation-based Augmentation Approach for Action Recognition from Discontinuous Video [11.293897932762809]
コンピュータビジョンの重要な構成要素である行動認識は、複数のアプリケーションにおいて重要な役割を果たす。
CNNは、不連続なビデオフレームでトレーニングされた場合、パフォーマンスの低下に悩まされる。
この問題を克服するために、一連の高度な技術を用いた4Aパイプラインを紹介します。
論文 参考訳（メタデータ） (2024-04-10T04:59:51Z) - Bridging the Gap: Sketch-Aware Interpolation Network for High-Quality Animation Sketch Inbetweening [58.09847349781176]
我々は,新しい深層学習手法であるSketch-Aware Interpolation Network (SAIN)を提案する。
このアプローチには、領域レベルの対応、ストロークレベルの対応、ピクセルレベルのダイナミクスを定式化するマルチレベルガイダンスが組み込まれている。
マルチストリームのU-Transformerは、自己/クロスアテンション機構の統合により、これらのマルチレベルガイドを使用して、スケッチ間のインテンションパターンを特徴付けるように設計されている。
論文 参考訳（メタデータ） (2023-08-25T09:51:03Z) - RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects [68.85305626324694]
カメラ空間における光マーチング (RiCS) は、3次元における前景物体の自己閉塞を2次元の自己閉塞マップに表現する新しい手法である。
表現マップは画像の質を高めるだけでなく,時間的コヒーレントな複雑な影効果をモデル化できることを示す。
論文 参考訳（メタデータ） (2022-05-14T05:35:35Z) - Image2Gif: Generating Continuous Realistic Animations with Warping NODEs [0.8218964199015377]
本稿では,スムーズなアニメーション(ビデオフレーム)を連続的に生成するための新しいフレームワークであるウォーピングニューラルODEを提案する。
これにより、フレーム間の無限に小さな時間ステップでアニメーションの滑らかさと現実性を達成することができる。
本稿では,GAN(Generative Adversarial Network)や損失$L$など,異なるトレーニング環境下で2フレームのアニメーションを生成する上で,我々の作業の適用例を示す。
論文 参考訳（メタデータ） (2022-05-09T18:39:47Z) - Decoupled Spatial-Temporal Transformer for Video Inpainting [77.8621673355983]
ビデオは、特定の穴をリアルな外観で埋めることを目指していますが、豊かなディープラーニングアプローチでも依然として難しい作業です。
最近の研究は、将来有望なTransformerアーキテクチャをディープビデオのインペイントに導入し、より良いパフォーマンスを実現している。
ビデオインペインティングを優れた効率で改善するため、DSTT(Decoupled Spatial-Temporal Transformer)を提案します。
論文 参考訳（メタデータ） (2021-04-14T05:47:46Z) - Deep Animation Video Interpolation in the Wild [115.24454577119432]
本研究では,アニメーション・ビデオ・コードに関する問題を初めて形式的に定義・検討する。
効果的なフレームワークであるAnimeInterpを2つの専用モジュールで粗密に提案します。
特にAnimeInterpは、野生のアニメーションシナリオに良好な知覚品質と堅牢性を示します。
論文 参考訳（メタデータ） (2021-04-06T13:26:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。