論文の概要: Improving the Perceptual Quality of 2D Animation Interpolation
- arxiv url: http://arxiv.org/abs/2111.12792v1
- Date: Wed, 24 Nov 2021 20:51:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-05 04:12:37.911673
- Title: Improving the Perceptual Quality of 2D Animation Interpolation
- Title(参考訳): 2次元アニメーション補間の知覚品質の向上
- Authors: Shuhong Chen, Matthias Zwicker
- Abstract要約: 伝統的な2Dアニメーションは労働集約的であり、しばしばアニメーターは1秒間に12枚のイラストを描く必要がある。
低いフレームレートは大きな変位と閉塞をもたらし、例えばラインやソリッドカラー領域のような個々の知覚要素は、テクスチャ指向の畳み込みネットワークに困難をもたらす。
以前の研究はこれらの問題に対処しようとしたが、計算不能なメソッドを使用し、ピクセル完全性能に重点を置いていた。
私たちは、この芸術領域の知覚的品質を重視した、より適切なスケーラブルなシステムを構築します。
- 参考スコア(独自算出の注目度): 37.04208600867858
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Traditional 2D animation is labor-intensive, often requiring animators to
manually draw twelve illustrations per second of movement. While automatic
frame interpolation may ease this burden, the artistic effects inherent to 2D
animation make video synthesis particularly challenging compared to in the
photorealistic domain. Lower framerates result in larger displacements and
occlusions, discrete perceptual elements (e.g. lines and solid-color regions)
pose difficulties for texture-oriented convolutional networks, and exaggerated
nonlinear movements hinder training data collection. Previous work tried
addressing these issues, but used unscalable methods and focused on
pixel-perfect performance. In contrast, we build a scalable system more
appropriately centered on perceptual quality for this artistic domain. Firstly,
we propose a lightweight architecture with a simple yet effective
occlusion-inpainting technique to improve convergence on perceptual metrics
with fewer trainable parameters. Secondly, we design a novel auxiliary module
that leverages the Euclidean distance transform to improve the preservation of
key line and region structures. Thirdly, we automatically double the existing
manually-collected dataset for this task by quantitatively filtering out
movement nonlinearities, allowing us to improve model generalization. Finally,
we establish LPIPS and chamfer distance as strongly preferable to PSNR and SSIM
through a user study, validating our system's emphasis on perceptual quality in
the 2D animation domain.
- Abstract(参考訳): 伝統的な2Dアニメーションは労働集約的であり、しばしばアニメーターは1秒間に12枚のイラストを描く必要がある。
フレームの自動補間は、この負担を軽減するかもしれないが、2Dアニメーションに固有の芸術効果は、フォトリアリスティック領域に比べて特に難しい。
低いフレームレートは大きな変位と閉塞をもたらし、個々の知覚要素(線や固体色領域)はテクスチャ指向の畳み込みネットワークに困難をもたらし、過大な非線形運動はトレーニングデータ収集を妨げる。
以前の研究はこれらの問題に対処しようとしたが、計算不能なメソッドを使用し、ピクセル完全性能に重点を置いていた。
対照的に、我々はこの芸術領域の知覚的品質を重視したスケーラブルなシステムを構築している。
まず,学習可能なパラメータの少ない知覚的メトリクスの収束性を改善するため,単純かつ効果的なオクルージョン・インペインティング手法を用いた軽量アーキテクチャを提案する。
次に, ユークリッド距離変換を利用した新たな補助モジュールを設計し, キーラインと領域構造の保存性を向上させる。
第3に、動きの非線形性を定量的にフィルタリングすることで、既存の手動合成データセットを2倍にし、モデル一般化を改善する。
最後に,PSNR と SSIM に強く好適な LPIPS と Chamfer 距離をユーザスタディにより確立し,システムによる2次元アニメーション領域の知覚品質の重視を検証した。
関連論文リスト
- InvertAvatar: Incremental GAN Inversion for Generalized Head Avatars [39.84321605007352]
本稿では,複数フレームからの忠実度向上を目的としたアルゴリズムを用いて,アバター復元性能を向上させる新しいフレームワークを提案する。
本アーキテクチャでは,画素対応画像-画像変換を重要視し,観測空間と標準空間の対応を学習する必要性を緩和する。
提案手法は,1ショットと数ショットのアバターアニメーションタスクにおける最先端の性能を示す。
論文 参考訳(メタデータ) (2023-12-03T18:59:15Z) - Bridging the Gap: Fine-to-Coarse Sketch Interpolation Network for
High-Quality Animation Sketch Inbetweening [62.33071223229861]
スケッチ間相互作用を克服するためにFC-SIN(Fun-to-Co-arse Interpolation Network)を提案する。
FC-SINには、地域レベルの対応、スケッチレベルの対応、ピクセルレベルのダイナミクスを定式化するマルチレベルガイダンスが組み込まれている。
大規模なデータセットSTD-12Kを構築し、30のスケッチアニメーションシリーズを多種多様な芸術的スタイルで構成した。
論文 参考訳(メタデータ) (2023-08-25T09:51:03Z) - MoDA: Modeling Deformable 3D Objects from Casual Videos [62.92182845878669]
カジュアルビデオから変形可能な3Dオブジェクトをモデリングする際の課題に焦点をあてる。
最近の研究は、標準-観測変換を達成するために線形ブレンドスキン(LBS)に依存している。
ニューラル双対四元混合スキン(NeuDBS)を用いて3次元点変形を実現する。
論文 参考訳(メタデータ) (2023-04-17T13:49:04Z) - RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects [68.85305626324694]
カメラ空間における光マーチング (RiCS) は、3次元における前景物体の自己閉塞を2次元の自己閉塞マップに表現する新しい手法である。
表現マップは画像の質を高めるだけでなく,時間的コヒーレントな複雑な影効果をモデル化できることを示す。
論文 参考訳(メタデータ) (2022-05-14T05:35:35Z) - Image2Gif: Generating Continuous Realistic Animations with Warping NODEs [0.8218964199015377]
本稿では,スムーズなアニメーション(ビデオフレーム)を連続的に生成するための新しいフレームワークであるウォーピングニューラルODEを提案する。
これにより、フレーム間の無限に小さな時間ステップでアニメーションの滑らかさと現実性を達成することができる。
本稿では,GAN(Generative Adversarial Network)や損失$L$など,異なるトレーニング環境下で2フレームのアニメーションを生成する上で,我々の作業の適用例を示す。
論文 参考訳(メタデータ) (2022-05-09T18:39:47Z) - Decoupled Spatial-Temporal Transformer for Video Inpainting [77.8621673355983]
ビデオは、特定の穴をリアルな外観で埋めることを目指していますが、豊かなディープラーニングアプローチでも依然として難しい作業です。
最近の研究は、将来有望なTransformerアーキテクチャをディープビデオのインペイントに導入し、より良いパフォーマンスを実現している。
ビデオインペインティングを優れた効率で改善するため、DSTT(Decoupled Spatial-Temporal Transformer)を提案します。
論文 参考訳(メタデータ) (2021-04-14T05:47:46Z) - Deep Animation Video Interpolation in the Wild [115.24454577119432]
本研究では,アニメーション・ビデオ・コードに関する問題を初めて形式的に定義・検討する。
効果的なフレームワークであるAnimeInterpを2つの専用モジュールで粗密に提案します。
特にAnimeInterpは、野生のアニメーションシナリオに良好な知覚品質と堅牢性を示します。
論文 参考訳(メタデータ) (2021-04-06T13:26:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。