論文の概要: Bridging the Gap: Sketch-Aware Interpolation Network for High-Quality Animation Sketch Inbetweening
- arxiv url: http://arxiv.org/abs/2308.13273v2
- Date: Wed, 14 Aug 2024 08:48:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-15 18:36:49.476750
- Title: Bridging the Gap: Sketch-Aware Interpolation Network for High-Quality Animation Sketch Inbetweening
- Title（参考訳）: ギャップを埋める: 高品質アニメーション・スケッチインタイニングのためのスケッチ対応補間ネットワーク
- Authors: Jiaming Shen, Kun Hu, Wei Bao, Chang Wen Chen, Zhiyong Wang,
- Abstract要約: 我々は,新しい深層学習手法であるSketch-Aware Interpolation Network (SAIN)を提案する。
このアプローチには、領域レベルの対応、ストロークレベルの対応、ピクセルレベルのダイナミクスを定式化するマルチレベルガイダンスが組み込まれている。
マルチストリームのU-Transformerは、自己/クロスアテンション機構の統合により、これらのマルチレベルガイドを使用して、スケッチ間のインテンションパターンを特徴付けるように設計されている。
- 参考スコア（独自算出の注目度）: 58.09847349781176
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hand-drawn 2D animation workflow is typically initiated with the creation of sketch keyframes. Subsequent manual inbetweens are crafted for smoothness, which is a labor-intensive process and the prospect of automatic animation sketch interpolation has become highly appealing. Yet, common frame interpolation methods are generally hindered by two key issues: 1) limited texture and colour details in sketches, and 2) exaggerated alterations between two sketch keyframes. To overcome these issues, we propose a novel deep learning method - Sketch-Aware Interpolation Network (SAIN). This approach incorporates multi-level guidance that formulates region-level correspondence, stroke-level correspondence and pixel-level dynamics. A multi-stream U-Transformer is then devised to characterize sketch inbetweening patterns using these multi-level guides through the integration of self / cross-attention mechanisms. Additionally, to facilitate future research on animation sketch inbetweening, we constructed a large-scale dataset - STD-12K, comprising 30 sketch animation series in diverse artistic styles. Comprehensive experiments on this dataset convincingly show that our proposed SAIN surpasses the state-of-the-art interpolation methods.
- Abstract（参考訳）: 手書きの2Dアニメーションワークフローは、通常、スケッチキーフレームの作成から始まる。
その後のマニュアルインベンツは、労働集約的なプロセスである滑らかさのために製作され、自動アニメーションスケッチ補間が注目されている。
しかし、一般的なフレーム補間法は一般的に2つの主要な問題によって妨げられている。
1)スケッチにおけるテクスチャと色の詳細の制限
2)2つのスケッチキーフレーム間の大げさな変更。
これらの課題を克服するために,新しい深層学習手法であるSketch-Aware Interpolation Network (SAIN)を提案する。
このアプローチには、領域レベルの対応、ストロークレベルの対応、ピクセルレベルのダイナミクスを定式化するマルチレベルガイダンスが組み込まれている。
マルチストリームのU-Transformerは、自己/クロスアテンション機構の統合により、これらのマルチレベルガイドを使用して、スケッチ間のインテンションパターンを特徴付けるように設計されている。
さらに,アニメーションのスケッチを取り入れた将来的な研究を促進するために,30のスケッチアニメーションシリーズを多種多様な芸術スタイルで構成した大規模データセットSTD-12Kを構築した。
このデータセットに関する総合的な実験により、提案したSAINが最先端の補間法を超越したことを示す。
関連論文リスト
- Thin-Plate Spline-based Interpolation for Animation Line Inbetweening [54.69811179222127]
チャンファー距離(CD: Chamfer Distance)は、一般に間欠的な性能を評価するために用いられる。
薄板スプライン変換を応用したアニメーションラインインテタイニングの簡易かつ効果的な手法を提案する。
提案手法は, 流動性を高めた高品質な結果を提供することにより, 既存の手法よりも優れる。
論文 参考訳（メタデータ） (2024-08-17T08:05:31Z) - Sketch Video Synthesis [52.134906766625164]
フレームワイドB'ezier曲線で表現されたビデオのスケッチを行うための新しいフレームワークを提案する。
本手法は、スケッチベースのビデオ編集やビデオ合成によるビデオ再生における応用を解放する。
論文 参考訳（メタデータ） (2023-11-26T14:14:04Z) - Deep Geometrized Cartoon Line Inbetweening [98.35956631655357]
インベントワイニングは、2つの白黒線図の間の中間フレームを生成する。
画像全体のマッチングとワープに依存する既存のフレームメソッドは、ラインインテワイニングには適していない。
本稿では,AnimeInbetを提案する。これは幾何学的な線描画をエンドポイントにジオメトリし,グラフ融合問題としてインベントワイニングタスクを再構成する。
本手法は,線画の細部と細部を包含しながら,線画の細部と特異な構造を効果的に捉えることができる。
論文 参考訳（メタデータ） (2023-09-28T17:50:05Z) - Improving the Perceptual Quality of 2D Animation Interpolation [37.04208600867858]
伝統的な2Dアニメーションは労働集約的であり、しばしばアニメーターは1秒間に12枚のイラストを描く必要がある。
低いフレームレートは大きな変位と閉塞をもたらし、例えばラインやソリッドカラー領域のような個々の知覚要素は、テクスチャ指向の畳み込みネットワークに困難をもたらす。
以前の研究はこれらの問題に対処しようとしたが、計算不能なメソッドを使用し、ピクセル完全性能に重点を置いていた。
私たちは、この芸術領域の知覚的品質を重視した、より適切なスケーラブルなシステムを構築します。
論文 参考訳（メタデータ） (2021-11-24T20:51:29Z) - Sketch Me A Video [32.38205496481408]
本稿では、2つの粗悪なドーンスケッチを入力としてのみ使用して、リアルなポートレートビデオを作成することで、新しいビデオ合成タスクを提案する。
2段階のSketch-to-Videoモデルが提案されている。
論文 参考訳（メタデータ） (2021-10-10T05:40:11Z) - Deep Sketch-guided Cartoon Video Inbetweening [24.00033622396297]
本研究では,ユーザスケッチに案内されたアニメーションの動きに追従しながら,2つの入力から色情報を取得することで,マンガ映像を生成するフレームワークを提案する。
フレームとスケッチの対応性を明示的に考慮することにより,他の画像合成法よりも高品質な結果が得られる。
論文 参考訳（メタデータ） (2020-08-10T14:22:04Z) - Multi-Density Sketch-to-Image Translation Network [65.4028451067947]
入力スケッチは、粗い物体の輪郭からマイクロ構造まで幅広い範囲をカバーすることができる。
本手法は,顔の編集,マルチモーダルなスケッチ・ツー・フォト変換,アニメのカラー化など,様々な用途のデータセットで検証されている。
論文 参考訳（メタデータ） (2020-06-18T16:21:04Z) - SketchDesc: Learning Local Sketch Descriptors for Multi-view
Correspondence [68.63311821718416]
我々はマルチビュースケッチ対応の問題について検討し、同じオブジェクトの異なるビューを持つ複数のフリーハンドスケッチを入力として扱う。
異なる視点における対応する点の視覚的特徴は、非常に異なる可能性があるため、この問題は困難である。
我々は、深層学習アプローチを採用し、データから新しいローカルスケッチ記述子を学習する。
論文 参考訳（メタデータ） (2020-01-16T11:31:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。