論文の概要: Bridging the Gap: Sketch-Aware Interpolation Network for High-Quality Animation Sketch Inbetweening
- arxiv url: http://arxiv.org/abs/2308.13273v2
- Date: Wed, 14 Aug 2024 08:48:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-15 18:36:49.476750
- Title: Bridging the Gap: Sketch-Aware Interpolation Network for High-Quality Animation Sketch Inbetweening
- Title(参考訳): ギャップを埋める: 高品質アニメーション・スケッチインタイニングのためのスケッチ対応補間ネットワーク
- Authors: Jiaming Shen, Kun Hu, Wei Bao, Chang Wen Chen, Zhiyong Wang,
- Abstract要約: 我々は,新しい深層学習手法であるSketch-Aware Interpolation Network (SAIN)を提案する。
このアプローチには、領域レベルの対応、ストロークレベルの対応、ピクセルレベルのダイナミクスを定式化するマルチレベルガイダンスが組み込まれている。
マルチストリームのU-Transformerは、自己/クロスアテンション機構の統合により、これらのマルチレベルガイドを使用して、スケッチ間のインテンションパターンを特徴付けるように設計されている。
- 参考スコア(独自算出の注目度): 58.09847349781176
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hand-drawn 2D animation workflow is typically initiated with the creation of sketch keyframes. Subsequent manual inbetweens are crafted for smoothness, which is a labor-intensive process and the prospect of automatic animation sketch interpolation has become highly appealing. Yet, common frame interpolation methods are generally hindered by two key issues: 1) limited texture and colour details in sketches, and 2) exaggerated alterations between two sketch keyframes. To overcome these issues, we propose a novel deep learning method - Sketch-Aware Interpolation Network (SAIN). This approach incorporates multi-level guidance that formulates region-level correspondence, stroke-level correspondence and pixel-level dynamics. A multi-stream U-Transformer is then devised to characterize sketch inbetweening patterns using these multi-level guides through the integration of self / cross-attention mechanisms. Additionally, to facilitate future research on animation sketch inbetweening, we constructed a large-scale dataset - STD-12K, comprising 30 sketch animation series in diverse artistic styles. Comprehensive experiments on this dataset convincingly show that our proposed SAIN surpasses the state-of-the-art interpolation methods.
- Abstract(参考訳): 手書きの2Dアニメーションワークフローは、通常、スケッチキーフレームの作成から始まる。
その後のマニュアルインベンツは、労働集約的なプロセスである滑らかさのために製作され、自動アニメーションスケッチ補間が注目されている。
しかし、一般的なフレーム補間法は一般的に2つの主要な問題によって妨げられている。
1)スケッチにおけるテクスチャと色の詳細の制限
2)2つのスケッチキーフレーム間の大げさな変更。
これらの課題を克服するために,新しい深層学習手法であるSketch-Aware Interpolation Network (SAIN)を提案する。
このアプローチには、領域レベルの対応、ストロークレベルの対応、ピクセルレベルのダイナミクスを定式化するマルチレベルガイダンスが組み込まれている。
マルチストリームのU-Transformerは、自己/クロスアテンション機構の統合により、これらのマルチレベルガイドを使用して、スケッチ間のインテンションパターンを特徴付けるように設計されている。
さらに,アニメーションのスケッチを取り入れた将来的な研究を促進するために,30のスケッチアニメーションシリーズを多種多様な芸術スタイルで構成した大規模データセットSTD-12Kを構築した。
このデータセットに関する総合的な実験により、提案したSAINが最先端の補間法を超越したことを示す。
関連論文リスト
- SketchTriplet: Self-Supervised Scenarized Sketch-Text-Image Triplet Generation [6.39528707908268]
シーンスケッチ用の大規模なペアデータセットは引き続き欠如している。
本稿では,既存のシーンスケッチに依存しないシーンスケッチ生成のための自己教師型手法を提案する。
シーンスケッチを中心にした大規模なデータセットをコントリビュートし、セマンティックに一貫した「テキスト・スケッチ・イメージ」三つ子を含む。
論文 参考訳(メタデータ) (2024-05-29T06:43:49Z) - Sketch Video Synthesis [52.134906766625164]
フレームワイドB'ezier曲線で表現されたビデオのスケッチを行うための新しいフレームワークを提案する。
本手法は、スケッチベースのビデオ編集やビデオ合成によるビデオ再生における応用を解放する。
論文 参考訳(メタデータ) (2023-11-26T14:14:04Z) - Deep Geometrized Cartoon Line Inbetweening [98.35956631655357]
インベントワイニングは、2つの白黒線図の間の中間フレームを生成する。
画像全体のマッチングとワープに依存する既存のフレームメソッドは、ラインインテワイニングには適していない。
本稿では,AnimeInbetを提案する。これは幾何学的な線描画をエンドポイントにジオメトリし,グラフ融合問題としてインベントワイニングタスクを再構成する。
本手法は,線画の細部と細部を包含しながら,線画の細部と特異な構造を効果的に捉えることができる。
論文 参考訳(メタデータ) (2023-09-28T17:50:05Z) - I Know What You Draw: Learning Grasp Detection Conditioned on a Few
Freehand Sketches [74.63313641583602]
そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。
私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
論文 参考訳(メタデータ) (2022-05-09T04:23:36Z) - FS-COCO: Towards Understanding of Freehand Sketches of Common Objects in
Context [112.07988211268612]
フリーハンドシーンスケッチの最初のデータセットであるFS-COCOを用いてスケッチ研究を進めた。
本データセットは,100名の非専門家による1点あたりの時空間情報付きフリーハンドシーンベクトルスケッチからなる。
フリーハンドシーンのスケッチやスケッチのキャプションからきめ細かい画像検索の問題が初めて研究された。
論文 参考訳(メタデータ) (2022-03-04T03:00:51Z) - Improving the Perceptual Quality of 2D Animation Interpolation [37.04208600867858]
伝統的な2Dアニメーションは労働集約的であり、しばしばアニメーターは1秒間に12枚のイラストを描く必要がある。
低いフレームレートは大きな変位と閉塞をもたらし、例えばラインやソリッドカラー領域のような個々の知覚要素は、テクスチャ指向の畳み込みネットワークに困難をもたらす。
以前の研究はこれらの問題に対処しようとしたが、計算不能なメソッドを使用し、ピクセル完全性能に重点を置いていた。
私たちは、この芸術領域の知覚的品質を重視した、より適切なスケーラブルなシステムを構築します。
論文 参考訳(メタデータ) (2021-11-24T20:51:29Z) - Deep Animation Video Interpolation in the Wild [115.24454577119432]
本研究では,アニメーション・ビデオ・コードに関する問題を初めて形式的に定義・検討する。
効果的なフレームワークであるAnimeInterpを2つの専用モジュールで粗密に提案します。
特にAnimeInterpは、野生のアニメーションシナリオに良好な知覚品質と堅牢性を示します。
論文 参考訳(メタデータ) (2021-04-06T13:26:49Z) - Deep Sketch-guided Cartoon Video Inbetweening [24.00033622396297]
本研究では,ユーザスケッチに案内されたアニメーションの動きに追従しながら,2つの入力から色情報を取得することで,マンガ映像を生成するフレームワークを提案する。
フレームとスケッチの対応性を明示的に考慮することにより,他の画像合成法よりも高品質な結果が得られる。
論文 参考訳(メタデータ) (2020-08-10T14:22:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。