論文の概要: Bridging the Gap: Fine-to-Coarse Sketch Interpolation Network for High-Quality Animation Sketch Inbetweening

• arxiv url: http://arxiv.org/abs/2308.13273v1
• Date: Fri, 25 Aug 2023 09:51:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-28 14:31:02.560355
• Title: Bridging the Gap: Fine-to-Coarse Sketch Interpolation Network for High-Quality Animation Sketch Inbetweening
• Title（参考訳）: ギャップをブリッジする: 高品質アニメーション・スケッチインベットワイニングのための微細・粗いスケッチ補間ネットワーク
• Authors: Jiaming Shen, Kun Hu, Wei Bao, Chang Wen Chen, Zhiyong Wang
• Abstract要約: スケッチ間相互作用を克服するためにFC-SIN(Fun-to-Co-arse Interpolation Network)を提案する。 FC-SINには、地域レベルの対応、スケッチレベルの対応、ピクセルレベルのダイナミクスを定式化するマルチレベルガイダンスが組み込まれている。 大規模なデータセットSTD-12Kを構築し、30のスケッチアニメーションシリーズを多種多様な芸術的スタイルで構成した。
• 参考スコア（独自算出の注目度）: 62.33071223229861
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The 2D animation workflow is typically initiated with the creation of keyframes using sketch-based drawing. Subsequent inbetweens (i.e., intermediate sketch frames) are crafted through manual interpolation for smooth animations, which is a labor-intensive process. Thus, the prospect of automatic animation sketch interpolation has become highly appealing. However, existing video interpolation methods are generally hindered by two key issues for sketch inbetweening: 1) limited texture and colour details in sketches, and 2) exaggerated alterations between two sketch keyframes. To overcome these issues, we propose a novel deep learning method, namely Fine-to-Coarse Sketch Interpolation Network (FC-SIN). This approach incorporates multi-level guidance that formulates region-level correspondence, sketch-level correspondence and pixel-level dynamics. A multi-stream U-Transformer is then devised to characterize sketch inbewteening patterns using these multi-level guides through the integration of both self-attention and cross-attention mechanisms. Additionally, to facilitate future research on animation sketch inbetweening, we constructed a large-scale dataset - STD-12K, comprising 30 sketch animation series in diverse artistic styles. Comprehensive experiments on this dataset convincingly show that our proposed FC-SIN surpasses the state-of-the-art interpolation methods. Our code and dataset will be publicly available.
• Abstract（参考訳）: 2Dアニメーションワークフローは通常、スケッチベースの描画を使ったキーフレームの作成から始まる。 その後のinbetweens(即ち中間スケッチフレーム)は、スムーズなアニメーションを手動で補間することで作成され、これは労働集約的なプロセスである。 このように、自動アニメーションスケッチ補間の展望は高く評価されている。 しかし、既存のビデオ補間手法は、一般的に2つの重要な問題によって妨げられている。 1)スケッチにおけるテクスチャと色の詳細の制限 2)2つのスケッチキーフレーム間の大げさな変更。 これらの課題を克服するために,我々はFun-to-Coarse Sketch Interpolation Network (FC-SIN) という新しいディープラーニング手法を提案する。 このアプローチでは、領域レベルの対応、スケッチレベルの対応、ピクセルレベルのダイナミクスを定式化するマルチレベルガイダンスが組み込まれている。 マルチストリームのU-Transformerは、これらのマルチレベルガイドを用いて、自己注意機構とクロスアテンション機構の統合により、スケッチの中間パターンを特徴付けるように設計されている。 さらに,アニメーションのスケッチを取り入れた将来的な研究を促進するために,30のスケッチアニメーションシリーズからなる大規模データセットSTD-12Kを構築した。 このデータセットに関する総合的な実験により,提案したFC-SINが最先端の補間法を超越したことを示す。 コードとデータセットは公開されます。

関連論文リスト

• Thin-Plate Spline-based Interpolation for Animation Line Inbetweening [54.69811179222127]
  チャンファー距離(CD: Chamfer Distance)は、一般に間欠的な性能を評価するために用いられる。 薄板スプライン変換を応用したアニメーションラインインテタイニングの簡易かつ効果的な手法を提案する。 提案手法は, 流動性を高めた高品質な結果を提供することにより, 既存の手法よりも優れる。
  論文  参考訳（メタデータ） (2024-08-17T08:05:31Z)
• Sketch Video Synthesis [52.134906766625164]
  フレームワイドB'ezier曲線で表現されたビデオのスケッチを行うための新しいフレームワークを提案する。 本手法は、スケッチベースのビデオ編集やビデオ合成によるビデオ再生における応用を解放する。
  論文  参考訳（メタデータ） (2023-11-26T14:14:04Z)
• Deep Geometrized Cartoon Line Inbetweening [98.35956631655357]
  インベントワイニングは、2つの白黒線図の間の中間フレームを生成する。 画像全体のマッチングとワープに依存する既存のフレームメソッドは、ラインインテワイニングには適していない。 本稿では,AnimeInbetを提案する。これは幾何学的な線描画をエンドポイントにジオメトリし,グラフ融合問題としてインベントワイニングタスクを再構成する。 本手法は,線画の細部と細部を包含しながら,線画の細部と特異な構造を効果的に捉えることができる。
  論文  参考訳（メタデータ） (2023-09-28T17:50:05Z)
• Improving the Perceptual Quality of 2D Animation Interpolation [37.04208600867858]
  伝統的な2Dアニメーションは労働集約的であり、しばしばアニメーターは1秒間に12枚のイラストを描く必要がある。 低いフレームレートは大きな変位と閉塞をもたらし、例えばラインやソリッドカラー領域のような個々の知覚要素は、テクスチャ指向の畳み込みネットワークに困難をもたらす。 以前の研究はこれらの問題に対処しようとしたが、計算不能なメソッドを使用し、ピクセル完全性能に重点を置いていた。 私たちは、この芸術領域の知覚的品質を重視した、より適切なスケーラブルなシステムを構築します。
  論文  参考訳（メタデータ） (2021-11-24T20:51:29Z)
• Sketch Me A Video [32.38205496481408]
  本稿では、2つの粗悪なドーンスケッチを入力としてのみ使用して、リアルなポートレートビデオを作成することで、新しいビデオ合成タスクを提案する。 2段階のSketch-to-Videoモデルが提案されている。
  論文  参考訳（メタデータ） (2021-10-10T05:40:11Z)
• Deep Sketch-guided Cartoon Video Inbetweening [24.00033622396297]
  本研究では,ユーザスケッチに案内されたアニメーションの動きに追従しながら,2つの入力から色情報を取得することで,マンガ映像を生成するフレームワークを提案する。 フレームとスケッチの対応性を明示的に考慮することにより,他の画像合成法よりも高品質な結果が得られる。
  論文  参考訳（メタデータ） (2020-08-10T14:22:04Z)
• Multi-Density Sketch-to-Image Translation Network [65.4028451067947]
  入力スケッチは、粗い物体の輪郭からマイクロ構造まで幅広い範囲をカバーすることができる。 本手法は,顔の編集,マルチモーダルなスケッチ・ツー・フォト変換,アニメのカラー化など,様々な用途のデータセットで検証されている。
  論文  参考訳（メタデータ） (2020-06-18T16:21:04Z)
• SketchDesc: Learning Local Sketch Descriptors for Multi-view Correspondence [68.63311821718416]
  我々はマルチビュースケッチ対応の問題について検討し、同じオブジェクトの異なるビューを持つ複数のフリーハンドスケッチを入力として扱う。 異なる視点における対応する点の視覚的特徴は、非常に異なる可能性があるため、この問題は困難である。 我々は、深層学習アプローチを採用し、データから新しいローカルスケッチ記述子を学習する。
  論文  参考訳（メタデータ） (2020-01-16T11:31:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。