論文の概要: Deep Sketch-guided Cartoon Video Inbetweening
- arxiv url: http://arxiv.org/abs/2008.04149v2
- Date: Mon, 18 Jan 2021 17:15:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 23:03:49.634967
- Title: Deep Sketch-guided Cartoon Video Inbetweening
- Title（参考訳）: 深部スケッチガイド付きマンガビデオインタリング
- Authors: Xiaoyu Li, Bo Zhang, Jing Liao and Pedro V. Sander
- Abstract要約: 本研究では,ユーザスケッチに案内されたアニメーションの動きに追従しながら,2つの入力から色情報を取得することで,マンガ映像を生成するフレームワークを提案する。
フレームとスケッチの対応性を明示的に考慮することにより,他の画像合成法よりも高品質な結果が得られる。
- 参考スコア（独自算出の注目度）: 24.00033622396297
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel framework to produce cartoon videos by fetching the color
information from two input keyframes while following the animated motion guided
by a user sketch. The key idea of the proposed approach is to estimate the
dense cross-domain correspondence between the sketch and cartoon video frames,
and employ a blending module with occlusion estimation to synthesize the middle
frame guided by the sketch. After that, the input frames and the synthetic
frame equipped with established correspondence are fed into an arbitrary-time
frame interpolation pipeline to generate and refine additional inbetween
frames. Finally, a module to preserve temporal consistency is employed.
Compared to common frame interpolation methods, our approach can address frames
with relatively large motion and also has the flexibility to enable users to
control the generated video sequences by editing the sketch guidance. By
explicitly considering the correspondence between frames and the sketch, we can
achieve higher quality results than other image synthesis methods. Our results
show that our system generalizes well to different movie frames, achieving
better results than existing solutions.
- Abstract（参考訳）: 本研究では,2つの入力キーフレームから色情報を抽出し,ユーザスケッチによるアニメーション動作に追従し,マンガ映像を作成するための新しい枠組みを提案する。
提案手法の重要な考え方は,スケッチと漫画ビデオフレーム間の密なクロスドメイン対応を推定することであり,スケッチに導かれた中間フレームを合成するためにオクルージョン推定を伴うブレンディングモジュールを用いる。
その後、入力フレームと確立対応を備えた合成フレームとを任意の時間フレーム補間パイプラインに供給し、追加のフレーム間を合成する。
最後に、時間的一貫性を保つモジュールを用いる。
一般的なフレーム補間法と比較して,比較的大きな動きのフレームに対処できると同時に,スケッチガイドを編集することで,ユーザが生成したビデオシーケンスを制御できる柔軟性も備えている。
フレームとスケッチの対応を明示的に考慮することで、他の画像合成法よりも高品質な結果が得られる。
これらの結果から,本システムは,既存のソリューションよりも優れた結果が得られることを示す。
関連論文リスト
- Framer: Interactive Frame Interpolation [73.06734414930227]
Framerのターゲットは、ユーザのクリエイティビティに応じて、2つのイメージ間のスムーズな遷移フレームを生成することだ。
提案手法は,選択したキーポイントの軌道を調整し,遷移過程のカスタマイズを支援する。
ここでは,キーポイントと軌道を自動的に推定するモジュールを導入する。
論文 参考訳（メタデータ） (2024-10-24T17:59:51Z) - Sketch Video Synthesis [52.134906766625164]
フレームワイドB'ezier曲線で表現されたビデオのスケッチを行うための新しいフレームワークを提案する。
本手法は、スケッチベースのビデオ編集やビデオ合成によるビデオ再生における応用を解放する。
論文 参考訳（メタデータ） (2023-11-26T14:14:04Z) - Bridging the Gap: Sketch-Aware Interpolation Network for High-Quality Animation Sketch Inbetweening [58.09847349781176]
我々は,新しい深層学習手法であるSketch-Aware Interpolation Network (SAIN)を提案する。
このアプローチには、領域レベルの対応、ストロークレベルの対応、ピクセルレベルのダイナミクスを定式化するマルチレベルガイダンスが組み込まれている。
マルチストリームのU-Transformerは、自己/クロスアテンション機構の統合により、これらのマルチレベルガイドを使用して、スケッチ間のインテンションパターンを特徴付けるように設計されている。
論文 参考訳（メタデータ） (2023-08-25T09:51:03Z) - Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation [93.18163456287164]
本稿では,動画に画像モデルを適用するための新しいテキスト誘導型動画翻訳フレームワークを提案する。
我々のフレームワークは,グローバルなスタイルと局所的なテクスチャの時間的一貫性を低コストで実現している。
論文 参考訳（メタデータ） (2023-06-13T17:52:23Z) - TTVFI: Learning Trajectory-Aware Transformer for Video Frame
Interpolation [50.49396123016185]
ビデオフレーム(VFI)は、2つの連続するフレーム間の中間フレームを合成することを目的としている。
ビデオフレーム補間用トラジェクトリ対応トランス (TTVFI) を提案する。
提案手法は,4つの広く使用されているVFIベンチマークにおいて,他の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2022-07-19T03:37:49Z) - ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring [92.40655035360729]
ビデオデブラリングモデルは連続フレームを利用して、カメラの揺動や物体の動きからぼやけを取り除く。
特徴空間におけるボケフレーム間の空間的対応を学習する新しい暗黙的手法を提案する。
提案手法は,新たに収集したビデオデブレーション用ハイフレームレート(1000fps)データセットとともに,広く採用されているDVDデータセット上で評価される。
論文 参考訳（メタデータ） (2021-03-07T04:33:13Z) - ALANET: Adaptive Latent Attention Network forJoint Video Deblurring and
Interpolation [38.52446103418748]
シャープな高フレームレート映像を合成する新しいアーキテクチャであるAdaptive Latent Attention Network (ALANET)を導入する。
我々は,各フレームに最適化された表現を生成するために,潜在空間内の連続するフレーム間で自己アテンションと相互アテンションのモジュールを組み合わせる。
本手法は, より困難な問題に取り組みながら, 様々な最先端手法に対して良好に機能する。
論文 参考訳（メタデータ） (2020-08-31T21:11:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。