論文の概要: Sketch Me A Video
- arxiv url: http://arxiv.org/abs/2110.04710v1
- Date: Sun, 10 Oct 2021 05:40:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-16 17:18:32.043867
- Title: Sketch Me A Video
- Title（参考訳）: ビデオをスケッチして
- Authors: Haichao Zhang, Gang Yu, Tao Chen, Guozhong Luo
- Abstract要約: 本稿では、2つの粗悪なドーンスケッチを入力としてのみ使用して、リアルなポートレートビデオを作成することで、新しいビデオ合成タスクを提案する。
2段階のSketch-to-Videoモデルが提案されている。
- 参考スコア（独自算出の注目度）: 32.38205496481408
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video creation has been an attractive yet challenging task for artists to
explore. With the advancement of deep learning, recent works try to utilize
deep convolutional neural networks to synthesize a video with the aid of a
guiding video, and have achieved promising results. However, the acquisition of
guiding videos, or other forms of guiding temporal information is costly
expensive and difficult in reality. Therefore, in this work we introduce a new
video synthesis task by employing two rough bad-drwan sketches only as input to
create a realistic portrait video. A two-stage Sketch-to-Video model is
proposed, which consists of two key novelties: 1) a feature retrieve and
projection (FRP) module, which parititions the input sketch into different
parts and utilizes these parts for synthesizing a realistic start or end frame
and meanwhile generating rich semantic features, is designed to alleviate the
sketch out-of-domain problem due to arbitrarily drawn free-form sketch styles
by different users. 2) A motion projection followed by feature blending module,
which projects a video (used only in training phase) into a motion space
modeled by normal distribution and blends the motion variables with semantic
features extracted above, is proposed to alleviate the guiding temporal
information missing problem in the test phase. Experiments conducted on a
combination of CelebAMask-HQ and VoxCeleb2 dataset well validate that, our
method can acheive both good quantitative and qualitative results in
synthesizing high-quality videos from two rough bad-drawn sketches.
- Abstract（参考訳）: アーティストにとってビデオ制作は魅力的だが難しい課題だった。
ディープラーニングの進歩により、近年の研究では、深い畳み込みニューラルネットワークを使用して、ガイドビデオの助けを借りてビデオを合成し、有望な結果を得た。
しかし、ガイド付きビデオやその他の時間的情報を導く形態の買収は、現実には費用がかかり、困難である。
そこで本研究では,粗悪な2つのスケッチを入力として,写実的なポートレート映像を作成することにより,新たな映像合成タスクを提案する。
2段階のSketch-to-Videoモデルが提案されている。
1) リアルな開始フレームや終了フレームの合成やリッチなセマンティックな特徴の生成にこれらの部分を利用する特徴検索・投影(FRP)モジュールは,ユーザによって任意に描画された自由形式のスケッチスタイルによって,ドメイン外のスケッチを緩和するように設計されている。
2) ビデオ(トレーニング段階でのみ使用される)を正規分布でモデル化した運動空間に投影し, 動作変数と上記抽出した意味的特徴をブレンドする特徴ブレンディングモジュールを提案し, テストフェーズにおける時間的情報不足問題を緩和する。
celebamask-hqとvoxceleb2データセットの組み合わせによる実験では,粗悪な2つのスケッチから高品質な映像を合成することで,定量的,質的にも良好な結果が得られることを確認した。
関連論文リスト
- DreamVideo: Composing Your Dream Videos with Customized Subject and
Motion [52.7394517692186]
対象の静的画像からパーソナライズされたビデオを生成する新しいアプローチであるDreamVideoを紹介します。
DreamVideoは、このタスクを、トレーニング済みのビデオ拡散モデルを活用することによって、主観学習とモーション学習の2つの段階に分離する。
モーション学習では、対象のモーションパターンを効果的にモデル化するために、モーションアダプタを設計し、所定のビデオに微調整する。
論文 参考訳（メタデータ） (2023-12-07T16:57:26Z) - Sketch Video Synthesis [52.134906766625164]
フレームワイドB'ezier曲線で表現されたビデオのスケッチを行うための新しいフレームワークを提案する。
本手法は、スケッチベースのビデオ編集やビデオ合成によるビデオ再生における応用を解放する。
論文 参考訳（メタデータ） (2023-11-26T14:14:04Z) - Breathing Life Into Sketches Using Text-to-Video Priors [101.8236605955899]
スケッチは、人間が自分のアイデアを視覚的に伝えるために使う最も直感的で汎用性の高いツールの1つです。
本研究では,単一オブジェクトのスケッチに動きを自動的に付加する手法を提案する。
出力はベクトル表現で提供される短いアニメーションで、簡単に編集できる。
論文 参考訳（メタデータ） (2023-11-21T18:09:30Z) - Render In-between: Motion Guided Video Synthesis for Action
Interpolation [53.43607872972194]
本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。
大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。
私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
論文 参考訳（メタデータ） (2021-11-01T15:32:51Z) - Compositional Video Synthesis with Action Graphs [112.94651460161992]
アクションのビデオは、空間と時間の豊富な構成構造を含む複雑な信号である。
本稿では、アクショングラフと呼ばれるグラフ構造におけるアクションを表現し、新しいアクショングラフ・トゥ・ビデオ合成タスクを提案する。
このタスクのための生成モデル(AG2Vid)は、動作と外観の特徴を歪め、アクションのスケジューリング機構を組み込むことで、タイムリーかつ協調的なビデオ生成を容易にする。
論文 参考訳（メタデータ） (2020-06-27T09:39:04Z) - Fine-Grained Instance-Level Sketch-Based Video Retrieval [159.12935292432743]
細粒度インスタンスレベルのスケッチベースビデオ検索(FG-SBVR)の新しいクロスモーダル検索問題を提案する。
スケッチベースの静止画像検索や粗いカテゴリレベルのビデオ検索と比較すると、視覚的外観と動きの両方を微粒なレベルで同時にマッチングする必要があるため、これはより困難である。
このモデルは,映像解析用に設計された既存の最先端モデルよりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2020-02-21T18:28:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。