論文の概要: Deep-VFX: Deep Action Recognition Driven VFX for Short Video
- arxiv url: http://arxiv.org/abs/2007.11257v1
- Date: Wed, 22 Jul 2020 08:27:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 22:30:28.365972
- Title: Deep-VFX: Deep Action Recognition Driven VFX for Short Video
- Title（参考訳）: deep-vfx: ショートビデオのためのディープアクション認識駆動vfx
- Authors: Ao Luo, Ning Xie, Zhijia Tao, Feng Jiang
- Abstract要約: 本稿では,従来のテンプレートマッチングの代わりに動作駆動によるVFX合成を変更することを目的とする。
このシステムでは骨格抽出が不可欠である。
また,行動認識によるユーザの意図の把握を目的としたLSTMの新たな形態を提案する。
- 参考スコア（独自算出の注目度）: 10.639128011498675
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human motion is a key function to communicate information. In the
application, short-form mobile video is so popular all over the world such as
Tik Tok. The users would like to add more VFX so as to pursue creativity and
personlity. Many special effects are added on the short video platform. These
gives the users more possibility to show off these personality. The common and
traditional way is to create the template of VFX. However, in order to
synthesis the perfect, the users have to tedious attempt to grasp the timing
and rhythm of new templates. It is not easy-to-use especially for the mobile
app. This paper aims to change the VFX synthesis by motion driven instead of
the traditional template matching. We propose the AI method to improve this VFX
synthesis. In detail, in order to add the special effect on the human body. The
skeleton extraction is essential in this system. We also propose a novel form
of LSTM to find out the user's intention by action recognition. The experiment
shows that our system enables to generate VFX for short video more easier and
efficient.
- Abstract（参考訳）: 人間の動きは情報を伝える重要な機能である。
このアプリケーションでは、Tik Tokのようなショートフォームのモバイルビデオが世界中で人気がある。
ユーザはクリエイティビティとパーソナリティを追求するために、さらにvfxを追加したいと考えています。
ショートビデオプラットフォームに多くの特殊効果が追加されている。
これにより、ユーザーはこの個性を見せびらかすことができる。
一般的で伝統的な方法は、vfxのテンプレートを作成することです。
しかし、完璧を合成するためには、新しいテンプレートのタイミングとリズムを理解するのに面倒な努力をしなければならない。
特にモバイルアプリでは使いやすくない。
本稿では,従来のテンプレートマッチングの代わりに動作駆動によるVFX合成を変更することを目的とする。
本稿では,このVFX合成を改善するAI手法を提案する。
詳しくは、人体に特殊効果を加えるために。
このシステムでは骨格抽出が不可欠である。
また,行動認識によるユーザの意図の把握を目的としたLSTMの新たな形態を提案する。
実験により,ショートビデオ用vfxをより簡単かつ効率的に生成できることが判明した。
関連論文リスト
- TALK-Act: Enhance Textural-Awareness for 2D Speaking Avatar Reenactment with Diffusion Model [100.35665852159785]
本研究では,SpeaKing Avatar Reenactment (TALK-Act) フレームワークのためのMotion-Enhanced Textural-Aware ModeLingを提案する。
我々のキーとなる考え方は、拡散モデルにおける明示的な動き誘導によるテクスチャ認知を高めることである。
本モデルは,30秒の個人データのみを用いて,高忠実度2次元アバター再現を実現する。
論文 参考訳（メタデータ） (2024-10-14T16:38:10Z) - D&M: Enriching E-commerce Videos with Sound Effects by Key Moment Detection and SFX Matching [22.083181387066297]
本稿では,SFXマッチングを同時に行うために,キーモーメント検出とモーメントを同時に行う統一手法を提案する。
新しいVDSFXタスクのために、Eコマースプラットフォームから大規模なデータセットSFX-Momentを構築します。
論文 参考訳（メタデータ） (2024-08-23T17:01:35Z) - VMC: Video Motion Customization using Temporal Attention Adaption for
Text-to-Video Diffusion Models [58.93124686141781]
Video Motion Customization (VMC) はビデオ拡散モデルに時間的注意層を適応させる新しいワンショットチューニング手法である。
本研究では, 連続するフレーム間の残留ベクトルを運動基準として用いた新しい運動蒸留法を提案する。
実世界のさまざまな動きや状況にまたがる最先端のビデオ生成モデルに対して,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2023-12-01T06:50:11Z) - Breathing Life Into Sketches Using Text-to-Video Priors [101.8236605955899]
スケッチは、人間が自分のアイデアを視覚的に伝えるために使う最も直感的で汎用性の高いツールの1つです。
本研究では,単一オブジェクトのスケッチに動きを自動的に付加する手法を提案する。
出力はベクトル表現で提供される短いアニメーションで、簡単に編集できる。
論文 参考訳（メタデータ） (2023-11-21T18:09:30Z) - Regenerating Arbitrary Video Sequences with Distillation Path-Finding [6.687073794084539]
本稿では,開始フレーム上でユーザの好みに応じて新しいシーケンスを生成するインタラクティブなフレームワークを提案する。
これを効果的に実現するために、まず、提案ネットワークであるRCFNetを用いて、与えられたビデオのフレームセットの特徴相関を学習する。
そこで我々は,ソースビデオの動作方向の知識を定式化し,スムーズかつ妥当なシーケンスを推定する新しいパスフィニングアルゴリズム,SDPFを開発した。
論文 参考訳（メタデータ） (2023-11-13T09:05:30Z) - LEO: Generative Latent Image Animator for Human Video Synthesis [38.99490968487773]
本稿では,人間の映像合成のための新しい枠組みを提案し,合成時間的コヒーレンシーを重視した。
私たちのキーとなるアイデアは、動きを外見から本質的に分離する生成過程におけるフローマップのシーケンスとして表現することです。
フローベース画像アニメーターとラテントモーション拡散モデル(LMDM)を用いてこれを実装した。
論文 参考訳（メタデータ） (2023-05-06T09:29:12Z) - Efficient Meshy Neural Fields for Animatable Human Avatars [87.68529918184494]
高忠実でアニマブルな人間のアバターをビデオから効果的にデジタル化することは、挑戦的で活発な研究課題である。
最近のレンダリングベースのニューラル表現は、フレンドリーなユーザビリティと光変化の再現性を備えた、人間のデジタル化の新しい方法を開く。
アニマタブルなヒトアバターを再構築するために,メッシュニューラルネットワークを効果的に学習する手法であるEMAを提案する。
論文 参考訳（メタデータ） (2023-03-23T00:15:34Z) - Copy Motion From One to Another: Fake Motion Video Generation [53.676020148034034]
人工知能の魅力的な応用は、任意の所望の動作を行う対象者のビデオを生成することである。
現在の手法では、通常、生成されたビデオの信頼性を評価するために、L2損失のGANを用いる。
本稿では,ポーズから前景画像へのマッピングの学習を容易にする理論的動機付け型Gromov-Wasserstein損失を提案する。
本手法は,人物の複雑な動きを忠実にコピーすることで,現実的な人物映像を生成できる。
論文 参考訳（メタデータ） (2022-05-03T08:45:22Z) - Layered Neural Rendering for Retiming People in Video [108.85428504808318]
そこで本研究では,通常の自然ビデオで人々をリタイピングする手法を提案する。
異なる動きを時間的に調整したり、特定の動作の速度を変更したり、選択した人々をビデオから完全に「排除」したりできます。
このモデルの主な特徴は、入力ビデオ中の各人物の直接の動きを分離するだけでなく、各人物が生成するシーンの変化と自動的に関連付けることである。
論文 参考訳（メタデータ） (2020-09-16T17:48:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。