論文の概要: VirtualConductor: Music-driven Conducting Video Generation System
- arxiv url: http://arxiv.org/abs/2108.04350v1
- Date: Wed, 28 Jul 2021 14:17:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-15 14:38:30.896703
- Title: VirtualConductor: Music-driven Conducting Video Generation System
- Title（参考訳）: VirtualConductor:音楽駆動型導電性ビデオ生成システム
- Authors: Delong Chen, Fan Liu, Zewen Li, Feng Xu
- Abstract要約: 我々は,任意の音楽と単一ユーザの画像からコンダクタンス映像を生成するシステムであるVirtualConductorを提案する。
まず、大規模な導体運動データセットを収集し、構築する。
そこで我々は,Audio Motion Cor correspondingence Network (AMCNet) と敵対的・知覚的学習を用いて,モーダル間の関係を学習する。
最後に、3Dアニメーションレンダリングとポーズ転送モデルを組み合わせて、1人のユーザの画像から映像を合成する。
- 参考スコア（独自算出の注目度）: 8.784687329169083
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this demo, we present VirtualConductor, a system that can generate
conducting video from any given music and a single user's image. First, a
large-scale conductor motion dataset is collected and constructed. Then, we
propose Audio Motion Correspondence Network (AMCNet) and adversarial-perceptual
learning to learn the cross-modal relationship and generate diverse, plausible,
music-synchronized motion. Finally, we combine 3D animation rendering and a
pose transfer model to synthesize conducting video from a single given user's
image. Therefore, any user can become a virtual conductor through the system.
- Abstract（参考訳）: このデモでは,任意の音楽と1人のユーザのイメージから映像を生成できるシステムであるvirtualconductorについて紹介する。
まず、大規模な導体運動データセットを収集し、構築する。
そこで本稿では,Audio Motion Cor correspondingence Network (AMCNet) と敵対的知覚学習を提案し,その相互関係を学習し,多種多様な楽譜同期動作を生成する。
最後に,3dアニメーションレンダリングとポーズ伝達モデルを組み合わせて,任意のユーザの画像から映像を合成する。
したがって、任意のユーザがシステムを通じて仮想コンダクタになれる。
関連論文リスト
- UniMuMo: Unified Text, Music and Motion Generation [57.72514622935806]
任意のテキスト,音楽,動作データを入力条件として取り込んで,3つのモードすべてにまたがる出力を生成する,統一型マルチモーダルモデルUniMuMoを導入する。
音楽、動き、テキストをトークンベースの表現に変換することで、我々のモデルはエンコーダ・デコーダ・トランスフォーマアーキテクチャを通じてこれらのモダリティをブリッジする。
論文 参考訳（メタデータ） (2024-10-06T16:04:05Z) - InteractiveVideo: User-Centric Controllable Video Generation with
Synergistic Multimodal Instructions [23.536645072596656]
$textitInteractiveVideo$は、ビデオ生成のためのユーザー中心のフレームワークである。
本稿では,ユーザによるマルチモーダル命令を生成モデルにシームレスに統合するSynergistic Multimodal Instruction機構を提案する。
textitInteractiveVideo$で、ユーザーはビデオの重要な側面を慎重にカスタマイズする柔軟性を与えられる。
論文 参考訳（メタデータ） (2024-02-05T14:24:46Z) - GenDeF: Learning Generative Deformation Field for Video Generation [89.49567113452396]
我々は1つの静止画像を生成変形場(GenDeF)でワープすることで映像をレンダリングすることを提案する。
このようなパイプラインには,魅力的なメリットが3つあります。
論文 参考訳（メタデータ） (2023-12-07T18:59:41Z) - Video2Music: Suitable Music Generation from Videos using an Affective
Multimodal Transformer model [32.801213106782335]
我々は、提供されたビデオにマッチできる生成型音楽AIフレームワーク、Video2Musicを開発した。
そこで本研究では,映像コンテンツにマッチする楽曲を感情的に生成する手法を提案する。
論文 参考訳（メタデータ） (2023-11-02T03:33:00Z) - Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video
Understanding [61.80870130860662]
Video-LLaMAは、ビデオ内の視覚的および聴覚的コンテンツの両方を理解する能力を備えた、大規模言語モデル(LLM)を強化するフレームワークである。
Video-LLaMAブートストラップは、凍結された事前訓練されたビジュアルおよびオーディオエンコーダと凍結されたLCMからのクロスモーダルトレーニングである。
Video-LLaMAは,映像コンテンツを知覚し,理解し,意味のある応答を生成する能力を示す。
論文 参考訳（メタデータ） (2023-06-05T13:17:27Z) - Lets Play Music: Audio-driven Performance Video Generation [58.77609661515749]
オーディオ駆動型パーパフォーマンスビデオ生成(APVG)という新しいタスクを提案する。
APVGは、特定の音楽オーディオクリップでガイドされた特定の楽器を演奏する人のビデオを合成することを目的としている。
論文 参考訳（メタデータ） (2020-11-05T03:13:46Z) - Learning to Generate Diverse Dance Motions with Transformer [67.43270523386185]
ダンス・モーション・シンセサイザーのための完全なシステムを提案する。
大規模なダンスモーションデータセットはYouTubeビデオから作成される。
新たな2ストリームモーショントランス生成モデルでは、高い柔軟性で動作シーケンスを生成することができる。
論文 参考訳（メタデータ） (2020-08-18T22:29:40Z) - Speech2Video Synthesis with 3D Skeleton Regularization and Expressive
Body Poses [36.00309828380724]
本稿では,与えられた音声を特定の人物の写実的な発話ビデオに変換する新しい手法を提案する。
我々は、リカレントニューラルネットワーク(RNN)を用いて、まず音声シーケンスから3Dスケルトンの動きを生成する。
骨格運動を現実的で表現力のあるものにするために,人工的な3次元人骨の知識と個人音声の象徴的ジェスチャーの学習辞書を生成プロセスに組み込む。
論文 参考訳（メタデータ） (2020-07-17T19:30:14Z) - Self-Supervised MultiModal Versatile Networks [76.19886740072808]
我々は、ビデオに自然に存在する3つのモダリティ(ビジュアル、オーディオ、言語ストリーム)を活用することで、自己スーパービジョンを用いて表現を学習する。
ビデオ, ビデオテキスト, 画像, 音声タスクに対して, ビデオデータの大規模な収集を訓練したネットワークを, どのように適用できるかを実証する。
論文 参考訳（メタデータ） (2020-06-29T17:50:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。