論文の概要: Long-Term Rhythmic Video Soundtracker

• arxiv url: http://arxiv.org/abs/2305.01319v2
• Date: Tue, 30 May 2023 11:04:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 00:50:56.642714
• Title: Long-Term Rhythmic Video Soundtracker
• Title（参考訳）: 長期リズミカルビデオサウンドトラック
• Authors: Jiashuo Yu, Yaohui Wang, Xinyuan Chen, Xiao Sun, Yu Qiao
• Abstract要約: 我々は、長期条件波形を合成する新しいフレームワーク、LORIS(Long-Term Rhythmic Video Soundtracker)を提案する。 モデルの適用性をダンスからフロアエクササイズやフィギュアスケートといった複数のスポーツシナリオに拡張する。 我々のモデルは、最先端の音楽的品質とリズム対応を備えた長期的なサウンドトラックを生成する。
• 参考スコア（独自算出の注目度）: 37.082768654951465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the problem of generating musical soundtracks in sync with rhythmic visual cues. Most existing works rely on pre-defined music representations, leading to the incompetence of generative flexibility and complexity. Other methods directly generating video-conditioned waveforms suffer from limited scenarios, short lengths, and unstable generation quality. To this end, we present Long-Term Rhythmic Video Soundtracker (LORIS), a novel framework to synthesize long-term conditional waveforms. Specifically, our framework consists of a latent conditional diffusion probabilistic model to perform waveform synthesis. Furthermore, a series of context-aware conditioning encoders are proposed to take temporal information into consideration for a long-term generation. Notably, we extend our model's applicability from dances to multiple sports scenarios such as floor exercise and figure skating. To perform comprehensive evaluations, we establish a benchmark for rhythmic video soundtracks including the pre-processed dataset, improved evaluation metrics, and robust generative baselines. Extensive experiments show that our model generates long-term soundtracks with state-of-the-art musical quality and rhythmic correspondence. Codes are available at \url{https://github.com/OpenGVLab/LORIS}.
• Abstract（参考訳）: リズミカルな視覚手がかりと同期して音楽のサウンドトラックを生成する問題を考える。 既存の作品の多くは予め定義された音楽表現に依存しており、生成的柔軟性と複雑さの無能さに繋がる。 ビデオコンディション波形を直接生成する他の方法は、限られたシナリオ、短い長さ、不安定な生成品質に苦しむ。 そこで本研究では,長期条件波形を合成する新しい枠組みであるlorisを提案する。 具体的には、波形合成を行うための遅延条件拡散確率モデルから構成する。 さらに,長期化を考慮した時系列情報を考慮したコンテキスト対応コンディショニングエンコーダを提案する。 特に,ダンスからフロアエクササイズやフィギュアスケートなど,複数のスポーツシナリオへのモデルの適用性を拡張した。 包括的評価を行うため,前処理したデータセット,評価指標の改善,堅牢な生成ベースラインを含むリズミカルビデオサウンドトラックのベンチマークを構築した。 広汎な実験により,我々のモデルは,最先端の音楽的品質とリズム対応を備えた長期のサウンドトラックを生成することがわかった。 コードは \url{https://github.com/OpenGVLab/LORIS} で公開されている。

関連論文リスト

• MusiConGen: Rhythm and Chord Control for Transformer-Based Text-to-Music Generation [19.878013881045817]
  MusiConGenは、一時条件付きトランスフォーマーベースのテキスト-音楽モデルである。 条件信号として自動的に抽出されたリズムとコードを統合する。 MusiConGenは,特定の条件に整合したリアルなバックトラック音楽を生成することができることを示す。
  論文  参考訳（メタデータ） (2024-07-21T05:27:53Z)
• VideoComposer: Compositional Video Synthesis with Motion Controllability [52.4714732331632]
  VideoComposerを使えば、ユーザーはテキストの条件や空間的条件、さらに重要な時間的条件でビデオを柔軟に組み立てることができる。 圧縮ビデオからの運動ベクトルを明示的な制御信号として導入し、時間的ダイナミクスに関するガイダンスを提供する。 さらに、逐次入力の空間的・時間的関係を効果的に組み込むために、統一インターフェースとして機能する時空間条件エンコーダ(STC-エンコーダ)を開発した。
  論文  参考訳（メタデータ） (2023-06-03T06:29:02Z)
• Towards Smooth Video Composition [59.134911550142455]
  ビデオ生成には、時間とともに動的コンテンツを伴う一貫した永続的なフレームが必要である。 本研究は, 生成的対向ネットワーク(GAN)を用いて, 任意の長さの映像を構成するための時間的関係を, 数フレームから無限までモデル化するものである。 単体画像生成のためのエイリアスフリー操作は、適切に学習された知識とともに、フレーム単位の品質を損なうことなく、スムーズなフレーム遷移をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-12-14T18:54:13Z)
• Quantized GAN for Complex Music Generation from Dance Videos [48.196705493763986]
  D2M-GAN(Dance2Music-GAN, D2M-GAN, D2M-GAN)は、ダンスビデオに条件付けされた楽曲のサンプルを生成する新しいマルチモーダルフレームワークである。 提案フレームワークは,ダンスビデオフレームと人体の動きを入力とし,対応する入力に付随する音楽サンプルを生成することを学習する。
  論文  参考訳（メタデータ） (2022-04-01T17:53:39Z)
• Deep Performer: Score-to-Audio Music Performance Synthesis [30.95307878579825]
  Deep Performer(ディープ・パーフォーマー)は、音楽の楽譜合成のための新しいシステムである。 音声とは異なり、音楽はポリフォニーや長い音符を含むことが多い。 提案モデルでは, 鮮明なポリフォニーとハーモニック構造で楽曲を合成できることが示されている。
  論文  参考訳（メタデータ） (2022-02-12T10:36:52Z)
• Strumming to the Beat: Audio-Conditioned Contrastive Video Textures [112.6140796961121]
  コントラスト学習を通して学習した表現を用いた無限ビデオテクスチャ合成のための非パラメトリック手法を提案する。 ビデオテクスチャから着想を得た結果、新しいビデオは1つのビデオから、新しくて一貫性のある順序でフレームを縫い合わせることで生成できることがわかった。 我々のモデルは人間の知覚スコアのベースラインを上回り、多様な入力ビデオを扱うことができ、音声信号とよく同期する映像を合成するために意味と音声の視覚的手がかりを組み合わせることができる。
  論文  参考訳（メタデータ） (2021-04-06T17:24:57Z)
• Lets Play Music: Audio-driven Performance Video Generation [58.77609661515749]
  オーディオ駆動型パーパフォーマンスビデオ生成(APVG)という新しいタスクを提案する。 APVGは、特定の音楽オーディオクリップでガイドされた特定の楽器を演奏する人のビデオを合成することを目的としている。
  論文  参考訳（メタデータ） (2020-11-05T03:13:46Z)
• Continuous Melody Generation via Disentangled Short-Term Representations and Structural Conditions [14.786601824794369]
  ユーザが指定したシンボリックシナリオと過去の音楽コンテキストを組み合わせることで,メロディーを構成するモデルを提案する。 本モデルでは,8拍子の音符列を基本単位として長い旋律を生成でき,一貫したリズムパターン構造を他の特定の歌と共有することができる。 その結果,本モデルが生成する音楽は,顕著な繰り返し構造,豊かな動機,安定したリズムパターンを有する傾向が示唆された。
  論文  参考訳（メタデータ） (2020-02-05T06:23:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。