論文の概要: Video-to-Music Generation for Gameplay Videos

• arxiv url: http://arxiv.org/abs/2609.31810v2
• Date: Tue, 29 Sep 2026 12:26:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.559205
• Title: Video-to-Music Generation for Gameplay Videos
• Title（参考訳）: ゲームプレイ用ビデオ・ツー・ミュージック・ジェネレーション
• Abstract要約: ビデオフレームはレンダリンググラフィックスであり、音楽は主に合成オーディオであり、サウンドトラックは画面上のイベントに従うのではなく、全レベルにわたってループする。 我々は,スーパー任天堂の21時間のゲームプレイビデオと485時間のクリーンなサウンドトラックを組み合わせ,サウンドエフェクトやボイスオーバーのない新しいデータセットを,オーディオフィンガープリントによるゲームプレイオーディオと比較した。 ビデオ機能を直接MusicGenデコーダに渡す簡単なエンコーダデコーダをトレーニングし、異なるエンコーダ戦略を比較します。
• 参考スコア（独自算出の注目度）: 0.7734726150561088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video-to-music models have advanced considerably in the last few years, particularly in film and music video applications. In this paper, we investigate this problem in the video game domain, which introduces new challenges for these models: video frames are rendered graphics, music is mostly synthetic audio, and soundtracks loop across entire levels rather than following on-screen events. We introduce a new dataset of 217.6 hours of Super Nintendo (SNES) gameplay video paired with 485 hours of clean soundtracks, free of sound effects and voice-overs, matched to gameplay audio via audio fingerprinting. With this dataset, we train a simple encoder-decoder transformer that passes video features directly to a MusicGen decoder, comparing different encoding strategies: textual descriptions (T5), independent frames (ViT), or spatiotemporal patches (ViViT). Each encoder is tested both frozen and fine-tuned, while the decoder is always fine-tuned. Frozen encoders match or outperform their fine-tuned counterparts on every metric, and the frozen ViViT achieves the best overall results. We compare this model with state-of-the-art baselines using both objective metrics and a listening study (N = 96). Despite having up to 18% fewer parameters, our model outperforms all baselines on objective metrics, surpasses GVMGen in the listening study, and performs comparably to OSSL.
• Abstract（参考訳）: ビデオから音楽へのモデルはここ数年、特に映画や音楽ビデオの分野で大きく進歩している。 本稿では,ビデオフレームはレンダリンググラフィックスであり,音楽は合成オーディオであり,サウンドトラックはオンスクリーンイベントに従わず,全階層にわたってループする。 スーパー任天堂(SNES)ゲームプレイビデオの217.6時間のデータセットを485時間のクリーンなサウンドトラックと組み合わせて導入した。 本データセットでは,テキスト記述(T5),独立フレーム(ViT),時空間パッチ(ViViT)など,さまざまな符号化戦略を比較し,ビデオ機能を直接MusicGenデコーダに渡す簡単なエンコーダ・デコーダ変換器をトレーニングする。 各エンコーダは凍結および微調整の両方でテストされ、デコーダは常に微調整される。 冷凍エンコーダは、それぞれのメートル法で調整された微調整値にマッチまたは上回り、凍結されたViViTは、最高の総合的な結果を得る。 このモデルと最先端のベースラインを客観的指標とリスニングスタディの両方を用いて比較する(N = 96)。 パラメータが最大で18%少ないにもかかわらず、私たちのモデルは客観的なメトリクスのベースラインを全て上回り、リスニングスタディでGVMGenを超え、OSSLと互換性のあるパフォーマンスを実現しています。

関連論文リスト

• Audio-Sync Video Generation with Multi-Stream Temporal Control [64.00019697525322]
  我々は,正確な音声-視覚同期を備えたビデオ生成のための多目的フレームワークであるMTVを紹介する。 MTVは音声を音声、エフェクト、トラックに分離し、唇の動き、イベントタイミング、視覚的気分を制御できる。 このフレームワークをサポートするために、高品質な撮影ビデオとデミックスされたオーディオトラックのデータセットであるDremixを提示する。
  論文  参考訳（メタデータ） (2025-06-09T17:59:42Z)
• VMAS: Video-to-Music Generation via Semantic Alignment in Web Music Videos [32.741262543860934]
  ビデオ入力からバックグラウンド音楽を生成する学習フレームワークを提案する。 我々は,新しいセマンティック・ビデオ・ミュージックアライメント・スキームを用いた生成型ビデオ・ミュージック・トランスフォーマーを開発した。 新しい時間的ビデオエンコーダアーキテクチャにより、多くの高密度なサンプルフレームからなる映像を効率的に処理できる。
  論文  参考訳（メタデータ） (2024-09-11T17:56:48Z)
• VidMuse: A Simple Video-to-Music Generation Framework with Long-Short-Term Modeling [71.01050359126141]
  ビデオ入力に対応する音楽を生成するためのフレームワークであるVidMuseを提案する。 VidMuseは、ビデオと音響的、意味的に一致した高忠実な音楽を生成する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:11Z)
• V2Meow: Meowing to the Visual Beat via Video-to-Music Generation [47.076283429992664]
  V2Meow(V2Meow)は、様々な種類のビデオ入力に対して高品質な音楽オーディオを制作できるビデオ・音楽生成システムである。 ビデオフレームから抽出した訓練済みの汎用視覚特徴を条件づけて、高忠実度オーディオ波形を合成する。
  論文  参考訳（メタデータ） (2023-05-11T06:26:41Z)
• Vision Transformers are Parameter-Efficient Audio-Visual Learners [95.59258503297195]
  本稿では、事前学習したVTをオーディオ視覚タスクに適応させる潜在型オーディオ視覚ハイブリッド(LAVISH)アダプタを提案する。 提案手法は,様々な視覚的タスクにおいて,競争力や性能の向上を実現する。
  論文  参考訳（メタデータ） (2022-12-15T17:31:54Z)
• Lets Play Music: Audio-driven Performance Video Generation [58.77609661515749]
  オーディオ駆動型パーパフォーマンスビデオ生成(APVG)という新しいタスクを提案する。 APVGは、特定の音楽オーディオクリップでガイドされた特定の楽器を演奏する人のビデオを合成することを目的としている。
  論文  参考訳（メタデータ） (2020-11-05T03:13:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。