論文の概要: MusicRWKV: A Multimodal RWKV Framework for Music Representation Learning
- arxiv url: http://arxiv.org/abs/2611.16718v1
- Date: Thu, 12 Nov 2026 12:34:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.467168
- Title: MusicRWKV: A Multimodal RWKV Framework for Music Representation Learning
- Title(参考訳): MusicRWKV:音楽表現学習のためのマルチモーダルRWKVフレームワーク
- Abstract要約: MusicRWKVは、RWKVアーキテクチャ上に構築されたマルチモーダルな音楽表現学習フレームワークである。
MusicRWKVは、統合された自己教師付き学習フレームワーク内で波形、スペクトル、メタデータ情報を共同でモデル化する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent music foundation models have achieved remarkable progress in music representation learning, yet most existing approaches rely on Transformer architectures whose quadratic attention complexity introduces substantial computational and memory overhead when modeling long-duration music recordings. In this work, we propose MusicRWKV, a multimodal music representation learning framework built upon the RWKV architecture. MusicRWKV jointly models waveform, spectrogram, and metadata information within a unified self-supervised learning framework. To improve efficiency for long musical sequences, we introduce an invertible compression module that reduces sequence length while preserving reconstruction capability. A FiLM-based conditioning strategy is employed to facilitate modality-aware representation learning without introducing expensive cross-attention operations. We further investigate the integration of Soft ROSA as a differentiable retrieval mechanism for neural-symbolic interaction. Experimental evaluation across a diverse collection of Music Information Retrieval (MIR) benchmarks demonstrates that the proposed RWKV-based architecture can be effectively adapted to heterogeneous music understanding tasks. A controlled pretraining ablation shows that Soft ROSA improves validation performance, while layer-wise telemetry analysis reveals a progressive transition from distributed retrieval to selective retrieval in deeper network layers. These results suggest that RWKV provides a promising architectural alternative to Transformer-based models for multimodal music understanding.
- Abstract(参考訳): 最近の音楽基礎モデルは、音楽表現学習において顕著な進歩を遂げているが、既存のほとんどのアプローチは、長周期の音楽録音をモデル化する際、二次的な注意の複雑さがかなりの計算と記憶のオーバーヘッドをもたらすトランスフォーマーアーキテクチャに依存している。
本稿では,RWKVアーキテクチャ上に構築されたマルチモーダルな音楽表現学習フレームワークであるMusicRWKVを提案する。
MusicRWKVは、統合された自己教師付き学習フレームワーク内で波形、スペクトル、メタデータ情報を共同でモデル化する。
長い楽譜列の効率を向上するため,復元能力を維持しながら列長を短縮する非可逆圧縮モジュールを導入する。
高価なクロスアテンション操作を導入することなく、モダリティを考慮した表現学習を容易にするために、FiLMベースのコンディショニング戦略が採用されている。
さらに、ニューラルシンボリック相互作用のための識別可能な検索機構として、Soft ROSAの統合について検討する。
様々な音楽情報検索 (MIR) ベンチマークを用いた実験により,提案したRWKVベースのアーキテクチャが異種音楽理解タスクに効果的に適応可能であることを示す。
制御された事前学習アブレーションは、Soft ROSAが検証性能を向上させることを示す一方、層ワイドテレメトリ分析は、分散検索からより深いネットワーク層での選択的検索への移行を示す。
これらの結果から,RWKVはマルチモーダル音楽理解のためのトランスフォーマーモデルに代わる有望なアーキテクチャを提供すると考えられる。
関連論文リスト
- CMA-OT: Hierarchical Expert Supervision for Dance-to-Music Generation [36.54868745472302]
ダンス・トゥ・ミュージック・ジェネレーションは、リズミカルでスタイリスティックにダンスビデオに合わせた音楽を合成することを目的としている。
既存の方法は通常スパースキューに依存し、最終的なオーディオ出力のみを監督する。
本稿では,大規模適応型最適輸送を用いたカリキュラム誘導型マルチスケール表現アライメントを提案する。
論文 参考訳(メタデータ) (2026-09-11T17:46:15Z) - VIBE: Video Instruction-aligned Background music gEneration [58.326977744404566]
現在のV2Mモデルは意味制御に欠け、命令違反をペナルティ化することができない。
本研究では,コンディショニング接続を利用した新しいテキスト・ビデオ・音楽生成モデルであるVIBEを紹介する。
論文 参考訳(メタデータ) (2026-08-31T01:19:55Z) - Dynamic-Robust Photometric-Semantic Reconstruction for Open-Vocabulary 3D Scene Understanding [63.599342750566485]
SPARは、潜在空間アグリゲーションの前に過渡的ダイナミックノイズを明示的に分離する新しい意味幾何学的エンコーディングアーキテクチャである。
エンド・ツー・エンドのアプローチは例外的な新規なビュー合成品質を実現し、PSNRは22.15dB、23.33dBでそれぞれ3と4の入力ビューしか与えられなかった。
論文 参考訳(メタデータ) (2026-08-29T09:58:24Z) - FIGMA: Towards FIne-Grained Music retrievAl [65.98380295254817]
自然言語記述による音楽の検索はCLAPのような対照的な音声テキストモデルで改善されているが、現在のシステムはいまだに大まかなセマンティッククエリに限られている。
この制限は、長いキャプションで訓練されているにもかかわらず、CLAPベースのモデルは、最初の数個のトークンのみを効果的に活用する。
本研究では,グローバルな音声テキストアライメントとフレームレベルのトークンアライメントを共同で最適化することで,この制限に対処するマルチビューコントラストアーキテクチャであるFIGMAを提案する。
論文 参考訳(メタデータ) (2026-06-04T18:05:39Z) - Auto-Regressive vs Flow-Matching: a Comparative Study of Modeling Paradigms for Text-to-Music Generation [36.11407262818182]
最先端システム(SOTA)は、トレーニングデータセット、モデリングパラダイム、アーキテクチャ選択など、多くの面で大きく異なる。
本研究はモデリングパラダイムにのみ焦点をあてる。
自動回帰デコーディングと条件付きフローマッチングという,最も一般的な2つのモデリングパラダイムを比較した。
論文 参考訳(メタデータ) (2025-06-10T08:37:45Z) - An Efficient and Mixed Heterogeneous Model for Image Restoration [71.85124734060665]
現在の主流のアプローチは、CNN、Transformers、Mambasの3つのアーキテクチャパラダイムに基づいている。
混合構造融合に基づく効率的で汎用的なIRモデルであるRestorMixerを提案する。
論文 参考訳(メタデータ) (2025-04-15T08:19:12Z) - Progressive Rock Music Classification [0.0]
本研究では,複雑な構成と多種多様な楽器を特徴とするジャンルである,プログレッシブ・ロック音楽の分類について検討する。
我々は、スペクトログラム、Mel-Frequency Cepstral Coefficients (MFCC)、クロマグラム、歌のスニペットからのビート位置などの総合的なオーディオ特徴を抽出した。
スニペットレベルの予測を最終曲分類に集約するために、すべての投票を勝者とする戦略が採用された。
論文 参考訳(メタデータ) (2025-04-15T02:48:52Z) - Deep-Learning Architectures for Multi-Pitch Estimation: Towards Reliable
Evaluation [7.599399338954308]
マルチピッチ推定は、ポリフォニック録音におけるピッチの同時動作を検出することを目的としている。
本稿では,CNN,U-net構造,自己意図的コンポーネントに基づくアーキテクチャを実現する。
MusicNetとSchubert Winterreiseのデータセットを用いたマルチピッチ推定のために,これらのアーキテクチャのバリエーションを比較した。
論文 参考訳(メタデータ) (2022-02-18T13:52:21Z) - Sequence Generation using Deep Recurrent Networks and Embeddings: A
study case in music [69.2737664640826]
本稿では,異なる種類の記憶機構(メモリセル)について評価し,音楽合成分野におけるその性能について検討する。
提案したアーキテクチャの性能を自動評価するために,定量的な測定値のセットが提示される。
論文 参考訳(メタデータ) (2020-12-02T14:19:19Z) - Modeling Musical Structure with Artificial Neural Networks [0.0]
音楽構造モデリングのさまざまな側面に対する人工知能の適用について検討する。
Gated Autoencoder(GAE)というコネクショナリストモデルを用いて,楽曲の断片間の変換を学習する方法を示す。
本稿では,ポリフォニック・ミュージックを区間の連続として表現するGAEの特別な予測訓練を提案する。
論文 参考訳(メタデータ) (2020-01-06T18:35:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。