論文の概要: Multimodal Music Recommendation System using LLMs

• arxiv url: http://arxiv.org/abs/2606.00125v1
• Date: Thu, 28 May 2026 15:34:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:27.985002
• Title: Multimodal Music Recommendation System using LLMs
• Title（参考訳）: LLMを用いたマルチモーダル音楽推薦システム
• Authors: Srikar Prabhas Kandagatla, Sreehitha R. Narayana, Chandana Magapu, Swetha Mohan, Shamanth Kuthpadi, Hongjie Chen, Ryan A. Rossi, Franck Dernoncourt, Nesreen Ahmed,
• Abstract要約: 本稿では,LastFM-1Kデータセットを3つの補完信号で強化するセッションベース音楽レコメンデーションフレームワークを提案する。 マルチモーダル機能と異なるアイテムIDエンコーダバックボーンで拡張することで、E4SRecフレームワークを採用する。 実験の結果,コンテンツベース機能の統合により,リコールでは最大95%,NDCGでは最大79%のベースラインが向上した。
• 参考スコア（独自算出の注目度）: 53.1178230380919
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Music recommendation systems typically treat songs as opaque tokens, relying on collaborative interaction histories which overlooks semantic or acoustic content. Prior work has explored LLM-augmented, multimodal, and text-enhanced approaches to sequential recommendation, and while some methods partially combine semantic, acoustic, or engagement signals, none jointly model all three within a unified LLM-based sequential reasoning framework that grounds recommendations in actual song content. In this work, we propose a multimodal framework for session-based music recommendation that enriches the LastFM-1K dataset with three complementary signals: (1) audio and lyric embeddings extracted using pretrained music and text representation models, (2) LLM-generated semantic metadata using the MGPHot annotation schema, and (3) listening completion ratios. We adopt the E4SRec framework by extending it with multimodal features and different item ID encoder backbones, including SASRec, BERT4Rec, and GRU4Rec. We further extend the LLM backbone option with LLaMa-2-13B, Qwen2.5-7B-Instruct, and LLaMa-3-70B in both zero-shot and fine-tuned settings. Our experiments show that integrating content-based features improves over ID-only baselines up to 95% in terms of Recall and 79% in terms of NDCG. Moreover, our experiments show that naive multimodal fusion does not always yield additive improvements, highlighting challenges in cross-modal integration. We release a large-scale multimodal benchmark for music recommendation.
• Abstract（参考訳）: 音楽レコメンデーションシステムは典型的には、歌を不透明なトークンとして扱い、意味的または音響的コンテンツを見下ろす協調的な相互作用履歴に依存している。 先行研究では、LLMの強化、マルチモーダル、テキスト強化によるシーケンシャルレコメンデーションのアプローチを探求しており、セマンティック、アコースティック、エンゲージメントのシグナルを部分的に組み合わせる手法もあるが、実際の歌コンテンツにおけるレコメンデーションを基礎とするLLMベースのシーケンシャル推論フレームワークにおいて、これら3つを共同でモデル化する手法はない。 本研究では,(1)事前学習した音楽とテキスト表現モデルを用いて抽出した音声と歌詞の埋め込み,(2)MGPHotのスキーマを用いたLLM生成セマンティックメタデータ,(3)聴取完了率の3つの相補的な信号でLastFM-1Kデータセットをリッチ化するセッションベース音楽レコメンデーションのためのマルチモーダルフレームワークを提案する。 マルチモーダル機能と,SASRec,BERT4Rec,GRU4Recなど,さまざまなアイテムIDエンコーダバックボーンで拡張することで,E4SRecフレームワークを採用する。 LLaMa-2-13B、Qwen2.5-7B-Instruct、LLaMa-3-70Bで、ゼロショットと微調整の両方でLLMバックボーンオプションを拡張する。 実験の結果,コンテンツベース機能の統合により,リコールでは最大95%,NDCGでは最大79%のベースラインが向上した。 さらに,本実験では,過度なマルチモーダル融合が必ずしも付加的な改善をもたらすとは限らないことを示し,クロスモーダル統合における課題を強調した。 音楽レコメンデーションのための大規模マルチモーダルベンチマークをリリースする。

関連論文リスト

• Revisiting Content-Based Music Recommendation: Efficient Feature Aggregation from Large-Scale Music Models [54.4270504928356]
  Music Recommendation Systems (MRS)は、現代のストリーミングプラットフォームの基盤である。 我々は,音楽レコメンデーションにおけるマルチモーダル情報の役割を強調するために,総合的なデータセットとベンチマークフレームワークであるTASTEを提案する。 近年の大規模自己監督型音楽エンコーダの活用により,レコメンデーションタスク間で抽出された音声表現の意義を実証する。
  論文  参考訳（メタデータ） (2026-02-10T15:24:41Z)
• ViLLA-MMBench: A Unified Benchmark Suite for LLM-Augmented Multimodal Movie Recommendation [14.62192876151853]
  ViLLA-MMBenchはマルチモーダル映画レコメンデーションのベンチマークである。 オーディオ(ブロックレベル、i-ベクター)、ビジュアル(CNN、AVF)、テキストの3つのモードからの密なアイテムの埋め込みを調整する。 不足メタデータやスパースメタデータは、最先端のLCMを使用して自動的に強化される。
  論文  参考訳（メタデータ） (2025-08-06T08:39:07Z)
• LeVo: High-Quality Song Generation with Multi-Preference Alignment [47.965028296133426]
  我々はLeLMとMusic Codecで構成される言語モデルベースのフレームワークであるLeVoを紹介する。 LeVoは2種類のトークンを並列にモデリングすることができる。 2つのデコーダのみのトランスフォーマーと、異なるトークンタイプ間の干渉を防ぐためのモジュール拡張トレーニング戦略を採用している。
  論文  参考訳（メタデータ） (2025-06-09T07:57:24Z)
• CLaMR: Contextualized Late-Interaction for Multimodal Content Retrieval [70.9990850395981]
  CLaMRは、ビデオフレーム、書き起こされた音声、画面上のテキスト、メタデータの4つのモダリティを共同でインデックスするマルチモーダルな遅延相互作用レトリバーである。 CLaMRは2つの重要な革新を通じて動的モダリティ選択を強化するために訓練されている。
  論文  参考訳（メタデータ） (2025-06-06T15:02:30Z)
• Molar: Multimodal LLMs with Collaborative Filtering Alignment for Enhanced Sequential Recommendation [4.518104756199573]
  Molarは、複数のコンテンツモダリティとID情報を統合するシーケンシャルなレコメンデーションフレームワークで、協調的な信号を効果的にキャプチャする。 マルチモーダルコンテンツと協調フィルタリングの洞察をシームレスに組み合わせることで、Molarはユーザの関心事とコンテキスト意味論の両方をキャプチャし、より優れた推奨精度をもたらす。
  論文  参考訳（メタデータ） (2024-12-24T05:23:13Z)
• LLM-based Bi-level Multi-interest Learning Framework for Sequential Recommendation [54.396000434574454]
  本稿では,暗黙的行動と明示的意味論的視点を組み合わせた新しい多目的SRフレームワークを提案する。 Implicit Behavioral Interest ModuleとExplicit Semantic Interest Moduleの2つのモジュールが含まれている。 4つの実世界のデータセットの実験は、フレームワークの有効性と実用性を検証する。
  論文  参考訳（メタデータ） (2024-11-14T13:00:23Z)
• C3LLM: Conditional Multimodal Content Generation Using Large Language Models [66.11184017840688]
  C3LLMは,ビデオ・トゥ・オーディオ,音声・テキスト,テキスト・トゥ・オーディオの3つのタスクを組み合わせた新しいフレームワークである。 C3LLMはLarge Language Model (LLM) 構造を異なるモダリティを整列するためのブリッジとして適合させる。 本手法は,従来の音声理解,ビデオ音声生成,テキスト音声生成のタスクを1つの統一モデルに統合する。
  論文  参考訳（メタデータ） (2024-05-25T09:10:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。