論文の概要: MuLan: A Joint Embedding of Music Audio and Natural Language

• arxiv url: http://arxiv.org/abs/2208.12415v1
• Date: Fri, 26 Aug 2022 03:13:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-29 12:31:37.641422
• Title: MuLan: A Joint Embedding of Music Audio and Natural Language
• Title（参考訳）: MuLan:音楽オーディオと自然言語の共同埋め込み
• Authors: Qingqing Huang, Aren Jansen, Joonseok Lee, Ravi Ganti, Judith Yue Li, Daniel P. W. Ellis
• Abstract要約: 本稿では,音声アノテーションを自然言語記述に直接リンクする新世代のモデルを提案する。 MuLanは、4400万曲の録音で訓練された、2towerのジョイントオーディオテキスト埋め込みモデルの形をしている。
• 参考スコア（独自算出の注目度）: 15.753767984842014
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Music tagging and content-based retrieval systems have traditionally been constructed using pre-defined ontologies covering a rigid set of music attributes or text queries. This paper presents MuLan: a first attempt at a new generation of acoustic models that link music audio directly to unconstrained natural language music descriptions. MuLan takes the form of a two-tower, joint audio-text embedding model trained using 44 million music recordings (370K hours) and weakly-associated, free-form text annotations. Through its compatibility with a wide range of music genres and text styles (including conventional music tags), the resulting audio-text representation subsumes existing ontologies while graduating to true zero-shot functionalities. We demonstrate the versatility of the MuLan embeddings with a range of experiments including transfer learning, zero-shot music tagging, language understanding in the music domain, and cross-modal retrieval applications.
• Abstract（参考訳）: 音楽タグ付けとコンテンツに基づく検索システムは、伝統的に音楽属性やテキストクエリの厳密なセットをカバーする事前定義されたオントロジーを用いて構築されてきた。 本稿では,音楽音声と制約なしの自然言語音楽記述を直接リンクする,新しい世代の音響モデルであるMuLanについて述べる。 MuLanは、4400万曲の録音(370万時間)と弱い関連のあるフリーフォームのテキストアノテーションを使って訓練された、2towerのジョイントオーディオテキスト埋め込みモデルの形をとっている。 様々な音楽ジャンルやテキストスタイル(従来の音楽タグを含む)との互換性により、オーディオテキスト表現は既存のオントロジーを仮定し、真のゼロショット機能に到達した。 本研究では,移動学習,ゼロショット音楽タグ付け,音楽領域における言語理解,モーダル間検索など,様々な実験により,MuLan埋め込みの汎用性を実証する。

関連論文リスト

• CLaMP 2: Multimodal Music Information Retrieval Across 101 Languages Using Large Language Models [51.03510073676228]
  CLaMP 2は、音楽情報検索用の101言語に対応するシステムである。 大規模言語モデルを活用することで,大規模に洗練され一貫した多言語記述が得られる。 CLaMP 2は、多言語セマンティックサーチとモーダル間の音楽分類において、最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-10-17T06:43:54Z)
• MuVi: Video-to-Music Generation with Semantic Alignment and Rhythmic Synchronization [52.498942604622165]
  本稿では,ビデオコンテンツに合わせた音楽を生成するためのフレームワークであるMuViについて述べる。 MuViは、特別に設計された視覚適応器を通じて映像コンテンツを分析し、文脈的および時間的に関係のある特徴を抽出する。 音声品質と時間同期の両方において, MuVi が優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2024-10-16T18:44:56Z)
• Enriching Music Descriptions with a Finetuned-LLM and Metadata for Text-to-Music Retrieval [7.7464988473650935]
  Text-to-Music Retrievalは、広範な音楽データベース内のコンテンツ発見において重要な役割を担っている。 本稿では,TTMR++と呼ばれる改良されたテキスト・音楽検索モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-04T09:33:34Z)
• MuChoMusic: Evaluating Music Understanding in Multimodal Audio-Language Models [11.834712543531756]
  MuChoMusicは、オーディオに焦点を当てたマルチモーダル言語モデルにおける音楽理解を評価するためのベンチマークである。 これには1,187の質問が含まれており、いずれも人間のアノテータによって検証され、2つのパブリックな音楽データセットからソースされた644曲の楽曲が収録されている。 我々は5つのオープンソースモデルを評価し、言語モダリティの過度な信頼性を含むいくつかの落とし穴を識別する。
  論文  参考訳（メタデータ） (2024-08-02T15:34:05Z)
• MeLFusion: Synthesizing Music from Image and Language Cues using Diffusion Models [57.47799823804519]
  私たちは、ミュージシャンが映画の脚本だけでなく、視覚化を通して音楽を作る方法にインスピレーションを受けています。 本稿では,テキスト記述と対応する画像からの手がかりを効果的に利用して音楽を合成するモデルであるMeLFusionを提案する。 音楽合成パイプラインに視覚情報を加えることで、生成した音楽の質が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-06-07T06:38:59Z)
• Content-based Controls For Music Large Language Modeling [6.17674772485321]
  Coco-Mullaは、音楽大言語モデリングのためのコンテンツベースの制御方法である。 トランスフォーマーベースのオーディオモデルに適したパラメータ効率細調整法(PEFT)を用いる。 提案手法は,低リソース半教師付き学習による高品質な音楽生成を実現する。
  論文  参考訳（メタデータ） (2023-10-26T05:24:38Z)
• Language-Guided Music Recommendation for Video via Prompt Analogies [35.48998901411509]
  本稿では,ユーザが自由形式の自然言語で楽曲選択をガイドできるようにし,入力ビデオに楽曲を推薦する方法を提案する。 既存の音楽ビデオデータセットは、必要な(ビデオ、音楽)トレーニングペアを提供するが、音楽のテキスト記述は欠落している。
  論文  参考訳（メタデータ） (2023-06-15T17:58:01Z)
• Language-Guided Audio-Visual Source Separation via Trimodal Consistency [64.0580750128049]
  この課題の鍵となる課題は、発音対象の言語的記述と、その視覚的特徴と、音声波形の対応する成分とを関連付けることである。 2つの新たな損失関数を通して擬似目標管理を行うために、既成の視覚言語基盤モデルを適用する。 3つの音声・視覚的分離データセットに対する自己教師型アプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-03-28T22:45:40Z)
• Noise2Music: Text-conditioned Music Generation with Diffusion Models [73.74580231353684]
  本研究では,テキストプロンプトから高品質な30秒音楽クリップを生成するために,一連の拡散モデルを訓練するNoss2Musicを紹介する。 生成した音声は、ジャンル、テンポ、楽器、ムード、時代など、テキストプロンプトの重要な要素を忠実に反映できるだけでなく、テキストプロンプトを忠実に反映できる。 トレーニングセットのオーディオのためにペア化されたテキストを生成し、拡散モデルによって取り込まれたテキストプロンプトの埋め込みを抽出するために使用される。
  論文  参考訳（メタデータ） (2023-02-08T07:27:27Z)
• Contrastive Audio-Language Learning for Music [13.699088044513562]
  MusCALLは音楽コントラスト学習のためのフレームワークである。 本手法は,音楽音声と記述文のペアのアライメントを学習するデュアルエンコーダアーキテクチャで構成されている。
  論文  参考訳（メタデータ） (2022-08-25T16:55:15Z)
• Genre-conditioned Acoustic Models for Automatic Lyrics Transcription of Polyphonic Music [73.73045854068384]
  本稿では,新ジャンルネットワークを用いたポリフォニック音楽の歌詞の書き起こしを提案する。 提案するネットワークは,事前学習されたモデルパラメータを採用し,階層間のジャンルアダプタを組み込んで,歌詞とジャンルのペアのジャンルの特色を抽出する。 実験の結果,提案するジャンル条件付きネットワークは既存の歌詞の書き起こしシステムよりも優れていた。
  論文  参考訳（メタデータ） (2022-04-07T09:15:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。