論文の概要: CLaMP 2: Multimodal Music Information Retrieval Across 101 Languages Using Large Language Models

• arxiv url: http://arxiv.org/abs/2410.13267v1
• Date: Thu, 17 Oct 2024 06:43:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:18:34.324688
• Title: CLaMP 2: Multimodal Music Information Retrieval Across 101 Languages Using Large Language Models
• Title（参考訳）: CLaMP 2:大規模言語モデルを用いた101言語間のマルチモーダル音楽情報検索
• Authors: Shangda Wu, Yashan Wang, Ruibin Yuan, Zhancheng Guo, Xu Tan, Ge Zhang, Monan Zhou, Jing Chen, Xuefeng Mu, Yuejie Gao, Yuanliang Dong, Jiafeng Liu, Xiaobing Li, Feng Yu, Maosong Sun,
• Abstract要約: CLaMP 2は、音楽情報検索用の101言語に対応するシステムである。 大規模言語モデルを活用することで,大規模に洗練され一貫した多言語記述が得られる。 CLaMP 2は、多言語セマンティックサーチとモーダル間の音楽分類において、最先端の結果を得る。
• 参考スコア（独自算出の注目度）: 51.03510073676228
• License:
• Abstract: Challenges in managing linguistic diversity and integrating various musical modalities are faced by current music information retrieval systems. These limitations reduce their effectiveness in a global, multimodal music environment. To address these issues, we introduce CLaMP 2, a system compatible with 101 languages that supports both ABC notation (a text-based musical notation format) and MIDI (Musical Instrument Digital Interface) for music information retrieval. CLaMP 2, pre-trained on 1.5 million ABC-MIDI-text triplets, includes a multilingual text encoder and a multimodal music encoder aligned via contrastive learning. By leveraging large language models, we obtain refined and consistent multilingual descriptions at scale, significantly reducing textual noise and balancing language distribution. Our experiments show that CLaMP 2 achieves state-of-the-art results in both multilingual semantic search and music classification across modalities, thus establishing a new standard for inclusive and global music information retrieval.
• Abstract（参考訳）: 現在の音楽情報検索システムでは,言語多様性の管理や様々な音楽モダリティの統合の課題に直面している。 これらの制限は、グローバルでマルチモーダルな音楽環境における効果を低下させる。 これらの問題に対処するために,ABC表記(テキストベースの音楽表記形式)とMIDI(音楽機器デジタルインタフェース)の両方をサポートする101言語に対応するシステムであるCLaMP 2を導入する。 CLaMP 2は15万のABC-MIDI-text三重奏で事前訓練され、多言語テキストエンコーダと、コントラスト学習によって整列されたマルチモーダル音楽エンコーダを含む。 大規模言語モデルを活用することで,多言語記述の洗練と一貫性を実現し,テキストのノイズを低減し,言語分布のバランスをとる。 実験の結果,CLaMP 2は多言語セマンティック検索と音楽分類の両面での最先端の成果を達成し,包括的・グローバルな音楽情報検索の新たな標準を確立した。

関連論文リスト

• MuChoMusic: Evaluating Music Understanding in Multimodal Audio-Language Models [11.834712543531756]
  MuChoMusicは、オーディオに焦点を当てたマルチモーダル言語モデルにおける音楽理解を評価するためのベンチマークである。 これには1,187の質問が含まれており、いずれも人間のアノテータによって検証され、2つのパブリックな音楽データセットからソースされた644曲の楽曲が収録されている。 我々は5つのオープンソースモデルを評価し、言語モダリティの過度な信頼性を含むいくつかの落とし穴を識別する。
  論文  参考訳（メタデータ） (2024-08-02T15:34:05Z)
• MuPT: A Generative Symbolic Music Pretrained Transformer [56.09299510129221]
  音楽の事前学習におけるLarge Language Models (LLM) の適用について検討する。 生成過程の異なるトラックからの不整合対策に関連する課題に対処するために,SMT-ABC Notation(Synchronized Multi-Track ABC Notation)を提案する。 私たちのコントリビューションには、最大8192個のトークンを処理可能な一連のモデルが含まれており、トレーニングセットの象徴的な音楽データの90%をカバーしています。
  論文  参考訳（メタデータ） (2024-04-09T15:35:52Z)
• MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling [70.34758460372629]
  多様な言語にまたがる一貫した大きさのセグメントで同一情報をエンコードする新しいパラダイムを導入する。 MYTEは99の言語すべてに対して短いエンコーディングを生成する。 これにより、多言語LMの性能が向上し、多言語間でのパープレキシティギャップが減少する。
  論文  参考訳（メタデータ） (2024-03-15T21:21:11Z)
• ChatMusician: Understanding and Generating Music Intrinsically with LLM [81.48629006702409]
  ChatMusicianは、固有の音楽能力を統合するオープンソースのLarge Language Models(LLM)である。 外部のマルチモーダル・ニューラル構造やトークンーザを使わずに、純粋なテキスト・トークンーザで音楽を理解して生成することができる。 我々のモデルは、テキスト、コード、メロディ、モチーフ、音楽形式など、よく構造化されたフル長の音楽を構成することができる。
  論文  参考訳（メタデータ） (2024-02-25T17:19:41Z)
• Scaling Speech Technology to 1,000+ Languages [66.31120979098483]
  MMS(Massively Multilingual Speech)プロジェクトは、タスクに応じてサポート言語を10～40倍増やす。 主な材料は、一般に公開されている宗教文書の読解に基づく新しいデータセットである。 我々は,1,406言語,1,107言語用1つの多言語自動音声認識モデル,同一言語用音声合成モデル,4,017言語用言語識別モデルについて,事前学習したwav2vec 2.0モデルを構築した。
  論文  参考訳（メタデータ） (2023-05-22T22:09:41Z)
• LVP-M3: Language-aware Visual Prompt for Multilingual Multimodal Machine Translation [94.33019040320507]
  マルチモーダル機械翻訳(MMT)は、視覚的特徴を持つテキストのみの翻訳を強化することに焦点を当てている。 最近の進歩は、各言語ペアごとに別々のモデルをトレーニングすることに苦慮している。 7つの言語をカバーする2つのMultilingual MMTベンチマークデータセットを確立することで,Multilingual MMTタスクを提案する。
  論文  参考訳（メタデータ） (2022-10-19T12:21:39Z)
• MuLan: A Joint Embedding of Music Audio and Natural Language [15.753767984842014]
  本稿では,音声アノテーションを自然言語記述に直接リンクする新世代のモデルを提案する。 MuLanは、4400万曲の録音で訓練された、2towerのジョイントオーディオテキスト埋め込みモデルの形をしている。
  論文  参考訳（メタデータ） (2022-08-26T03:13:21Z)
• Contrastive Audio-Language Learning for Music [13.699088044513562]
  MusCALLは音楽コントラスト学習のためのフレームワークである。 本手法は,音楽音声と記述文のペアのアライメントを学習するデュアルエンコーダアーキテクチャで構成されている。
  論文  参考訳（メタデータ） (2022-08-25T16:55:15Z)
• Multilingual Music Genre Embeddings for Effective Cross-Lingual Music Item Annotation [9.709229853995987]
  言語間音楽ジャンルの翻訳は、並列コーパスに頼ることなく可能である。 多言語音楽ジャンルの埋め込みを学習することにより、並列コーパスに頼ることなく、多言語音楽ジャンルの翻訳を可能にする。 本手法は,複数の言語におけるタグシステム間の楽曲ジャンルの翻訳に有効である。
  論文  参考訳（メタデータ） (2020-09-16T15:39:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。