論文の概要: ChatMusician: Understanding and Generating Music Intrinsically with LLM

• arxiv url: http://arxiv.org/abs/2402.16153v1
• Date: Sun, 25 Feb 2024 17:19:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 15:14:34.475861
• Title: ChatMusician: Understanding and Generating Music Intrinsically with LLM
• Title（参考訳）: ChatMusician: LLMによる音楽の理解と生成
• Authors: Ruibin Yuan, Hanfeng Lin, Yi Wang, Zeyue Tian, Shangda Wu, Tianhao Shen, Ge Zhang, Yuhang Wu, Cong Liu, Ziya Zhou, Ziyang Ma, Liumeng Xue, Ziyu Wang, Qin Liu, Tianyu Zheng, Yizhi Li, Yinghao Ma, Yiming Liang, Xiaowei Chi, Ruibo Liu, Zili Wang, Pengfei Li, Jingcheng Wu, Chenghua Lin, Qifeng Liu, Tao Jiang, Wenhao Huang, Wenhu Chen, Emmanouil Benetos, Jie Fu, Gus Xia, Roger Dannenberg, Wei Xue, Shiyin Kang, Yike Guo
• Abstract要約: ChatMusicianは、固有の音楽能力を統合するオープンソースのLarge Language Models(LLM)である。 外部のマルチモーダル・ニューラル構造やトークンーザを使わずに、純粋なテキスト・トークンーザで音楽を理解して生成することができる。 我々のモデルは、テキスト、コード、メロディ、モチーフ、音楽形式など、よく構造化されたフル長の音楽を構成することができる。
• 参考スコア（独自算出の注目度）: 81.48629006702409
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Large Language Models (LLMs) demonstrate impressive capabilities in text generation, we find that their ability has yet to be generalized to music, humanity's creative language. We introduce ChatMusician, an open-source LLM that integrates intrinsic musical abilities. It is based on continual pre-training and finetuning LLaMA2 on a text-compatible music representation, ABC notation, and the music is treated as a second language. ChatMusician can understand and generate music with a pure text tokenizer without any external multi-modal neural structures or tokenizers. Interestingly, endowing musical abilities does not harm language abilities, even achieving a slightly higher MMLU score. Our model is capable of composing well-structured, full-length music, conditioned on texts, chords, melodies, motifs, musical forms, etc, surpassing GPT-4 baseline. On our meticulously curated college-level music understanding benchmark, MusicTheoryBench, ChatMusician surpasses LLaMA2 and GPT-3.5 on zero-shot setting by a noticeable margin. Our work reveals that LLMs can be an excellent compressor for music, but there remains significant territory to be conquered. We release our 4B token music-language corpora MusicPile, the collected MusicTheoryBench, code, model and demo in GitHub.
• Abstract（参考訳）: LLM(Large Language Models)はテキスト生成において印象的な能力を示すが、人間の創造的言語である音楽にはまだその能力を一般化していない。 内在的な音楽能力を統合するオープンソースのLLMであるChatMusicianを紹介する。 テキスト互換の音楽表現、ABC表記に基づくLLaMA2の継続事前学習および微調整に基づいており、その音楽は第2言語として扱われる。 ChatMusicianは、外部のマルチモーダルニューラルネットワーク構造やトークンーザを使わずに、純粋なテキストトークンーザで音楽を理解して生成することができる。 興味深いことに、内転する音楽能力は言語能力に影響を与えず、少し高いmmluスコアを得ることさえある。 本モデルでは,GPT-4ベースラインを超え,テキスト,コード,メロディ,モチーフ,音楽形式などを条件に,十分に構造化されたフル長の楽曲を構成することができる。 大学レベルの音楽理解ベンチマークであるMusicTheoryBenchでは、ChatMusicianがゼロショット設定でLLaMA2とGPT-3.5を上回っています。 我々の研究は、LLMが音楽の優れた圧縮機になり得ることを明らかにしている。 私たちは4bトークンの音楽言語コーポラミュージックパイル、収集したmusictheorybench、コード、モデル、デモをgithubでリリースしています。

関連論文リスト

• CLaMP 2: Multimodal Music Information Retrieval Across 101 Languages Using Large Language Models [51.03510073676228]
  CLaMP 2は、音楽情報検索用の101言語に対応するシステムである。 大規模言語モデルを活用することで,大規模に洗練され一貫した多言語記述が得られる。 CLaMP 2は、多言語セマンティックサーチとモーダル間の音楽分類において、最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-10-17T06:43:54Z)
• Can LLMs "Reason" in Music? An Evaluation of LLMs' Capability of Music Understanding and Generation [31.825105824490464]
  シンボリック・ミュージック(英: Symbolic Music)は、言語に似た、離散的な記号で符号化される。 近年,大言語モデル (LLM) を記号的音楽領域に適用する研究が進められている。 本研究は, シンボリック・ミュージック・プロセッシングにおけるLLMの能力と限界について, 徹底的に検討する。
  論文  参考訳（メタデータ） (2024-07-31T11:29:46Z)
• MeLFusion: Synthesizing Music from Image and Language Cues using Diffusion Models [57.47799823804519]
  私たちは、ミュージシャンが映画の脚本だけでなく、視覚化を通して音楽を作る方法にインスピレーションを受けています。 本稿では,テキスト記述と対応する画像からの手がかりを効果的に利用して音楽を合成するモデルであるMeLFusionを提案する。 音楽合成パイプラインに視覚情報を加えることで、生成した音楽の質が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-06-07T06:38:59Z)
• ComposerX: Multi-Agent Symbolic Music Composition with LLMs [51.68908082829048]
  音楽の構成は、長い依存と調和の制約で情報を理解し、生成する能力を必要とする複雑なタスクである。 現在のLLMは、このタスクで簡単に失敗し、In-Context-LearningやChain-of-Thoughtsといったモダンな技術が組み込まれても、不適切な曲を生成する。 エージェントベースのシンボリック音楽生成フレームワークであるComposerXを提案する。
  論文  参考訳（メタデータ） (2024-04-28T06:17:42Z)
• SongComposer: A Large Language Model for Lyric and Melody Composition in Song Generation [88.33522730306674]
  SongComposerは、シンボリックな歌の表現でメロディーや歌詞を理解し、生成することができた。 我々は、人間が音楽のためにデザインした成熟した効率的な方法である象徴的な歌の表現に頼っている。 広範な実験により、SongComposerは、歌詞からメロディ生成、メロディから歌詞への生成、歌の継続、テキストから歌への生成において優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-02-27T16:15:28Z)
• MusiLingo: Bridging Music and Text with Pre-trained Language Models for Music Captioning and Query Response [42.73982391253872]
  MusiLingoは音楽キャプション生成と音楽関連クエリ応答のための新しいシステムである。 広範囲な音楽キャプションデータセットでトレーニングし、インストラクショナルデータで微調整する。 音楽キャプションの生成と音楽関連Q&Aペアの構成において,その競争性能を実証した。
  論文  参考訳（メタデータ） (2023-09-15T19:31:40Z)
• MusicBERT: Symbolic Music Understanding with Large-Scale Pre-Training [97.91071692716406]
  シンボリック・ミュージックの理解(シンボリック・ミュージックの理解)とは、シンボリック・データから音楽を理解することを指す。 MusicBERTは、音楽理解のための大規模な事前訓練モデルである。
  論文  参考訳（メタデータ） (2021-06-10T10:13:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。