論文の概要: M2M-Gen: A Multimodal Framework for Automated Background Music Generation in Japanese Manga Using Large Language Models

• arxiv url: http://arxiv.org/abs/2410.09928v1
• Date: Sun, 13 Oct 2024 17:15:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 04:13:22.679128
• Title: M2M-Gen: A Multimodal Framework for Automated Background Music Generation in Japanese Manga Using Large Language Models
• Title（参考訳）: M2M-Gen:大規模言語モデルを用いた日本語マンガの背景音楽自動生成のためのマルチモーダルフレームワーク
• Authors: Megha Sharma, Muhammad Taimoor Haseeb, Gus Xia, Yoshimasa Tsuruoka,
• Abstract要約: 入力マンガブックの背景音楽を生成する自動音楽生成パイプラインを提案する。 マンガにおける対話を用いてシーン境界を検出し、シーン内のキャラクターの顔を用いて感情分類を行う。 GPT 4oの別の例は、テキストを音楽モデルに導くためにページレベルの音楽キャプションを生成する。
• 参考スコア（独自算出の注目度）: 17.727525335723943
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces M2M Gen, a multi modal framework for generating background music tailored to Japanese manga. The key challenges in this task are the lack of an available dataset or a baseline. To address these challenges, we propose an automated music generation pipeline that produces background music for an input manga book. Initially, we use the dialogues in a manga to detect scene boundaries and perform emotion classification using the characters faces within a scene. Then, we use GPT4o to translate this low level scene information into a high level music directive. Conditioned on the scene information and the music directive, another instance of GPT 4o generates page level music captions to guide a text to music model. This produces music that is aligned with the mangas evolving narrative. The effectiveness of M2M Gen is confirmed through extensive subjective evaluations, showcasing its capability to generate higher quality, more relevant and consistent music that complements specific scenes when compared to our baselines.
• Abstract（参考訳）: 本稿では,日本のマンガに合わせた背景音楽を生成するためのマルチモーダルフレームワークであるM2M Genを紹介する。 このタスクの主な課題は、利用可能なデータセットやベースラインの欠如である。 これらの課題に対処するために,入力マンガブックの背景音楽を生成する自動音楽生成パイプラインを提案する。 まず,マンガの対話を用いてシーン境界を検出し,シーン内のキャラクターの顔を用いて感情分類を行う。 そして、GPT4oを用いて、この低レベルシーン情報を高レベル音楽ディレクティブに変換する。 シーン情報と音楽ディレクティブに基づいて、GPT4oの別の例では、ページレベルの音楽キャプションを生成して、テキストを音楽モデルに誘導する。 これにより、マンガの進化する物語に沿った音楽が生み出される。 M2M Genの有効性は広範囲な主観評価を通じて確認され、ベースラインと比較して特定のシーンを補完する高品質で、より関連性があり、一貫した音楽を生成する能力を示す。

関連論文リスト

• Melody Is All You Need For Music Generation [10.366088659024685]
  本稿では,メロディを用いたテキスト・ツー・ミュージック・ジェネレーションの新たなアプローチであるメロディ・ガイドド・ミュージック・ジェネレーション(MG2)モデルを提案する。 提案したMG2モデルは、既存のオープンソースのテキストから音楽への生成モデルを超え、パラメータの1/3未満とトレーニングデータの1/200未満を活用している。
  論文  参考訳（メタデータ） (2024-09-30T11:13:35Z)
• SongCreator: Lyrics-based Universal Song Generation [53.248473603201916]
  SongCreatorは、声楽と伴奏の両方で曲を生成するという課題に取り組むために設計された曲生成システムである。 モデルには2つの新しいデザインがある: ボーカルの情報と伴奏を収録するための巧妙に設計された二重系列言語モデル (M) と、DSLMのための一連の注意マスク戦略である。 実験では,8つのタスクすべてに対して,最先端ないし競争的なパフォーマンスを実現することにより,SongCreatorの有効性を示す。
  論文  参考訳（メタデータ） (2024-09-09T19:37:07Z)
• ChatMusician: Understanding and Generating Music Intrinsically with LLM [81.48629006702409]
  ChatMusicianは、固有の音楽能力を統合するオープンソースのLarge Language Models(LLM)である。 外部のマルチモーダル・ニューラル構造やトークンーザを使わずに、純粋なテキスト・トークンーザで音楽を理解して生成することができる。 我々のモデルは、テキスト、コード、メロディ、モチーフ、音楽形式など、よく構造化されたフル長の音楽を構成することができる。
  論文  参考訳（メタデータ） (2024-02-25T17:19:41Z)
• Arrange, Inpaint, and Refine: Steerable Long-term Music Audio Generation and Editing via Content-based Controls [6.176747724853209]
  LLM(Large Language Models)は、高品質な音楽を生成する上で有望であるが、自動回帰生成に焦点をあてることで、音楽編集タスクにおける有用性を制限している。 本稿では,パラメータ効率の高いヘテロジニアスアダプタとマスキングトレーニングスキームを組み合わせた新しいアプローチを提案する。 提案手法は, フレームレベルのコンテンツベース制御を統合し, トラックコンディショニングとスコアコンディショニングによる音楽アレンジメントを容易にする。
  論文  参考訳（メタデータ） (2024-02-14T19:00:01Z)
• The Manga Whisperer: Automatically Generating Transcriptions for Comics [55.544015596503726]
  我々は,パネル,テキストボックス,文字ボックスを検出可能な統一モデル Magi を提案する。 本稿では,検出したテキストボックスを読み順にソートし,対話文を生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-01-18T18:59:09Z)
• MusiLingo: Bridging Music and Text with Pre-trained Language Models for Music Captioning and Query Response [42.73982391253872]
  MusiLingoは音楽キャプション生成と音楽関連クエリ応答のための新しいシステムである。 広範囲な音楽キャプションデータセットでトレーニングし、インストラクショナルデータで微調整する。 音楽キャプションの生成と音楽関連Q&Aペアの構成において,その競争性能を実証した。
  論文  参考訳（メタデータ） (2023-09-15T19:31:40Z)
• Music Understanding LLaMA: Advancing Text-to-Music Generation with Question Answering and Captioning [37.76488341368786]
  テキスト・ツー・ミュージック・ジェネレーション(T2M-Gen)は、自然言語キャプションを備えた大規模公開楽曲データセットが不足しているため、大きな障害に直面している。 音楽関連質問に答え、音楽ファイルのキャプションを生成することができる音楽理解LLaMA(MU-LLaMA)を提案する。 本稿では,既存の音声キャプションデータセットから質問応答ペアを生成する手法を提案し,MusicQAデータセットを紹介する。
  論文  参考訳（メタデータ） (2023-08-22T08:43:33Z)
• Noise2Music: Text-conditioned Music Generation with Diffusion Models [73.74580231353684]
  本研究では,テキストプロンプトから高品質な30秒音楽クリップを生成するために,一連の拡散モデルを訓練するNoss2Musicを紹介する。 生成した音声は、ジャンル、テンポ、楽器、ムード、時代など、テキストプロンプトの重要な要素を忠実に反映できるだけでなく、テキストプロンプトを忠実に反映できる。 トレーニングセットのオーディオのためにペア化されたテキストを生成し、拡散モデルによって取り込まれたテキストプロンプトの埋め込みを抽出するために使用される。
  論文  参考訳（メタデータ） (2023-02-08T07:27:27Z)
• PopMAG: Pop Music Accompaniment Generation [190.09996798215738]
  単一シーケンスでの同時マルチトラック生成が可能なMUlti-track MIDI表現(MuMIDI)を提案する。 MuMIDIはシーケンス長を拡大し、長期音楽モデリングの新しい課題をもたらす。 我々は,ポップミュージックの伴奏生成をPopMAGと呼ぶ。
  論文  参考訳（メタデータ） (2020-08-18T02:28:36Z)
• SongNet: Rigid Formats Controlled Text Generation [51.428634666559724]
  この問題に対処するために,SongNetというシンプルでエレガントなフレームワークを提案する。 フレームワークのバックボーンは、Transformerベースの自動回帰言語モデルである。 事前学習および微調整のフレームワークは、生成品質をさらに向上するために設計されている。
  論文  参考訳（メタデータ） (2020-04-17T01:40:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。