論文の概要: Bridging Music and Text with Crowdsourced Music Comments: A Sequence-to-Sequence Framework for Thematic Music Comments Generation

• arxiv url: http://arxiv.org/abs/2209.01996v1
• Date: Mon, 5 Sep 2022 14:51:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 14:47:49.789993
• Title: Bridging Music and Text with Crowdsourced Music Comments: A Sequence-to-Sequence Framework for Thematic Music Comments Generation
• Title（参考訳）: クラウドソース音楽コメントによる音楽とテキストのブリッジ:テーマ音楽コメント生成のためのシーケンス・ツー・シーケンス・フレームワーク
• Authors: Peining Zhang, Junliang Guo, Linli Xu, Mu You, Junming Yin
• Abstract要約: 我々はクラウドソースの音楽コメントを利用して新しいデータセットを構築し,音楽のテキスト記述を生成するシーケンス・ツー・シーケンス・モデルを提案する。 生成したテキストの信頼性とテーマ性を高めるために,識別器と新しい話題評価器を提案する。
• 参考スコア（独自算出の注目度）: 18.2750732408488
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider a novel task of automatically generating text descriptions of music. Compared with other well-established text generation tasks such as image caption, the scarcity of well-paired music and text datasets makes it a much more challenging task. In this paper, we exploit the crowd-sourced music comments to construct a new dataset and propose a sequence-to-sequence model to generate text descriptions of music. More concretely, we use the dilated convolutional layer as the basic component of the encoder and a memory based recurrent neural network as the decoder. To enhance the authenticity and thematicity of generated texts, we further propose to fine-tune the model with a discriminator as well as a novel topic evaluator. To measure the quality of generated texts, we also propose two new evaluation metrics, which are more aligned with human evaluation than traditional metrics such as BLEU. Experimental results verify that our model is capable of generating fluent and meaningful comments while containing thematic and content information of the original music.
• Abstract（参考訳）: 楽曲のテキスト記述を自動的に生成する新しい課題を考える。 画像キャプションのような、確立された他のテキスト生成タスクと比較すると、十分にペアリングされた音楽やテキストデータセットの不足は、より困難なタスクになります。 本稿では,クラウドソースの音楽コメントを利用して新しいデータセットを構築し,楽曲のテキスト記述を生成するシーケンシャル・ツー・シーケンスモデルを提案する。 より具体的には、拡張畳み込み層をエンコーダの基本成分とし、メモリベースのリカレントニューラルネットワークをデコーダとして使用する。 生成したテキストの真正性と主題性を高めるため、識別器と新しい話題評価器を用いてモデルを微調整することを提案する。 生成されたテキストの品質を測定するために、bleuのような従来の指標よりも人間による評価に合致する2つの新しい評価指標を提案する。 実験結果から,本モデルがオリジナル楽曲の主題や内容情報を含意しながら,流動的で意味のあるコメントを生成できることが確認された。

関連論文リスト

• MusicLDM: Enhancing Novelty in Text-to-Music Generation Using Beat-Synchronous Mixup Strategies [32.482588500419006]
  我々は,静的拡散とAudioLDMアーキテクチャを音楽領域に適応させる,最先端のテキスト・音楽モデルMusicLDMを構築した。 我々は、ビート同期オーディオミキサップとビート同期潜在ミキサップという、データ拡張のための2つの異なるミックスアップ戦略を提案する。 一般的な評価指標に加えて,CLAPスコアに基づくいくつかの新しい評価指標を設計し,提案したMusicLDMとビート同期ミックスアップ手法が生成した楽曲の品質とノベルティの両方を改善することを示す。
  論文  参考訳（メタデータ） (2023-08-03T05:35:37Z)
• Simple and Controllable Music Generation [94.61958781346176]
  MusicGenは単一の言語モデル(LM)であり、圧縮された離散的な音楽表現、すなわちトークンの複数のストリームで動作する。 以前の作業とは異なり、MusicGenはシングルステージのトランスフォーマーLMと効率的なトークンインターリービングパターンで構成されている。
  論文  参考訳（メタデータ） (2023-06-08T15:31:05Z)
• Unsupervised Melody-to-Lyric Generation [91.29447272400826]
  本稿では,メロディ・歌詞データを学習することなく高品質な歌詞を生成する手法を提案する。 我々は、メロディと歌詞のセグメンテーションとリズムアライメントを利用して、与えられたメロディをデコード制約にコンパイルする。 我々のモデルは、強いベースラインよりもオントピー的、歌いやすく、知性があり、一貫性のある高品質な歌詞を生成することができる。
  論文  参考訳（メタデータ） (2023-05-30T17:20:25Z)
• Noise2Music: Text-conditioned Music Generation with Diffusion Models [73.74580231353684]
  本研究では,テキストプロンプトから高品質な30秒音楽クリップを生成するために,一連の拡散モデルを訓練するNoss2Musicを紹介する。 生成した音声は、ジャンル、テンポ、楽器、ムード、時代など、テキストプロンプトの重要な要素を忠実に反映できるだけでなく、テキストプロンプトを忠実に反映できる。 トレーニングセットのオーディオのためにペア化されたテキストを生成し、拡散モデルによって取り込まれたテキストプロンプトの埋め込みを抽出するために使用される。
  論文  参考訳（メタデータ） (2023-02-08T07:27:27Z)
• Music-to-Text Synaesthesia: Generating Descriptive Text from Music Recordings [36.090928638883454]
  音楽からテキストへの合成は、音楽録音から記述的なテキストを同じ感情で生成し、さらに理解することを目的としている。 音楽録音の内容を記述可能な文を生成するための計算モデルを構築した。 非差別的なクラシック音楽に対処するために,グループトポロジ保存損失を設計する。
  論文  参考訳（メタデータ） (2022-10-02T06:06:55Z)
• Melody-Conditioned Lyrics Generation with SeqGANs [81.2302502902865]
  本稿では,SeqGAN(Sequence Generative Adversarial Networks)に基づく,エンドツーエンドのメロディ条件付き歌詞生成システムを提案する。 入力条件が評価指標に悪影響を及ぼすことなく,ネットワークがより有意義な結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-10-28T02:35:40Z)
• SongNet: Rigid Formats Controlled Text Generation [51.428634666559724]
  この問題に対処するために,SongNetというシンプルでエレガントなフレームワークを提案する。 フレームワークのバックボーンは、Transformerベースの自動回帰言語モデルである。 事前学習および微調整のフレームワークは、生成品質をさらに向上するために設計されている。
  論文  参考訳（メタデータ） (2020-04-17T01:40:18Z)
• Learning to Select Bi-Aspect Information for Document-Scale Text Content Manipulation [50.01708049531156]
  我々は、テキストスタイルの転送とは逆の文書スケールのテキストコンテンツ操作という、新しい実践的なタスクに焦点を当てる。 詳細は、入力は構造化されたレコードと、別のレコードセットを記述するための参照テキストのセットである。 出力は、ソースレコードセットの部分的内容と参照の書き込みスタイルを正確に記述した要約である。
  論文  参考訳（メタデータ） (2020-02-24T12:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。