論文の概要: Multimodal Lyrics-Rhythm Matching

• arxiv url: http://arxiv.org/abs/2301.02732v1
• Date: Fri, 6 Jan 2023 22:24:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-10 18:48:19.704926
• Title: Multimodal Lyrics-Rhythm Matching
• Title（参考訳）: マルチモーダル歌詞-リズムマッチング
• Authors: Callie C. Liao, Duoduo Liao, Jesse Guessford
• Abstract要約: 本稿では,歌詞と音楽のキーコンポーネントを相互にマッチングする,新しいマルチモーダルな歌詞・リズムマッチング手法を提案する。 楽譜の代わりに音声を使用し、メタデータを手軽に利用できるようにし、より多くの課題を生み出しますが、我々の手法の適用柔軟性は向上します。 実験の結果,平均一致確率は0.81であり,曲の約30%は強拍に着地するキーワードの0.9以上の確率を持つことがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the recent increase in research on artificial intelligence for music, prominent correlations between key components of lyrics and rhythm such as keywords, stressed syllables, and strong beats are not frequently studied. Ths is likely due to challenges such as audio misalignment, inaccuracies in syllabic identification, and most importantly, the need for cross-disciplinary knowledge. To address this lack of research, we propose a novel multimodal lyrics-rhythm matching approach in this paper that specifically matches key components of lyrics and music with each other without any language limitations. We use audio instead of sheet music with readily available metadata, which creates more challenges yet increases the application flexibility of our method. Furthermore, our approach creatively generates several patterns involving various multimodalities, including music strong beats, lyrical syllables, auditory changes in a singer's pronunciation, and especially lyrical keywords, which are utilized for matching key lyrical elements with key rhythmic elements. This advantageous approach not only provides a unique way to study auditory lyrics-rhythm correlations including efficient rhythm-based audio alignment algorithms, but also bridges computational linguistics with music as well as music cognition. Our experimental results reveal an 0.81 probability of matching on average, and around 30% of the songs have a probability of 0.9 or higher of keywords landing on strong beats, including 12% of the songs with a perfect landing. Also, the similarity metrics are used to evaluate the correlation between lyrics and rhythm. It shows that nearly 50% of the songs have 0.70 similarity or higher. In conclusion, our approach contributes significantly to the lyrics-rhythm relationship by computationally unveiling insightful correlations.
• Abstract（参考訳）: 最近の音楽の人工知能研究の増加にもかかわらず、歌詞の主要成分とキーワード、強調された音節、強いビートといったリズムの相関は、あまり研究されていない。 thsは、オーディオの誤用、音節識別の不正確さ、そして最も重要なのは、学際的な知識の必要性といった課題による可能性がある。 このような研究の欠如に対処するため,本稿では,歌詞と音楽のキーコンポーネントを言語的制約なくマッチングする,新しいマルチモーダルな歌詞・リズムマッチング手法を提案する。 私たちは、簡単に利用可能なメタデータで楽譜をシートするのではなく、オーディオを使用します。 さらに,音楽の強いビート,歌詞の音節,歌手の発音の聴覚的変化,特に歌詞キーワードなど,鍵となるリズミカル要素と鍵となるリズミカル要素のマッチングに活用される様々なマルチモーダルなパターンを創造的に生成する。 この有利なアプローチは、効率的なリズムベースのオーディオアライメントアルゴリズムを含む聴覚的歌詞とリズムの相関を研究するためのユニークな方法を提供するだけでなく、音楽や音楽認知と計算言語学を橋渡しする。 実験の結果,平均で0.81の確率が一致し,約30%の楽曲が0.9以上のキーワードが強いビートに着地する確率を示し,そのうち12%が完璧に着地した。 また、類似度指標を用いて、歌詞とリズムの相関性を評価する。 楽曲の50%近くが0.70以上の類似性を持っている。 結論として,本手法は洞察に富む相関関係を計算的に明らかにすることにより,歌詞とリズムの関係に大きく寄与する。

関連論文リスト

• Towards Explainable and Interpretable Musical Difficulty Estimation: A Parameter-efficient Approach [49.2787113554916]
  音楽コレクションの整理には曲の難易度を推定することが重要である。 シンボリックな音楽表現の難易度推定には説明可能な記述子を用いる。 ピアノレパートリーで評価したアプローチは,平均2乗誤差(MSE)が1.7。
  論文  参考訳（メタデータ） (2024-08-01T11:23:42Z)
• Joint sentiment analysis of lyrics and audio in music [1.2349562761400057]
  自動分析では、実際の音声データは通常分析されるが、歌詞は気分の知覚において重要な役割を果たす。 我々はまず、歌詞と音声に基づいて感情分析の様々なモデルを評価する。それに対応するアプローチは、すでに満足できる結果を示しているが、弱みも示している。
  論文  参考訳（メタデータ） (2024-05-03T10:42:17Z)
• A Computational Analysis of Lyric Similarity Perception [1.1510009152620668]
  人間の知覚との類似性をモデル化するための計算手法の比較分析を行う。 以上の結果から,事前学習したBERTモデルからの埋め込み,歌詞が導出される音声,知覚的歌詞の類似性を示す音声成分の類似性に基づく計算モデルが示唆された。
  論文  参考訳（メタデータ） (2024-04-02T22:31:38Z)
• Automatic Time Signature Determination for New Scores Using Lyrics for Latent Rhythmic Structure [0.0]
  本稿では,歌詞のみを入力として使用する新しいアプローチを提案する。 本稿では, 実験結果から, 受信器動作特性(ROC)の97.6%のF1スコアと0.996のAUC(Area Under the Curve)スコアが得られた。
  論文  参考訳（メタデータ） (2023-11-27T01:44:02Z)
• Knowledge-based Multimodal Music Similarity [0.0]
  本研究は,シンボリックコンテンツとオーディオコンテンツの両方を用いた音楽的類似性の研究に焦点をあてる。 本研究の目的は、音楽の類似性や分類システムのより制御と理解をエンドユーザに提供する、完全に説明可能な、解釈可能なシステムを開発することである。
  論文  参考訳（メタデータ） (2023-06-21T13:12:12Z)
• Unsupervised Melody-to-Lyric Generation [91.29447272400826]
  本稿では,メロディ・歌詞データを学習することなく高品質な歌詞を生成する手法を提案する。 我々は、メロディと歌詞のセグメンテーションとリズムアライメントを利用して、与えられたメロディをデコード制約にコンパイルする。 我々のモデルは、強いベースラインよりもオントピー的、歌いやすく、知性があり、一貫性のある高品質な歌詞を生成することができる。
  論文  参考訳（メタデータ） (2023-05-30T17:20:25Z)
• Unsupervised Melody-Guided Lyrics Generation [84.22469652275714]
  メロディと歌詞の一致したデータを学習することなく、楽しく聴ける歌詞を生成することを提案する。 メロディと歌詞間の重要なアライメントを活用し、与えられたメロディを制約にコンパイルし、生成プロセスを導く。
  論文  参考訳（メタデータ） (2023-05-12T20:57:20Z)
• Museformer: Transformer with Fine- and Coarse-Grained Attention for Music Generation [138.74751744348274]
  本研究では,音楽生成に新たな細粒度・粗粒度対応トランスフォーマーであるMuseformerを提案する。 具体的には、細かな注意を払って、特定のバーのトークンは、音楽構造に最も関係のあるバーのトークンに、直接参加する。 粗い注意を払って、トークンは計算コストを減らすために、それぞれのトークンではなく他のバーの要約にのみ参加する。
  論文  参考訳（メタデータ） (2022-10-19T07:31:56Z)
• Re-creation of Creations: A New Paradigm for Lyric-to-Melody Generation [158.54649047794794]
  Re-creation of Creations (ROC)は、歌詞からメロディ生成のための新しいパラダイムである。 ROCは、Lyric-to-Meody生成において、優れたLyric-Meody特徴アライメントを実現する。
  論文  参考訳（メタデータ） (2022-08-11T08:44:47Z)
• Syllabic Quantity Patterns as Rhythmic Features for Latin Authorship Attribution [74.27826764855911]
  我々は、ラテン散文の計算的オーサシップ属性のタスクにおいて、リズミカルな特徴を導出する基盤として、音節量を用いる。 2つの異なる機械学習手法を用いて3つの異なるデータセットを用いて実験を行い、音節量に基づくリズム特徴がラテン散文の著者の識別に有用であることを示した。
  論文  参考訳（メタデータ） (2021-10-27T06:25:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。