論文の概要: Translate the Beauty in Songs: Jointly Learning to Align Melody and Translate Lyrics

• arxiv url: http://arxiv.org/abs/2303.15705v1
• Date: Tue, 28 Mar 2023 03:17:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 16:43:01.074018
• Title: Translate the Beauty in Songs: Jointly Learning to Align Melody and Translate Lyrics
• Title（参考訳）: 歌の美しさを翻訳する:共同学習してメロディを調整し、歌詞を翻訳する
• Authors: Chengxi Li, Kai Fan, Jiajun Bu, Boxing Chen, Zhongqiang Huang, Zhi Yu
• Abstract要約: 本稿では,自動翻訳の総合解として,Lyrics-Melody Translation with Adaptive Grouping (LTAG)を提案する。 これは、ソース歌詞を同時に翻訳し、各デコードステップでアライメントノートの数を決定することができる、新しいエンコーダ/デコーダフレームワークである。 英語と中国語の歌の翻訳データセットで行った実験は、自動評価と人的評価の両方において、我々のモデルの有効性を示した。
• 参考スコア（独自算出の注目度）: 38.35809268026605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Song translation requires both translation of lyrics and alignment of music notes so that the resulting verse can be sung to the accompanying melody, which is a challenging problem that has attracted some interests in different aspects of the translation process. In this paper, we propose Lyrics-Melody Translation with Adaptive Grouping (LTAG), a holistic solution to automatic song translation by jointly modeling lyrics translation and lyrics-melody alignment. It is a novel encoder-decoder framework that can simultaneously translate the source lyrics and determine the number of aligned notes at each decoding step through an adaptive note grouping module. To address data scarcity, we commissioned a small amount of training data annotated specifically for this task and used large amounts of augmented data through back-translation. Experiments conducted on an English-Chinese song translation data set show the effectiveness of our model in both automatic and human evaluation.
• Abstract（参考訳）: 歌の翻訳は、歌詞の翻訳と音符のアライメントの両方を必要とするため、歌詞を伴奏のメロディに合わせて歌うことができる。 本稿では,歌詞翻訳と歌詞・メロディアライメントを共同でモデル化し,自動翻訳に対する包括的解法である適応型グループ化(ltag)による歌詞・メロディ翻訳を提案する。 これは、ソース歌詞を同時に翻訳し、アダプティブノートグルーピングモジュールを通じて各デコードステップにおけるアライメントノートの数を決定することができる、新しいエンコーダ・デコーダフレームワークである。 データの不足に対処するため、我々はこのタスク用にアノテートされた少量のトレーニングデータを委託し、バックトランスレーションを通じて大量の拡張データを使用しました。 英語と中国語の翻訳データを用いた実験では, 自動評価と人間評価の両方において, モデルの有効性が示された。

関連論文リスト

• Sing it, Narrate it: Quality Musical Lyrics Translation [0.5735035463793009]
  既存の歌の翻訳アプローチは、翻訳品質を犠牲にして、歌いやすさの制約を優先することが多い。 本稿では,重要な歌声機能を維持しつつ,翻訳品質を向上させることを目的とする。
  論文  参考訳（メタデータ） (2024-10-29T14:23:56Z)
• REFFLY: Melody-Constrained Lyrics Editing Model [50.03960548399128]
  任意の形態のプレーンテキストドラフトを高品質で本格的な歌詞に編集するための,最初の改訂フレームワークであるREFFLYを紹介する。 提案手法は,生成した歌詞が原文の意味を保ち,旋律と整合し,所望の曲構造に固執することを保証する。
  論文  参考訳（メタデータ） (2024-08-30T23:22:34Z)
• Towards Estimating Personal Values in Song Lyrics [5.170818712089796]
  西洋諸国で広く消費されている音楽は、歌詞が含まれており、アメリカのサンプルでは、彼らの楽曲ライブラリのほとんどすべてが歌詞を含んでいると報告している。 本稿では,社会科学理論に導かれたパースペクティビズム的アプローチを用いて,アノテーションの収集,品質評価,集約を行う。 次に、評価値辞書を用いて、事前学習した文/単語の埋め込みモデルに基づく評価値と比較する。
  論文  参考訳（メタデータ） (2024-08-22T19:22:55Z)
• A Computational Evaluation Framework for Singable Lyric Translation [17.492053233802135]
  本稿では,音節翻訳の定量的評価のための計算フレームワークを提案する。 音節数距離,音素繰り返し類似度,音楽構造距離,意味類似度を測定した。 我々の枠組みは、音楽的、言語的、文化的側面をシームレスに統合する。
  論文  参考訳（メタデータ） (2023-08-26T00:27:08Z)
• LyricWhiz: Robust Multilingual Zero-shot Lyrics Transcription by Whispering to ChatGPT [48.28624219567131]
  リリックウィズ(LyricWhiz)は、頑健で、多言語で、ゼロショットの自動歌詞書き起こし方式である。 我々は、弱教師付き頑健な音声認識モデルであるWhisperと、今日の最もパフォーマンスの高いチャットベースの大規模言語モデルであるGPT-4を使用している。 実験の結果,LyricWhizは英語の既存手法に比べて単語誤り率を大幅に低下させることがわかった。
  論文  参考訳（メタデータ） (2023-06-29T17:01:51Z)
• Unsupervised Melody-to-Lyric Generation [91.29447272400826]
  本稿では,メロディ・歌詞データを学習することなく高品質な歌詞を生成する手法を提案する。 我々は、メロディと歌詞のセグメンテーションとリズムアライメントを利用して、与えられたメロディをデコード制約にコンパイルする。 我々のモデルは、強いベースラインよりもオントピー的、歌いやすく、知性があり、一貫性のある高品質な歌詞を生成することができる。
  論文  参考訳（メタデータ） (2023-05-30T17:20:25Z)
• Unsupervised Melody-Guided Lyrics Generation [84.22469652275714]
  メロディと歌詞の一致したデータを学習することなく、楽しく聴ける歌詞を生成することを提案する。 メロディと歌詞間の重要なアライメントを活用し、与えられたメロディを制約にコンパイルし、生成プロセスを導く。
  論文  参考訳（メタデータ） (2023-05-12T20:57:20Z)
• SongMASS: Automatic Song Writing with Pre-training and Alignment Constraint [54.012194728496155]
  SongMASSは、歌詞からメロディーへの生成とメロディから歌詞への生成の課題を克服するために提案されている。 マスクドシーケンスを利用して、シーケンス(質量)事前トレーニングと注意に基づくアライメントモデリングを行う。 我々は,SongMASSがベースライン法よりもはるかに高品質な歌詞とメロディを生成することを示す。
  論文  参考訳（メタデータ） (2020-12-09T16:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。