論文の概要: ARIA: Audio-Driven Melody-Tone Relation Modeling for Cantonese Lyric Authoring

• arxiv url: http://arxiv.org/abs/2610.07902v1
• Date: Tue, 06 Oct 2026 07:48:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.874118
• Title: ARIA: Audio-Driven Melody-Tone Relation Modeling for Cantonese Lyric Authoring
• Title（参考訳）: ARIA: カントン歌詞オーサリングのためのオーディオ駆動メロディ-トーン関係モデリング
• Abstract要約: カントーニャの歌詞は、語彙音と旋律音の密接な一致を必要とする。 既存のメロディ誘導の歌詞生成法は通常、歌詞を生成するために象徴的なメロディに依存している。 カントン歌詞作成のための2段階の音声駆動メロディ-トーン関係モデリングフレームワークであるARIAを提案する。
• 参考スコア（独自算出の注目度）: 14.143485072608334
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cantonese lyric writing requires close alignment between lexical tones and melodic pitch. Existing melody-guided lyric generation methods typically rely on symbolic melody to generate lyrics. However, in real songwriting scenarios, melodies are often expressed as raw singing audio or hummed recordings, where pitch is implicit, noisy, and unstructured, making these methods difficult to apply directly. To address this limitation, we propose ARIA, a two-stage audio-driven melody-tone relation modeling framework for Cantonese lyric authoring that generates Cantonese lyrics from singing recordings with provided character-level timestamps. Specifically, we first design a Tri-Stream Relation-Aware Tone Estimator (TRATE) to predict 0243 sequences from timestamped singing audio by modeling multi-stream acoustic cues and relational tonal structure. We then propose a Decoupled Retrieval-Augmented Tone-Conditioned Lyric Generator (DRA-TCLG) to generate fluent lyrics conditioned on predicted tonal plans with retrieval-enhanced lexical guidance. Moreover, we construct a large-scale aligned audio-Jyutping-0243 dataset from real Cantonese singing recordings to support this new task. Experimental results demonstrate that ARIA achieves strong performance in both 0243 prediction and tone-consistent lyric generation, validating the effectiveness of the proposed framework.
• Abstract（参考訳）: カントーニャの歌詞は、語彙音と旋律音の密接な一致を必要とする。 既存のメロディ誘導の歌詞生成法は通常、歌詞を生成するために象徴的なメロディに依存している。 しかし、実際の歌曲のシナリオでは、メロディーは生の歌声や歌声の録音として表現されることが多く、ピッチは暗黙的、うるさい、構造化されていないため、これらの手法を直接適用するのは困難である。 この制限に対処するため、カントン歌詞作成者のための2段階の音声駆動メロディ-トーン関係モデリングフレームワークであるARIAを提案し、キャラクタレベルのタイムスタンプを備えた歌唱録音からカントン歌詞を生成する。 具体的には、まずTri-Stream Relation-Aware Tone Estimator (TRATE) を設計し、マルチストリーム音響キューとリレーショナルトーン構造をモデル化することにより、タイムスタンプされた歌唱音声から0243のシーケンスを予測する。 そこで我々は, 予測音節計画に係わる流動的な歌詞を生成するために, DRA-TCLG (Decoupled Retrieval-Augmented Tone-Conditioned Lyric Generator) を提案する。 さらに、このタスクをサポートするために、実際のカントン歌唱録音から大規模なアライン・アライン・アライン・オーディオ・ジャイピング・0243データセットを構築した。 実験の結果、ARIAは0243の予測とトーン一貫性の歌詞生成の両方において高い性能を示し、提案フレームワークの有効性を検証した。

関連論文リスト

• VocalParse: Towards Unified and Scalable Singing Voice Transcription with Large Audio Language Models [45.70355425430011]
  LALM(Large Audio Language Model)上に構築されたSVTモデルであるVocalParseについて述べる。 我々の新しい貢献は、歌詞、メロディ、音符対応を共同でモデル化し、構造化された楽譜に直接マッピングする生成シーケンスを生成するインターリーブ・プロンプト・フォーミュレーションの導入である。 実験では、VocalParseが複数の歌唱データセット上で最先端のSVTパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2026-05-06T08:03:31Z)
• SongGLM: Lyric-to-Melody Generation with 2D Alignment Encoding and Multi-Task Pre-Training [7.3026780262967685]
  SongGLMは2次元アライメント符号化とマルチタスク事前学習を利用する歌詞からメロディ生成システムである。 我々は,20万曲以上の英曲を事前学習と微調整に用いた大規模歌詞・旋律ペアデータセットを構築した。
  論文  参考訳（メタデータ） (2024-12-24T02:30:07Z)
• Agent-Driven Large Language Models for Mandarin Lyric Generation [2.2221991003992967]
  マンダリンのような音節の輪郭言語では、ピッチの輪郭はメロディとトーンの両方に影響され、歌詞とメロディの適合性が変化する。 本研究は,作詞家やメロディ作家が作曲過程に適合していることを確認する。 本研究では,メロディから歌詞へのタスクをサブタスクに分解するマルチエージェントシステムを開発し,各エージェントが韻律,音節数,歌詞・メロディのアライメント,一貫性を制御している。
  論文  参考訳（メタデータ） (2024-10-02T12:01:32Z)
• REFFLY: Melody-Constrained Lyrics Editing Model [50.03960548399128]
  本稿では,旋律に沿った歌詞を編集・生成する最初のフレームワークであるREFFLYを紹介する。 合成したメロディ対応歌詞データセットを用いて歌詞修正モジュールを訓練する。 そこで本研究では,意味的意味と音楽的一貫性の両立を目的とした学習自由度を提案する。
  論文  参考訳（メタデータ） (2024-08-30T23:22:34Z)
• SongComposer: A Large Language Model for Lyric and Melody Generation in Song Composition [82.38021790213752]
  SongComposerは、音楽専門の大規模言語モデル(LLM)である。 3つの重要なイノベーションを活用することで、メロディーをLLMに同時に構成する能力を統合する。 歌詞からメロディへの生成、メロディから歌詞への生成、歌の継続、テキストから歌への生成といったタスクにおいて、高度なLLMよりも優れています。 SongComposeは大規模なトレーニング用データセットで、中国語と英語の歌詞とメロディのペアを含む。
  論文  参考訳（メタデータ） (2024-02-27T16:15:28Z)
• A Real-Time Lyrics Alignment System Using Chroma And Phonetic Features For Classical Vocal Performance [7.488651253072641]
  リアルタイムの歌詞アライメントの目標は、ライブの歌唱音声を入力として、その歌詞内の正確な位置をオンザフライでピンポイントすることである。 このタスクは、ライブコンサートやオペラの自動サブティットなど、現実世界のアプリケーションに役立てることができる。 本稿では,2つのコントリビューションを持つ古典的ボーカル演奏のためのリアルタイム歌詞アライメントシステムを提案する。
  論文  参考訳（メタデータ） (2024-01-17T13:25:32Z)
• Unsupervised Melody-to-Lyric Generation [91.29447272400826]
  本稿では,メロディ・歌詞データを学習することなく高品質な歌詞を生成する手法を提案する。 我々は、メロディと歌詞のセグメンテーションとリズムアライメントを利用して、与えられたメロディをデコード制約にコンパイルする。 我々のモデルは、強いベースラインよりもオントピー的、歌いやすく、知性があり、一貫性のある高品質な歌詞を生成することができる。
  論文  参考訳（メタデータ） (2023-05-30T17:20:25Z)
• Unsupervised Melody-Guided Lyrics Generation [84.22469652275714]
  メロディと歌詞の一致したデータを学習することなく、楽しく聴ける歌詞を生成することを提案する。 メロディと歌詞間の重要なアライメントを活用し、与えられたメロディを制約にコンパイルし、生成プロセスを導く。
  論文  参考訳（メタデータ） (2023-05-12T20:57:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。