論文の概要: Automatic Lyric Transcription for Greek Songs: Scaling and Task Composition Effects in Whisper Adaptation
- arxiv url: http://arxiv.org/abs/2609.11302v1
- Date: Thu, 10 Sep 2026 09:30:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.283166
- Title: Automatic Lyric Transcription for Greek Songs: Scaling and Task Composition Effects in Whisper Adaptation
- Title（参考訳）: ギリシャ歌の歌詞自動転写:whisper適応におけるスケーリングとタスク構成効果
- Abstract要約: ギリシャのALTに対するWhisper適応に関する最初の制御研究について述べる。
モデルスケーリング効果,マルチタスクトレーニングによるタスク構成,および2段階の音声合成適応について検討する。
その結果,マルチタスク学習が有効レギュレータとして機能するのに対して,スケーリングはパフォーマンスを継続的に改善することがわかった。
- 参考スコア（独自算出の注目度）: 2.453409145803731
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic Lyric Transcription (ALT) remains substantially more challenging than speech recognition due to melodic variability, rhythmic irregularity, and accompaniment interference. This is heightened in low-resource languages like Greek, where no prior benchmark for ALT exists. We present the first controlled study of Whisper adaptation for Greek ALT, investigating model scaling effects, task composition via multitask training in transcribe-translate ratios, and two-stage speech-to-singing adaptation. We also curate a segment-level aligned singing dataset based on the Greek Audio Dataset (GAD) using source separation and CTC forced alignment. Results show that scaling consistently improves performance, while multitask learning acts as a beneficial regularizer primarily for smaller-capacity models. The 2-stage adaptation in Whisper Large-v3 achieves a Word Error Rate (WER) of 27.2%, a significant improvement over zero-shot baselines, establishing the first Greek ALT benchmark.
- Abstract（参考訳）: 自動歌詞転写 (ALT) は, 旋律的変動, リズムの不規則性, 伴奏的干渉により, 音声認識よりもかなり困難である。
これは、ALTの以前のベンチマークが存在しないギリシャ語のような低リソース言語で高められている。
本稿では,ギリシャのALTに対するWhisper適応に関する最初の制御研究,モデルスケーリング効果,マルチタスクトレーニングによるタスク構成,および2段階の音声・歌唱適応について述べる。
また,ソース分離とCTC強制アライメントを用いて,ギリシャ音声データセット(GAD)に基づくセグメンテーションレベルの歌唱データセットをキュレートする。
その結果、マルチタスク学習は、主に小型容量モデルにおいて有効な正規化器として機能する一方、スケーリングはパフォーマンスを継続的に改善することが示された。
Whisper Large-v3の2段階適応はワードエラー率(WER)が27.2%に達し、ゼロショットベースラインよりも大幅に改善され、ギリシャ初のALTベンチマークが確立された。
関連論文リスト
- SEAR: Segment-Evidence-Aware Routing for Weak-to-Strong Multilingual Speech MCQ [0.0]
本稿では,第2回MLC-SLMチャレンジのタスク2について述べる。
言語モデルは、タイムスタンプ付きASRをコヒーレントなイベントスパンに変換する。
テキストのみのプローブは、データを教師付き微調整や強化学習に用いられる強い音声依存アイテムに分割する。
論文 参考訳（メタデータ） (2026-09-10T10:38:19Z) - Transcription Policy as a Latent Variable: Activating Controllable Verbatim ASR with Word-Level Timing [8.921166277011347]
モデルが既に両方のスタイルを符号化していることを示し、その課題はアクティベーションを制御することである。
パラレルな冗長/意図された転写文字ペアで訓練されたカバレッジ対応デコーダタスクトークンを用いて、ドイツの拡散F1を10%から79%ゼロショットに引き上げる。
完全な英語のみの微調整は、動詞の精度、拡散検出、および両方の言語にわたる意図されたモードの品質において、すべてのベースラインを超えている。
論文 参考訳（メタデータ） (2026-07-21T10:19:17Z) - Harmonizing the Arabic Audio Space with Data Scheduling [15.84874997729878]
本稿では、アラビア語中心のLLMのためのマルチタスク・インストラクション・チューニングに関する最初の体系的研究について述べる。
我々はQwen2.5-Omni (7B) を微調整し、Aligner-Based Diverse Smpling (ADS) とともにタスクプログレッシブカリキュラム (TPC) を提案する。
ADSは初期収束を加速するが、その固有の勾配のボラティリティは、長期の訓練で生成的復号を不安定にすることができる。
論文 参考訳（メタデータ） (2026-01-18T17:08:31Z) - Homogeneous Speaker Features for On-the-Fly Dysarthric and Elderly Speaker Adaptation [71.31331402404662]
本稿では, 変形性関節症と高齢者の話者レベルの特徴を学習するための2つの新しいデータ効率手法を提案する。
話者規則化スペクトルベース埋め込み-SBE特徴は、特別な正規化項を利用して適応における話者特徴の均一性を強制する。
テスト時間適応において、話者レベルのデータ量に敏感であることが示されるVR-LH機能に規定されている特徴ベースの学習隠れユニットコントリビューション(f-LHUC)。
論文 参考訳（メタデータ） (2024-07-08T18:20:24Z) - Prosody in Cascade and Direct Speech-to-Text Translation: a case study
on Korean Wh-Phrases [79.07111754406841]
本研究は,韻律が重要な役割を果たす発話を明瞭にするための直接S2TTシステムの能力を評価するために,コントラスト評価を用いることを提案する。
本結果は,カスケード翻訳モデルよりも直接翻訳システムの価値を明確に示すものである。
論文 参考訳（メタデータ） (2024-02-01T14:46:35Z) - Smart Speech Segmentation using Acousto-Linguistic Features with
look-ahead [3.579111205766969]
本稿では,音響情報と言語情報を併用してセグメンテーションを改善するハイブリッド手法を提案する。
平均して、私たちのモデルはセグメンテーション-F0.5スコアをベースラインで9.8%改善します。
機械翻訳の下流タスクでは、BLEUスコアを平均1.05ポイント改善する。
論文 参考訳（メタデータ） (2022-10-26T03:36:31Z) - Exploiting Cross-domain And Cross-Lingual Ultrasound Tongue Imaging
Features For Elderly And Dysarthric Speech Recognition [55.25565305101314]
調音機能は音響信号歪みに不変であり、音声認識システムにうまく組み込まれている。
本稿では,A2Aモデルにおける24時間TaLコーパスの並列音声・超音波舌画像(UTI)データを利用したクロスドメインおよびクロスランガルA2Aインバージョン手法を提案する。
生成した調音機能を組み込んだ3つのタスクの実験は、ベースラインのTDNNとコンフォーマーASRシステムより一貫して優れていた。
論文 参考訳（メタデータ） (2022-06-15T07:20:28Z) - TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。
我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。
TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
論文 参考訳（メタデータ） (2022-05-25T06:34:14Z) - SVTS: Scalable Video-to-Speech Synthesis [105.29009019733803]
本稿では,ビデオ・トゥ・スペクトログラム予測器と事前学習したニューラルボコーダの2つのコンポーネントからなるスケーラブルなビデオ音声合成フレームワークを提案する。
私たちは、挑戦的なLSS3データセットで不可解な結果を示す最初の人です。
論文 参考訳（メタデータ） (2022-05-04T13:34:07Z) - On-the-Fly Feature Based Rapid Speaker Adaptation for Dysarthric and
Elderly Speech Recognition [53.17176024917725]
話者レベルのデータの共有化は、データ集約型モデルに基づく話者適応手法の実用的利用を制限する。
本稿では,2種類のデータ効率,特徴量に基づくオンザフライ話者適応手法を提案する。
論文 参考訳（メタデータ） (2022-03-28T09:12:24Z) - Dynamic Acoustic Unit Augmentation With BPE-Dropout for Low-Resource
End-to-End Speech Recognition [62.94773371761236]
我々は、OOVレートの高い低リソースセットアップで効果的なエンドツーエンドASRシステムを構築することを検討します。
本稿では,BPE-dropout法に基づく動的音響ユニット拡張法を提案する。
我々の単言語トルココンフォーマーは22.2%の文字誤り率(CER)と38.9%の単語誤り率(WER)の競争結果を確立した。
論文 参考訳（メタデータ） (2021-03-12T10:10:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。