Fugu-MT 論文翻訳(概要): Phoneme- and Word-Level Metrics Using Self-Supervised Speech Representations for Forced Alignment Evaluation

論文の概要: Phoneme- and Word-Level Metrics Using Self-Supervised Speech Representations for Forced Alignment Evaluation

arxiv url: http://arxiv.org/abs/2608.28508v1
Date: Fri, 28 Aug 2026 16:39:22 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-31 17:16:04.412387
Title: Phoneme- and Word-Level Metrics Using Self-Supervised Speech Representations for Forced Alignment Evaluation
Title（参考訳）: 強制アライメント評価のための自己教師付き音声表現を用いた音素・単語レベルメトリクス
Abstract要約: 強制アライメント評価のための自己教師付き(SSL)音声表現に基づく2つのコーパスレベルメトリクスを提案する。 PCMIは、SSL音声表現から誘導されるアライメントされた音素ラベルとクラスタ間の合意を測定する。 WACSは、単語表現列間の動的時間ワープ類似度を用いて、繰り返し単語実現の一貫性を測定する。
参考スコア（独自算出の注目度）: 2.3513645401551337
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Forced alignment evaluation typically requires manually annotated timestamps, limiting large-scale and multilingual analysis. We introduce two corpus-level metrics based on self-supervised (SSL) speech representations for reference-free forced alignment evaluation: Phoneme-Cluster Mutual Information (PCMI) and Word Acoustic Consistency Score (WACS). PCMI measures agreement between aligned phoneme labels and clusters induced from SSL-speech representations, while WACS measures consistency of repeated word realizations using dynamic time warping similarity between word representation sequences. Using both random and systematic perturbations, we show that PCMI and WACS degrade consistently under alignment perturbations. We further analyze the metrics across multiple alignment systems on 85 languages from FLEURS, validate them against manually annotated alignments from 45 languages in DoReCo, and evaluate them on two phonologically complex low-resource languages. The metrics effectively separate high- and low-quality alignments and correlate strongly with timestamp-based alignment quality measures. Our results demonstrate that SSL-speech representations enable scalable, reference-free forced alignment evaluation. The metrics are available as an open-source Python package at https://github.com/mahesh-ak/forced-aligner-metrics.
Abstract（参考訳）: 強制アライメント評価は通常、手動で注釈付けされたタイムスタンプを必要とする。我々は,自己教師付き(SSL)音声表現に基づく2つのコーパスレベルメトリクスを導入し,参照なし強制アライメント評価(PCMI)とワード音響一貫性スコア(WACS)を提案する。 PCMI は SSL-speech 表現から誘導されるクラスタ間の一致を計測し,WACS は単語表現列間の類似性を動的時間ワープすることで繰り返し語実現の一貫性を測定する。ランダムな摂動と系統的な摂動の両方を用いて,PCMIとWACSはアライメント摂動の下で連続的に劣化することを示した。さらに、FLEURSから85言語における複数のアライメントシステムにまたがるメトリクスを分析し、それをDoReCoの45言語から手動でアライメントしたアライメントに対して検証し、2つの音韻的に複雑な低リソース言語で評価する。メトリクスは、高品質と低品質のアライメントを効果的に分離し、タイムスタンプベースのアライメント品質尺度と強く相関する。以上の結果から,SSL音声表現はスケーラブルで参照不要な強制アライメント評価を可能にすることが示された。メトリクスはオープンソースPythonパッケージとしてhttps://github.com/mahesh-ak/forced-aligner-metricsで公開されている。

関連論文リスト

A Practical Evaluation Method for Long-Form Simultaneous Speech-to-Speech Translation [9.807543197382016]
シマルS2ST (SimulS2ST) はリアルタイム言語間通信を実現する。長文SimulS2STの実用的評価法を提案する。
論文参考訳（メタデータ） (2026-06-13T02:20:49Z)
Multilingual Word-Level Forced Alignment with Self-Supervised Representations and Learned Dynamic Programming [8.651679612591758]
本稿では,アライメントエンコーダと学習アライメントデコーダからなる,高精度な多言語単語レベル強制アライメント手法を提案する。エンコーダは2つの表現を統合する: 1つはMMSモデルからのもので、もう1つは自己教師型音素境界検出器(UnSupSeg)からのものである。長い時間的文脈において、それらと融合し、単語境界確率を推定することを学ぶ。アライメントデコーダは、エンコーダ出力とMMSおよびUnSupSeg表現上のセグメント特徴を組み合わせて最終単語境界を推測する学習された動的プログラミングである。
論文参考訳（メタデータ） (2026-06-09T10:27:59Z)
Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。 8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。 FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文参考訳（メタデータ） (2026-06-02T07:01:33Z)
Listening with the Eyes: Benchmarking Egocentric Co-Speech Grounding across Space and Time [36.493701506207806]
我々は,高密度空間アノテーションとミリ秒レベルの脳卒中管理を備えたtextbf811エゴセントリッククリップの診断ベンチマークである textbfEcoG-Bench を提案する。最先端MLLMのベンチマークでは、厳しい実行可能性のギャップが明らかになっている。マルチモーダルインタフェースは、モデル推論とは独立して、時間的アライメントキューの可観測性をボトルネックにする可能性がある。
論文参考訳（メタデータ） (2026-03-09T05:08:02Z)
CBF-AFA: Chunk-Based Multi-SSL Fusion for Automatic Fluency Assessment [0.22499166814992438]
AFA(Automatic Fluency Assessment)は、特に非ネイティブ話者の音声リズム、ポーズ、拡散を捉える上で、依然として困難である。本稿では, 音声, 韻律, 騒々しい音声モデリングにおいて, 相補的な強みのために選択された自己教師付き学習(SSL)モデルを統合するチャンクベースアプローチを提案する。提案手法では,AvalinguoではF1スコアが2.8,Pearson相関が6.2,F1スコアが4.2,Pearsonポイントが4.0であった。
論文参考訳（メタデータ） (2025-06-25T08:39:22Z)
ALAS: Measuring Latent Speech-Text Alignment For Spoken Language Understanding In Multimodal LLMs [11.696352577108211]
ALAS(Automatic Latent Alignment Score)は、トランスフォーマー層間の音声とテキストの表現の相関を測定することでアライメントを評価するメトリクスである。 Spoken Question Answering and Emotion Recognitionの実験によると、ALASはタスクやレイヤ間で意味のあるパターンをキャプチャする。
論文参考訳（メタデータ） (2025-05-26T13:02:44Z)
Speech collage: code-switched audio generation by collaging monolingual corpora [50.356820349870986]
Speech Collage は音声セグメントをスプライシングすることでモノリンガルコーパスからCSデータを合成する手法である。 2つのシナリオにおける音声認識における生成データの影響について検討する。
論文参考訳（メタデータ） (2023-09-27T14:17:53Z)
BLASER: A Text-Free Speech-to-Speech Translation Evaluation Metric [66.73705349465207]
エンドツーエンドの音声音声翻訳(S2ST)は、一般的にテキストベースのメトリクスで評価される。本稿では,ASRシステムへの依存を回避するために,BLASERと呼ばれるエンドツーエンドS2STのテキストフリー評価指標を提案する。
論文参考訳（メタデータ） (2022-12-16T14:00:26Z)
Iterative pseudo-forced alignment by acoustic CTC loss for self-supervised ASR domain adaptation [80.12316877964558]
特定のドメインからの高品質なデータラベリングはコストと人的時間を要する。本稿では,反復的擬力アライメントアルゴリズムに基づく自己教師付きドメイン適応手法を提案する。
論文参考訳（メタデータ） (2022-10-27T07:23:08Z)
On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
論文参考訳（メタデータ） (2020-05-03T22:10:23Z)
Continuous speech separation: dataset and analysis [52.10378896407332]
自然な会話では、音声信号は連続的であり、重複成分と重複成分の両方を含む。本稿では,連続音声分離アルゴリズムを評価するためのデータセットとプロトコルについて述べる。
論文参考訳（メタデータ） (2020-01-30T18:01:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。