論文の概要: How to Evaluate Speech Translation with Source-Aware Neural MT Metrics

• arxiv url: http://arxiv.org/abs/2511.03295v1
• Date: Wed, 05 Nov 2025 08:49:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-06 18:19:32.389857
• Title: How to Evaluate Speech Translation with Source-Aware Neural MT Metrics
• Title（参考訳）: 音源認識型ニューラルMTメトリクスを用いた音声翻訳の評価法
• Authors: Mauro Cettolo, Marco Gaido, Matteo Negri, Sara Papi, Luisa Bentivogli,
• Abstract要約: 機械翻訳において、原文を組み込んだ神経メトリクスは、人間の判断と強い相関関係を得る。 本研究は,音声からテキストへの翻訳におけるソース・アウェア・メトリクスの体系的研究である。 本稿では,合成源と参照翻訳のアライメントミスマッチに対処するため,新たな2段階の言語間再分割アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 32.41110835446445
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic evaluation of speech-to-text translation (ST) systems is typically performed by comparing translation hypotheses with one or more reference translations. While effective to some extent, this approach inherits the limitation of reference-based evaluation that ignores valuable information from the source input. In machine translation (MT), recent progress has shown that neural metrics incorporating the source text achieve stronger correlation with human judgments. Extending this idea to ST, however, is not trivial because the source is audio rather than text, and reliable transcripts or alignments between source and references are often unavailable. In this work, we conduct the first systematic study of source-aware metrics for ST, with a particular focus on real-world operating conditions where source transcripts are not available. We explore two complementary strategies for generating textual proxies of the input audio, automatic speech recognition (ASR) transcripts, and back-translations of the reference translation, and introduce a novel two-step cross-lingual re-segmentation algorithm to address the alignment mismatch between synthetic sources and reference translations. Our experiments, carried out on two ST benchmarks covering 79 language pairs and six ST systems with diverse architectures and performance levels, show that ASR transcripts constitute a more reliable synthetic source than back-translations when word error rate is below 20%, while back-translations always represent a computationally cheaper but still effective alternative. Furthermore, our cross-lingual re-segmentation algorithm enables robust use of source-aware MT metrics in ST evaluation, paving the way toward more accurate and principled evaluation methodologies for speech translation.
• Abstract（参考訳）: 音声からテキストへの翻訳(ST)システムの自動評価は、典型的には、翻訳仮説を1つ以上の参照翻訳と比較することによって行われる。 このアプローチはある程度有効であるが、ソース入力から貴重な情報を無視する参照ベースの評価の制限を継承する。 近年の機械翻訳(MT)では、原文を組み込んだ神経メトリクスが人間の判断と強く相関していることが示されている。 しかし、このアイデアをSTに拡張するのは、ソースがテキストではなくオーディオであり、ソースと参照間の信頼できる書き起こしやアライメントがしばしば利用できないため、簡単ではない。 本研究は,STのソース・アウェア・メトリクスに関する最初の体系的な研究であり,特に,ソース・スクリプティングが利用できない実世界の運用環境に焦点を当てている。 入力音声のテキストプロキシ、自動音声認識(ASR)文字起こし、参照翻訳のバック翻訳を生成するための2つの補完的戦略を探求し、合成源と参照翻訳のアライメントミスマッチに対処する新しい2段階の言語間再分割アルゴリズムを提案する。 実験は,79の言語対と6つのSTシステムを対象とした2つのSTベンチマークにおいて,単語誤り率が20%以下である場合よりも,ASR転写文字がより信頼性の高い合成源となることを示す。 さらに、我々の言語間再分節アルゴリズムは、ST評価におけるソース認識MTメトリクスの堅牢な利用を可能にし、音声翻訳のためのより正確で原則化された評価手法への道を開く。

関連論文リスト

• Audio-Based Crowd-Sourced Evaluation of Machine Translation Quality [3.7842130830138943]
  機械翻訳(MT)は、音声翻訳とマルチモーダルアプローチへの関心が高まり、目覚ましい性能を達成した。 本研究は,WMT General MT Shared Task を用いた10 MTシステムのテキストのみと音声による評価を比較した。 音声収率ランキングに基づくクラウドソースによる評価は、テキストのみの評価とほぼ一致しているが、場合によっては翻訳システム間の大きな違いを識別する。
  論文  参考訳（メタデータ） (2025-09-17T14:27:17Z)
• Understanding In-Context Machine Translation for Low-Resource Languages: A Case Study on Manchu [53.437954702561065]
  In-context machine translation (MT) with large language model (LLMs) は低リソースMTにおいて有望な手法である。 本研究は,辞書,文法書,検索した並列例などの資源の種類が翻訳性能に与える影響を系統的に検討する。 結果から,良質な辞書や優れた並列例は有用であり,文法はほとんど役に立たないことが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-17T14:53:49Z)
• Chain-of-Translation Prompting (CoTR): A Novel Prompting Technique for Low Resource Languages [0.4499833362998489]
  Chain of Translation Prompting (CoTR)は、低リソース言語における言語モデルの性能を高めるために設計された新しい戦略である。 CoTR再構成は、まず入力コンテキストを低リソース言語から高リソース言語に翻訳する。 本稿では,この手法の有効性を低リソースのインディア言語であるMarathiのケーススタディを通じて実証する。
  論文  参考訳（メタデータ） (2024-09-06T17:15:17Z)
• BiVert: Bidirectional Vocabulary Evaluation using Relations for Machine Translation [4.651581292181871]
  本稿では,テキストから翻訳の感覚距離を評価するための双方向意味に基づく評価手法を提案する。 このアプローチでは、包括的な多言語百科事典BabelNetを用いる。 Factual analysis is a strong correlation between the average evaluations generated by our method and the human evaluations across various machine translation system for English- German language pair。
  論文  参考訳（メタデータ） (2024-03-06T08:02:21Z)
• Prosody in Cascade and Direct Speech-to-Text Translation: a case study on Korean Wh-Phrases [79.07111754406841]
  本研究は,韻律が重要な役割を果たす発話を明瞭にするための直接S2TTシステムの能力を評価するために,コントラスト評価を用いることを提案する。 本結果は,カスケード翻訳モデルよりも直接翻訳システムの価値を明確に示すものである。
  論文  参考訳（メタデータ） (2024-02-01T14:46:35Z)
• DiariST: Streaming Speech Translation with Speaker Diarization [53.595990270899414]
  本稿では,最初のストリーミングSTとSDソリューションであるDiariSTを提案する。 ニューラルトランスデューサベースのストリーミングSTシステム上に構築され、トークンレベルのシリアライズされた出力トレーニングとtベクタを統合している。 重なり合う音声のストリーミング推論を行いながら,Whisperに基づくオフラインシステムと比較して強いSTとSD能力を実現する。
  論文  参考訳（メタデータ） (2023-09-14T19:33:27Z)
• Back Translation for Speech-to-text Translation Without Transcripts [11.13240570688547]
  単言語対象データから擬似STデータを合成するためのST(BT4ST)の逆変換アルゴリズムを開発した。 短時間から長期にわたる生成と一対一のマッピングによる課題を解消するため,自己管理型離散単位を導入した。 合成STデータを用いて、MuST-C En-De、En-Fr、En-Esデータセット上で平均2.3BLEUを達成する。
  論文  参考訳（メタデータ） (2023-05-15T15:12:40Z)
• Source and Target Bidirectional Knowledge Distillation for End-to-end Speech Translation [88.78138830698173]
  外部テキストベースNMTモデルからのシーケンスレベルの知識蒸留(SeqKD)に注目した。 E2E-STモデルを訓練し、パラフレーズ転写を1つのデコーダで補助タスクとして予測する。
  論文  参考訳（メタデータ） (2021-04-13T19:00:51Z)
• On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
  クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。 本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。 事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。 参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
  論文  参考訳（メタデータ） (2020-05-03T22:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。