論文の概要: Automatic Labelling of Speech Translation Errors

• arxiv url: http://arxiv.org/abs/2606.06047v1
• Date: Thu, 04 Jun 2026 11:42:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.762577
• Title: Automatic Labelling of Speech Translation Errors
• Title（参考訳）: 音声翻訳誤りの自動ラベリング
• Authors: Dominik Macháček, Maike Züfle, Ondrej Klejch,
• Abstract要約: 音声翻訳エラーラベリング(英: Speech Translation Error Labelling、STEL)は、音声翻訳の信頼性と品質評価を行う手法である。 我々は、アノテーションプロトコル、小さなエンドツーエンド評価データセットを作成し、既存のテキストのみおよび音声処理システムがどのようにSTELタスクを実行するかを解析する。
• 参考スコア（独自算出の注目度）: 11.234683445082188
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Errors in speech translations reduce trustworthiness of Speech Translation (ST) systems and can have serious consequences. Yet currently there is no established methodology for evaluating confidence and quality estimation of speech translations. To initiate progress in this direction, we propose Speech Translation Error Labelling (STEL). We create an annotation protocol, a small authentic end-to-end evaluation dataset, and we analyse how existing text-only and speech-processing systems perform the STEL task. Our results show that text-only XCOMET and multimodal LLM Qwen2.5-Omni are able to perform the STEL task in roughly half the precision of humans. We also find that direct speech processing is necessary for the STEL task, and that the current text-only and speech-processing systems are complementary in labelling translation-only vs. speech-processing errors in ST.
• Abstract（参考訳）: 音声翻訳における誤りは、音声翻訳(ST)システムの信頼性を低下させ、深刻な結果をもたらす可能性がある。 しかし、現在、音声翻訳の信頼性と品質評価の方法が確立されていない。 そこで本研究では,この方向の進行を推し進めるために,音声翻訳エラーラベリング(STEL)を提案する。 我々は、アノテーションプロトコル、小さなエンドツーエンド評価データセットを作成し、既存のテキストのみおよび音声処理システムがどのようにSTELタスクを実行するかを解析する。 以上の結果から,テキストのみのXCOMETとマルチモーダルのLLM Qwen2.5-Omniは,約半分の精度でSTELタスクを実行できることがわかった。 また,STELタスクには直接音声処理が必要であり,現在のテキストのみおよび音声処理システムはSTにおける音声処理エラーのラベル付けに相補的であることも確認した。

関連論文リスト

• Streaming Speech-to-Text Translation with a SpeechLLM [21.176799517305096]
  SpeechLLMは、音声におけるパラ言語情報を利用して、カスケードエラーを減らすことを約束する。 既存のSpeechLLMシステムは、翻訳を出力する前に音声の完全な発声を待つため、遅い。 本研究は,リアルタイム音声テキスト翻訳のためのLLMアーキテクチャを提案する。 異なる言語対の実験において、システムは非ストリーミングベースラインに近い翻訳品質を達成するが、レイテンシはわずか1-2秒である。
  論文  参考訳（メタデータ） (2026-05-14T12:32:57Z)
• MOSS-Speech: Towards True Speech-to-Speech Models Without Text Guidance [66.74042564585942]
  MOSS-Speechは、テキストガイダンスに頼ることなく直接理解し、音声を生成する、真の音声音声合成大言語モデルである。 我々の研究は、表現的かつ効率的なエンドツーエンドの音声対話のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2025-10-01T04:32:37Z)
• Scheduled Interleaved Speech-Text Training for Speech-to-Speech Translation with LLMs [41.088390995105826]
  音声音声翻訳 (S2ST) は大規模言語モデル (LLM) で進歩している。 LLMはテキストのみのデータに基づいて訓練され、音声から音声への限られたデータで、それらに適応するための課題が提示される。 本研究では,本研究における音声教育の予定について述べる。
  論文  参考訳（メタデータ） (2025-06-12T02:24:44Z)
• Towards Unsupervised Speech Recognition Without Pronunciation Models [57.222729245842054]
  本稿では,ペア音声とテキストコーパスを使わずにASRシステムを開発するという課題に取り組む。 音声合成とテキスト・テキスト・マスクによるトークン埋込から教師なし音声認識が実現可能であることを実験的に実証した。 この革新的なモデルは、レキシコンフリー環境下での以前の教師なしASRモデルの性能を上回る。
  論文  参考訳（メタデータ） (2024-06-12T16:30:58Z)
• DiariST: Streaming Speech Translation with Speaker Diarization [53.595990270899414]
  本稿では,最初のストリーミングSTとSDソリューションであるDiariSTを提案する。 ニューラルトランスデューサベースのストリーミングSTシステム上に構築され、トークンレベルのシリアライズされた出力トレーニングとtベクタを統合している。 重なり合う音声のストリーミング推論を行いながら,Whisperに基づくオフラインシステムと比較して強いSTとSD能力を実現する。
  論文  参考訳（メタデータ） (2023-09-14T19:33:27Z)
• Simple and Effective Unsupervised Speech Translation [68.25022245914363]
  ラベル付きデータなしで音声翻訳システムを構築するための,シンプルで効果的な手法について検討する。 事前学習された音声モデルに対する教師なし領域適応手法を提案する。 実験により、教師なし音声からテキストへの翻訳は、それまでの教師なし状態よりも優れていたことが示されている。
  論文  参考訳（メタデータ） (2022-10-18T22:26:13Z)
• Unified Speech-Text Pre-training for Speech Translation and Recognition [113.31415771943162]
  音声認識のためのエンコーダ・デコーダ・モデリング・フレームワークにおいて,音声とテキストを協調的に事前学習する手法について述べる。 提案手法は,4つの自己教師付きサブタスクを組み込んだクロスモーダル学習手法である。 MuST-C音声翻訳データセットの最先端よりも1.7から2.3BLEUの改善が達成されている。
  論文  参考訳（メタデータ） (2022-04-11T20:59:51Z)
• SLAM: A Unified Encoder for Speech and Language Modeling via Speech-Text Joint Pre-Training [33.02912456062474]
  我々は、ラベルなしテキストのBERT目的とラベルなし音声のw2v-BERT目的とを併用した単一のエンコーダを構築する。 プレトレーニング中に音声データとテキストデータの両方を組み込むことで、CoVoST2音声翻訳における下流品質が大幅に向上することが実証された。
  論文  参考訳（メタデータ） (2021-10-20T00:59:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。