論文の概要: OpenSTBench: Beyond Semantic Evaluation for Speech Translation

• arxiv url: http://arxiv.org/abs/2605.30792v1
• Date: Fri, 29 May 2026 03:31:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.36694
• Title: OpenSTBench: Beyond Semantic Evaluation for Speech Translation
• Title（参考訳）: OpenSTBench: 音声翻訳のセマンティック評価を超えて
• Abstract要約: 音声翻訳システムは、音声からテキストへの翻訳(S2TT)、音声から音声への翻訳(S2ST)、オフライン翻訳、ストリーミング生成など多岐にわたる。 既存の評価実践は、翻訳品質、音声品質、時間的品質などの重要な側面を評価するが、これらの側面は、しばしば別々のプロトコルで評価される。 異質な音声翻訳出力を共有評価形式に整理する統合多次元評価フレームワークOpenSTBenchを提案する。
• 参考スコア（独自算出の注目度）: 21.510335535772146
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Speech translation systems increasingly span speech-to-text translation (S2TT), speech-to-speech translation (S2ST), offline translation, and streaming generation, producing outputs that differ in modality, speech realization, and timing behavior. Existing evaluation practices assess important aspects such as translation quality, speech quality, and temporal quality, but these aspects are often evaluated under separate protocols, making it difficult to compare heterogeneous systems comprehensively. To address this gap, we present OpenSTBench, a unified multidimensional evaluation framework that organizes heterogeneous speech translation outputs into a shared evaluation format. OpenSTBench supports both S2TT and S2ST systems in offline and streaming settings, and jointly evaluates translation quality, speech quality, speaker preservation, emotion and paralinguistic fidelity, temporal consistency, and latency. Through experiments on representative speech translation systems, we show that systems with strong translation quality can still differ substantially in speech quality, as well as in temporal quality. OpenSTBench provides a reproducible protocol for analyzing these cross-dimensional differences and supporting application-oriented comparison of speech translation systems. The code and datasets are available at https://github.com/sjtuayj/OpenSTBench.
• Abstract（参考訳）: 音声翻訳システムは、音声からテキストへの翻訳(S2TT)、音声から音声への翻訳(S2ST)、オフライン翻訳、ストリーミング生成にまたがり、モダリティ、音声実現、タイミング行動が異なる出力を生成する。 既存の評価手法は、翻訳品質、音声品質、時間的品質などの重要な側面を評価するが、これらの側面は、しばしば別々のプロトコルで評価され、異種システムを包括的に比較することは困難である。 このギャップに対処するために、異種音声翻訳出力を共有評価形式に整理する統合多次元評価フレームワークOpenSTBenchを提案する。 OpenSTBenchはオフラインおよびストリーミング環境でS2TTとS2STの両方をサポートし、翻訳品質、音声品質、話者保存、感情とパラ言語的忠実さ、時間的一貫性、レイテンシを共同で評価する。 代表音声翻訳システムの実験により, 高い翻訳品質を持つシステムは, 時間的品質だけでなく, 音質も大きく異なることがわかった。 OpenSTBenchは、これらのクロスプラットフォームの違いを分析し、音声翻訳システムのアプリケーション指向比較をサポートする再現可能なプロトコルを提供する。 コードとデータセットはhttps://github.com/sjtuayj/OpenSTBench.comで公開されている。

関連論文リスト

• STEB: A Speech-to-Speech Translation Expressiveness Benchmark for Evaluating Beyond Translation Fidelity [28.712261681696095]
  音声音声翻訳(S2ST)は,語彙的意味だけでなく,表現的属性も保存すべきである。 中国語の32.6時間のベンチマークであるSTEB(Speech-to-Speech Translation Expressiveness Benchmark)を紹介する。 ケースドシステム,エンドツーエンドモデル,音声大言語モデルをカバーする6つのS2STシステムを評価する。
  論文  参考訳（メタデータ） (2026-06-24T08:06:41Z)
• Dub-S2ST: Textless Speech-to-Speech Translation for Seamless Dubbing [15.134076873312809]
  言語間ダビングシステムは、継続時間、話者識別、発話速度といった重要な特徴を保ちながら、ある言語から別の言語に音声を翻訳する。 本稿では,時間順変換が可能な時間長制御付き離散拡散に基づく音声-単位間翻訳モデルを提案する。 次に,予測単位とソースの同一性に基づいて,条件付きフローマッチングモデルを用いて音声を合成する。
  論文  参考訳（メタデータ） (2025-05-27T08:43:28Z)
• High-Fidelity Simultaneous Speech-To-Speech Translation [75.69884829562591]
  本稿では,同時音声翻訳のためのデコーダのみのモデルであるHibikiを紹介する。 Hibikiは、マルチストリーム言語モデルを利用して、ソースとターゲットの音声を同期的に処理し、テキストとオーディオトークンを共同で生成し、音声からテキストへの変換と音声から音声への変換を行う。
  論文  参考訳（メタデータ） (2025-02-05T17:18:55Z)
• TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
  カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。 本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。 フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-28T04:11:37Z)
• DiariST: Streaming Speech Translation with Speaker Diarization [53.595990270899414]
  本稿では,最初のストリーミングSTとSDソリューションであるDiariSTを提案する。 ニューラルトランスデューサベースのストリーミングSTシステム上に構築され、トークンレベルのシリアライズされた出力トレーニングとtベクタを統合している。 重なり合う音声のストリーミング推論を行いながら,Whisperに基づくオフラインシステムと比較して強いSTとSD能力を実現する。
  論文  参考訳（メタデータ） (2023-09-14T19:33:27Z)
• SeamlessM4T: Massively Multilingual & Multimodal Machine Translation [90.71078166159295]
  音声から音声への翻訳,音声からテキストへの翻訳,テキストからテキストへの翻訳,最大100言語の自動音声認識をサポートする単一モデルSeamlessM4Tを紹介する。 我々は、音声とテキストの両方に英語を翻訳できる最初の多言語システムを開発した。 FLEURSでは、SeamlessM4Tが複数のターゲット言語への翻訳の新しい標準を設定し、音声からテキストへの直接翻訳において、以前のSOTAよりも20%BLEUの改善を実現している。
  論文  参考訳（メタデータ） (2023-08-22T17:44:18Z)
• End-to-End Evaluation for Low-Latency Simultaneous Speech Translation [55.525125193856084]
  本稿では,低遅延音声翻訳の様々な側面を現実的な条件下で実行し,評価するための第1の枠組みを提案する。 これには、オーディオのセグメンテーションと、異なるコンポーネントの実行時間が含まれる。 また、このフレームワークを用いて低遅延音声翻訳の異なるアプローチを比較する。
  論文  参考訳（メタデータ） (2023-08-07T09:06:20Z)
• Robustness of Multi-Source MT to Transcription Errors [9.045660146260467]
  多言語シナリオでは、同じ内容が同時解釈、ダビング、サブティチングを通じて様々な言語で利用することができる。 10時間のESICコーパスでは、原英語におけるASRの誤りと、ドイツ語とチェコ語への同時解釈が相互に独立していることが示されている。 この結果から,マルチソースニューラルマシン翻訳はリアルタイム同時翻訳において有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2023-05-26T12:54:16Z)
• Discourse Centric Evaluation of Machine Translation with a Densely Annotated Parallel Corpus [82.07304301996562]
  本稿では,江らが導入した大規模並列コーパスBWBに基づいて,リッチな談話アノテーションを用いた新しいデータセットを提案する。 ソース言語とターゲット言語の談話構造と類似点と相違点について検討する。 我々はMT出力が人間の翻訳と基本的に異なることを発見した。
  論文  参考訳（メタデータ） (2023-05-18T17:36:41Z)
• A Holistic Cascade System, benchmark, and Human Evaluation Protocol for Expressive Speech-to-Speech Translation [45.47457657122893]
  表現型音声音声合成(S2ST)は,翻訳精度を維持しつつ,音源音声の韻律的属性を対象音声に伝達することを目的としている。 既存のS2STの研究は限定的であり、通常は一度に1つの表現性に焦点をあてる。 そこで本稿では,S2ST表現のための包括的カスケードシステムを提案する。
  論文  参考訳（メタデータ） (2023-01-25T14:27:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。