論文の概要: SimulEval: An Evaluation Toolkit for Simultaneous Translation

• arxiv url: http://arxiv.org/abs/2007.16193v1
• Date: Fri, 31 Jul 2020 17:44:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 06:28:33.128789
• Title: SimulEval: An Evaluation Toolkit for Simultaneous Translation
• Title（参考訳）: SimulEval: 同時翻訳のための評価ツールキット
• Authors: Xutai Ma, Mohammad Javad Dousti, Changhan Wang, Jiatao Gu, Juan Pino
• Abstract要約: テキストと音声の同時翻訳は、リアルタイムと低レイテンシのシナリオに焦点を当てている。 SimulEvalは、テキストと音声の同時翻訳のための、使いやすくて汎用的な評価ツールキットである。
• 参考スコア（独自算出の注目度）: 59.02724214432792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simultaneous translation on both text and speech focuses on a real-time and low-latency scenario where the model starts translating before reading the complete source input. Evaluating simultaneous translation models is more complex than offline models because the latency is another factor to consider in addition to translation quality. The research community, despite its growing focus on novel modeling approaches to simultaneous translation, currently lacks a universal evaluation procedure. Therefore, we present SimulEval, an easy-to-use and general evaluation toolkit for both simultaneous text and speech translation. A server-client scheme is introduced to create a simultaneous translation scenario, where the server sends source input and receives predictions for evaluation and the client executes customized policies. Given a policy, it automatically performs simultaneous decoding and collectively reports several popular latency metrics. We also adapt latency metrics from text simultaneous translation to the speech task. Additionally, SimulEval is equipped with a visualization interface to provide better understanding of the simultaneous decoding process of a system. SimulEval has already been extensively used for the IWSLT 2020 shared task on simultaneous speech translation. Code will be released upon publication.
• Abstract（参考訳）: テキストと音声の同時翻訳は、モデルが完全なソース入力を読む前に翻訳を開始するリアルタイムおよび低レイテンシシナリオに焦点を当てる。 同時翻訳モデルの評価は、レイテンシが翻訳品質に加えて考慮すべき要素であることから、オフラインモデルよりも複雑である。 研究コミュニティは、同時翻訳のための新しいモデリングアプローチに重点を置いているが、現在では普遍的な評価手順を欠いている。 そこで本研究では,テキストと音声の同時翻訳のための簡易かつ汎用的な評価ツールキットであるSimulEvalを提案する。 サーバクライアントスキームを導入し、同時に翻訳シナリオを作成し、サーバがソース入力を送り、評価のための予測を受け取り、クライアントがカスタマイズされたポリシーを実行する。 ポリシーが与えられたら、自動的に同時デコードを実行し、いくつかの一般的なレイテンシメトリクスをまとめて報告する。 また、テキスト同時翻訳から音声タスクへの遅延メトリクスも適用する。 さらに、SimulEvalは、システムの同時復号プロセスをよりよく理解するための可視化インターフェースを備えている。 SimulEvalはすでに、IWSLT 2020の同時音声翻訳タスクに広く使われている。 コードは出版時に公開される。

関連論文リスト

• High-Fidelity Simultaneous Speech-To-Speech Translation [75.69884829562591]
  本稿では,同時音声翻訳のためのデコーダのみのモデルであるHibikiを紹介する。 Hibikiは、マルチストリーム言語モデルを利用して、ソースとターゲットの音声を同期的に処理し、テキストとオーディオトークンを共同で生成し、音声からテキストへの変換と音声から音声への変換を行う。
  論文  参考訳（メタデータ） (2025-02-05T17:18:55Z)
• An Automatic Quality Metric for Evaluating Simultaneous Interpretation [13.009481258370702]
  同時解釈(SI)は、元のスピーチが終わる前に翻訳を開始する。 本稿では,単語順序同期に着目したSIと同時機械翻訳(SiMT)の自動評価指標を提案する。
  論文  参考訳（メタデータ） (2024-07-09T08:21:40Z)
• Leveraging Timestamp Information for Serialized Joint Streaming Recognition and Translation [51.399695200838586]
  本稿では,マルチ・ツー・ワン・ワン・マン・ワン・ツー・マンの同時生成が可能なストリーミングトランスフォーマー・トランスデューサ(T-T)モデルを提案する。 実験では,1個のデコーダで1対1のジョイント出力を初めて生成し,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-10-23T11:00:27Z)
• End-to-End Evaluation for Low-Latency Simultaneous Speech Translation [55.525125193856084]
  本稿では,低遅延音声翻訳の様々な側面を現実的な条件下で実行し,評価するための第1の枠組みを提案する。 これには、オーディオのセグメンテーションと、異なるコンポーネントの実行時間が含まれる。 また、このフレームワークを用いて低遅延音声翻訳の異なるアプローチを比較する。
  論文  参考訳（メタデータ） (2023-08-07T09:06:20Z)
• Bilingual Synchronization: Restoring Translational Relationships with Editing Operations [2.0411082897313984]
  我々は、最初のターゲットシーケンスを仮定するより一般的な設定を考え、ソースの有効な翻訳に変換する必要がある。 この結果から、一度微調整された1つの汎用的な編集ベースシステムは、これらのタスクに特化して訓練された専用システムと比較、あるいは性能に優れる可能性が示唆された。
  論文  参考訳（メタデータ） (2022-10-24T12:25:44Z)
• Anticipation-free Training for Simultaneous Translation [70.85761141178597]
  同時翻訳(SimulMT)は、原文が完全に利用可能になる前に翻訳を開始することで翻訳プロセスを高速化する。 既存の手法は遅延を増大させるか、SimulMTモデルに適応的な読み書きポリシーを導入し、局所的なリオーダーを処理し、翻訳品質を改善する。 本稿では,翻訳過程をモノトニック翻訳ステップと並べ替えステップに分解する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:29:37Z)
• SimulSLT: End-to-End Simultaneous Sign Language Translation [55.54237194555432]
  既存の手話翻訳手法では、翻訳を開始する前にすべてのビデオを読む必要がある。 我々は,最初のエンドツーエンド同時手話翻訳モデルであるSimulSLTを提案する。 SimulSLTは最新のエンドツーエンドの非同時手話翻訳モデルを超えるBLEUスコアを達成する。
  論文  参考訳（メタデータ） (2021-12-08T11:04:52Z)
• RealTranS: End-to-End Simultaneous Speech Translation with Convolutional Weighted-Shrinking Transformer [33.876412404781846]
  RealTranSは、同時音声翻訳のためのエンドツーエンドモデルである。 音声特徴を重み付き収縮操作と意味エンコーダでテキスト空間にマッピングする。 実験により、Wait-K-Stride-N戦略を用いたRealTranSは、従来のエンドツーエンドモデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-09T06:35:46Z)
• SimulMT to SimulST: Adapting Simultaneous Text Translation to End-to-End Simultaneous Speech Translation [23.685648804345984]
  テキストの同時翻訳とエンドツーエンドの音声翻訳は、最近大きな進歩を遂げているが、これらのタスクを組み合わさった作業はほとんどない。 我々は,事前決定モジュールを導入することで,待ち時間や単調マルチヘッドといった同時テキスト翻訳手法をエンドツーエンドの同時音声翻訳に適応させる方法について検討する。 固定およびフレキシブルな事前決定と固定およびフレキシブルなポリシーを組み合わせることで、レイテンシ品質のトレードオフを詳細に分析する。
  論文  参考訳（メタデータ） (2020-11-03T22:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。