論文の概要: CA*: Addressing Evaluation Pitfalls in Computation-Aware Latency for Simultaneous Speech Translation

• arxiv url: http://arxiv.org/abs/2410.16011v1
• Date: Mon, 21 Oct 2024 13:42:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:21:18.198706
• Title: CA*: Addressing Evaluation Pitfalls in Computation-Aware Latency for Simultaneous Speech Translation
• Title（参考訳）: CA*:同時音声翻訳における計算能力を考慮した待ち時間評価の落とし穴への対処
• Authors: Xi Xu, Wenda Xu, Siqi Ouyang, Lei Li,
• Abstract要約: 同時音声翻訳(SimulST)システムは、翻訳品質と応答時間とのバランスをとる必要がある。 現在のメトリクスは、非セグメンテッドなストリーミング設定で非現実的に高いレイテンシ測定をもたらすという、長年にわたって信じられてきた。
• 参考スコア（独自算出の注目度）: 17.473263201972483
• License:
• Abstract: Simultaneous speech translation (SimulST) systems must balance translation quality with response time, making latency measurement crucial for evaluating their real-world performance. However, there has been a longstanding belief that current metrics yield unrealistically high latency measurements in unsegmented streaming settings. In this paper, we investigate this phenomenon, revealing its root cause in a fundamental misconception underlying existing latency evaluation approaches. We demonstrate that this issue affects not only streaming but also segment-level latency evaluation across different metrics. Furthermore, we propose a modification to correctly measure computation-aware latency for SimulST systems, addressing the limitations present in existing metrics.
• Abstract（参考訳）: 同時音声翻訳(SimulST)システムは、翻訳品質と応答時間とのバランスを保ち、実際の性能を評価するのに遅延測定が不可欠である。 しかしながら、現在の測定値が、非セグメンテッドストリーミング設定で非現実的に高いレイテンシ測定をもたらすという、長年にわたって信じられてきた。 本稿では,この現象を解明し,既存の遅延評価手法の根本原因を明らかにする。 この問題はストリーミングだけでなく,さまざまなメトリクスに対するセグメントレベルのレイテンシ評価にも影響します。 さらに,SimulSTシステムにおける計算認識遅延を正確に測定する修正を提案し,既存のメトリクスの限界に対処する。

関連論文リスト

• Systematic Evaluation of Online Speaker Diarization Systems Regarding their Latency [44.99833362998488]
  遅延とは、音声入力から対応する話者ラベルの出力までの時間である。 DIART-pipeline では、埋め込みモデルである pyannote/embedding で最低レイテンシを実現する。 FS-EENDシステムも同様に優れたレイテンシを示している。
  論文  参考訳（メタデータ） (2024-07-05T06:54:27Z)
• Average Token Delay: A Duration-aware Latency Metric for Simultaneous Translation [16.954965417930254]
  我々は,emphAverage Token Delay (ATD) と呼ばれる同時翻訳のための新しい遅延評価指標を提案する。 Ear-Voice Span(EVS)に基づくユーザ側レイテンシのシミュレーションによる効果の実証を行った。
  論文  参考訳（メタデータ） (2023-11-24T08:53:52Z)
• Analytical Verification of Performance of Deep Neural Network Based Time-Synchronized Distribution System State Estimation [0.18726646412385334]
  近年,ディープニューラルネットワーク(DNN)を用いた時間同期状態推定器の成功例が報告されている。 本稿では,入力測定における摂動関数として,その状態推定器の性能に関する解析的バウンダリを提供する。
  論文  参考訳（メタデータ） (2023-11-12T22:01:34Z)
• Neural Laplace Control for Continuous-time Delayed Systems [76.81202657759222]
  本稿では,ニューラルラプラス力学モデルとモデル予測制御(MPC)プランナを組み合わせた連続時間モデルに基づくオフラインRL法を提案する。 専門家の政策性能に近い連続的な遅延環境を実験的に示す。
  論文  参考訳（メタデータ） (2023-02-24T12:40:28Z)
• Real-time Object Detection for Streaming Perception [84.2559631820007]
  ストリーミング知覚は,ビデオオンライン知覚の1つの指標として,レイテンシと精度を共同評価するために提案される。 ストリーミング知覚のためのシンプルで効果的なフレームワークを構築します。 提案手法はArgoverse-HDデータセット上での競合性能を実現し,強力なベースラインに比べてAPを4.9%向上させる。
  論文  参考訳（メタデータ） (2022-03-23T11:33:27Z)
• Stream-level Latency Evaluation for Simultaneous Machine Translation [5.50178437495268]
  同時翻訳は最近、大幅な品質改善とストリーミングアプリケーションの出現により、勢いを増している。 本研究は,出力変換に適用した再分割手法に基づいて,現在の遅延対策のストリームレベル適応を提案する。
  論文  参考訳（メタデータ） (2021-04-18T11:16:17Z)
• Dissecting User-Perceived Latency of On-Device E2E Speech Recognition [34.645194215436966]
  我々は,トークン放出遅延とエンドポイント動作に影響を与える要因がユーザ知覚遅延(upl)に大きく影響することを示す。 我々は,最近提案されたアライメント正規化を用いて,ASRとエンドポイントを併用する際のレイテンシと単語エラー率の最良のトレードオフを実現する。
  論文  参考訳（メタデータ） (2021-04-06T00:55:11Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)
• FastEmit: Low-latency Streaming ASR with Sequence-level Emission Regularization [78.46088089185156]
  ストリーム自動音声認識(ASR)は、仮説化された単語を可能な限り迅速かつ正確に出力することを目的としている。 既存のアプローチでは、シーケンストランスデューサモデルにおいて、トーケン単位またはフレーム単位の確率予測を演算することで、発光遅延をペナルティ化する。 本稿では,訓練用トランスデューサモデルにおいて,シーケンス毎の確率に遅延正規化を直接適用する,FastEmitというシーケンスレベルのエミッション正規化手法を提案する。
  論文  参考訳（メタデータ） (2020-10-21T17:05:01Z)
• Towards Streaming Perception [70.68520310095155]
  本稿では、リアルタイムオンライン知覚のための単一のメトリクスにレイテンシと精度を協調的に統合するアプローチを提案する。 この指標の背後にある重要な洞察は、瞬間ごとに認識スタック全体の出力を共同で評価することである。 本稿では,都市ビデオストリームにおけるオブジェクト検出とインスタンスセグメンテーションの具体的タスクに注目し,高品質で時間依存的なアノテーションを備えた新しいデータセットを寄贈する。
  論文  参考訳（メタデータ） (2020-05-21T01:51:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。