論文の概要: MeetEval: A Toolkit for Computation of Word Error Rates for Meeting Transcription Systems

• arxiv url: http://arxiv.org/abs/2307.11394v2
• Date: Mon, 2 Oct 2023 05:25:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-03 13:30:52.164041
• Title: MeetEval: A Toolkit for Computation of Word Error Rates for Meeting Transcription Systems
• Title（参考訳）: MeetEval: 会議記述システムのための単語誤り率計算用ツールキット
• Authors: Thilo von Neumann, Christoph Boeddeker, Marc Delcroix, Reinhold Haeb-Umbach
• Abstract要約: MeetEvalは、あらゆる種類のミーティングの書き起こしシステムを評価するオープンソースツールキットである。 一般的に使われているワードエラー率(WER)の計算に統一されたインターフェースを提供する。
• 参考スコア（独自算出の注目度）: 41.278845807306354
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: MeetEval is an open-source toolkit to evaluate all kinds of meeting transcription systems. It provides a unified interface for the computation of commonly used Word Error Rates (WERs), specifically cpWER, ORC WER and MIMO WER along other WER definitions. We extend the cpWER computation by a temporal constraint to ensure that only words are identified as correct when the temporal alignment is plausible. This leads to a better quality of the matching of the hypothesis string to the reference string that more closely resembles the actual transcription quality, and a system is penalized if it provides poor time annotations. Since word-level timing information is often not available, we present a way to approximate exact word-level timings from segment-level timings (e.g., a sentence) and show that the approximation leads to a similar WER as a matching with exact word-level annotations. At the same time, the time constraint leads to a speedup of the matching algorithm, which outweighs the additional overhead caused by processing the time stamps.
• Abstract（参考訳）: meetevalは、あらゆる種類の会議転写システムを評価するためのオープンソースのツールキットである。 一般に使われているワードエラー率(WER)、特にcpWER、ORC WER、MIMO WERの計算に統一されたインターフェースを提供する。 我々は,時間的制約によってcpwer計算を拡張し,時間的アライメントが妥当な場合にのみ単語が正しいと認識されるようにする。 これにより、仮説文字列と実際の書き起こし品質によりよく似た参照文字列とのマッチングの品質が向上し、時間が不足している場合にペナルティが課される。 単語レベルのタイミング情報はしばしば入手できないため、セグメントレベルのタイミング(例えば文)から正確な単語レベルのタイミングを近似する方法を示し、その近似が正確な単語レベルのアノテーションと一致したWERにつながることを示す。 同時に、時間制約はマッチングアルゴリズムの高速化につながるため、タイムスタンプの処理によるオーバーヘッドが増大する。

関連論文リスト

• Beyond Levenshtein: Leveraging Multiple Algorithms for Robust Word Error Rate Computations And Granular Error Classifications [5.266869303483375]
  単語誤り率(WER)は自動音声認識(ASR)の精度の一般的な尺度である 本稿では,ロバストな WER を計算するために,拡張Levenshtein 距離アルゴリズムを用いた非破壊的トークンベース手法を提案する。 我々はまた、句読点誤り率などの派生したユースケースの例分析や、実装のインタラクティブな使用と可視化のためのWebアプリケーションも提供する。
  論文  参考訳（メタデータ） (2024-08-28T08:14:51Z)
• Temporal Sequencing of Documents [0.0]
  文献の集合を時間順に並べる教師なしの方法について概説する。 提案手法は,帯域幅推定による単語使用量の漸進的な変化を捉えることに依存する。 この教師なしのアプローチは、未処理のドキュメントセットの時間的順序付けを可能にするべきである。
  論文  参考訳（メタデータ） (2023-11-05T06:51:04Z)
• Generalized Time Warping Invariant Dictionary Learning for Time Series Classification and Clustering [8.14208923345076]
  動的時間ワープ(DTW)は、時間的遅延、スケーリング、変換、その他多くの時間的ミスアライメント問題を扱うために一般的に使用される。 本稿では,時変不変辞書学習アルゴリズムを提案する。 辞書学習,分類,クラスタリングの観点から,提案手法の優位性を10組の公開データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-06-30T14:18:13Z)
• Timestamped Embedding-Matching Acoustic-to-Word CTC ASR [2.842794675894731]
  組込み型単語レベル接続性時間分類(CTC)自動音声認識(ASR)の学習方法について述べる。 単語タイムスタンプは、テスト時に二次モデルや強制アライメントプロセスに頼ることなく、ASRが単語セグメンテーションと単語混乱ネットワークを出力することを可能にする。
  論文  参考訳（メタデータ） (2023-06-20T11:53:43Z)
• H_eval: A new hybrid evaluation metric for automatic speech recognition tasks [0.3277163122167433]
  ASRシステムのための新しいハイブリッド評価指標であるH_evalを提案する。 意味的正当性と誤り率の両方を考慮し、WERとSDが不十分なシナリオでは極めてよく機能する。
  論文  参考訳（メタデータ） (2022-11-03T11:23:36Z)
• Rethink about the Word-level Quality Estimation for Machine Translation from Human Judgement [57.72846454929923]
  ベンチマークデータセットであるemphHJQEを作成し、専門家翻訳者が不適切な翻訳語を直接アノテートする。 本稿では,タグリファインメント戦略と木ベースのアノテーション戦略という2つのタグ補正戦略を提案し,TERベースの人工QEコーパスをemphHJQEに近づける。 その結果,提案したデータセットは人間の判断と一致しており,また,提案したタグ補正戦略の有効性も確認できた。
  論文  参考訳（メタデータ） (2022-09-13T02:37:12Z)
• A Generalized & Robust Framework For Timestamp Supervision in Temporal Action Segmentation [79.436224998992]
  時間的アクションセグメンテーションでは、Timestampの監督はビデオシーケンスごとにわずかにラベル付きフレームを必要とする。 本稿では,未ラベルフレームのラベルの不確実性を利用した期待最大化に基づく新しい手法を提案する。 提案手法はSOTA結果を生成し,複数のメトリクスやデータセットの完全教師付き設定を超えている。
  論文  参考訳（メタデータ） (2022-07-20T18:30:48Z)
• KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction [111.74812895391672]
  シナジスティック最適化(KnowPrompt)を用いた知識認識型Promptチューニング手法を提案する。 関係ラベルに含まれる潜在知識をインジェクトして,学習可能な仮想型語と解答語で構築する。
  論文  参考訳（メタデータ） (2021-04-15T17:57:43Z)
• Change Point Detection in Time Series Data using Autoencoders with a Time-Invariant Representation [69.34035527763916]
  変化点検出(CPD)は、時系列データにおける急激な特性変化を見つけることを目的としている。 近年のCDD法は、深層学習技術を用いる可能性を示したが、信号の自己相関統計学におけるより微妙な変化を識別する能力に欠けることが多い。 我々は、新しい損失関数を持つオートエンコーダに基づく手法を用い、使用済みオートエンコーダは、CDDに適した部分的な時間不変表現を学習する。
  論文  参考訳（メタデータ） (2020-08-21T15:03:21Z)
• Wake Word Detection with Alignment-Free Lattice-Free MMI [66.12175350462263]
  音声言語インタフェース、例えばパーソナルデジタルアシスタントは、音声入力の処理を開始するためにウェイクワードに依存している。 本稿では,部分的にラベル付けされたトレーニングデータから,ハイブリッドDNN/HMM覚醒単語検出システムの学習方法を提案する。 提案手法を2つの実データ集合上で評価し, 前報よりも50%～90%の誤報率の減少率を示した。
  論文  参考訳（メタデータ） (2020-05-17T19:22:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。