論文の概要: Word-Level ASR Quality Estimation for Efficient Corpus Sampling and
Post-Editing through Analyzing Attentions of a Reference-Free Metric
- arxiv url: http://arxiv.org/abs/2401.11268v1
- Date: Sat, 20 Jan 2024 16:48:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 17:05:10.694513
- Title: Word-Level ASR Quality Estimation for Efficient Corpus Sampling and
Post-Editing through Analyzing Attentions of a Reference-Free Metric
- Title（参考訳）: 基準自由度の分析による効率的なコーパスサンプリングとポスト編集のための単語レベルASR品質評価
- Authors: Golara Javadi, Kamer Ali Yuksel, Yunsu Kim, Thiago Castro Ferreira,
Mohamed Al-Badrashiny
- Abstract要約: 品質推定(QE)メトリクスのポテンシャルは、ASRシステムにおける説明可能な人工知能(XAI)を強化する新しいツールとして導入され、評価される。
NoRefERメトリックの能力は、単語レベルの誤りを識別し、ASR仮説を補うのに役立つ。
- 参考スコア（独自算出の注目度）: 5.592917884093537
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the realm of automatic speech recognition (ASR), the quest for models that
not only perform with high accuracy but also offer transparency in their
decision-making processes is crucial. The potential of quality estimation (QE)
metrics is introduced and evaluated as a novel tool to enhance explainable
artificial intelligence (XAI) in ASR systems. Through experiments and analyses,
the capabilities of the NoRefER (No Reference Error Rate) metric are explored
in identifying word-level errors to aid post-editors in refining ASR
hypotheses. The investigation also extends to the utility of NoRefER in the
corpus-building process, demonstrating its effectiveness in augmenting datasets
with insightful annotations. The diagnostic aspects of NoRefER are examined,
revealing its ability to provide valuable insights into model behaviors and
decision patterns. This has proven beneficial for prioritizing hypotheses in
post-editing workflows and fine-tuning ASR models. The findings suggest that
NoRefER is not merely a tool for error detection but also a comprehensive
framework for enhancing ASR systems' transparency, efficiency, and
effectiveness. To ensure the reproducibility of the results, all source codes
of this study are made publicly available.
- Abstract（参考訳）: 自動音声認識(ASR)の分野では、高い精度で機能するだけでなく、意思決定プロセスに透明性を提供するモデルを求めることが重要である。
品質推定(QE)メトリクスのポテンシャルは、ASRシステムにおける説明可能な人工知能(XAI)を強化する新しいツールとして導入され、評価される。
実験と分析を通じて, 単語レベルの誤りを識別するNoRefER(No Reference Error Rate)測定の能力について検討した。
この調査は、コーパス構築プロセスにおけるNoRefERの実用性にも拡張され、洞察に富んだアノテーションでデータセットを増強する効果が実証された。
NoRefERの診断的側面について検討し、モデル行動や決定パターンに関する貴重な洞察を提供する能力を明らかにする。
これは、後編集ワークフローや微調整のASRモデルにおける仮説の優先順位付けに有効であることが証明されている。
この結果は,NoRefERが単なるエラー検出ツールであるだけでなく,ASRシステムの透明性,効率,有効性を高めるための包括的なフレームワークでもあることを示唆している。
結果の再現性を確保するため,本研究のソースコードはすべて公開されている。
関連論文リスト
- VERA: Validation and Enhancement for Retrieval Augmented systems [0.0]
textbfValidation and textbfEnhancement for textbfRetrieval textbfAugmented system を提案する。
VERAは、外部検索が必要なかどうかを最初にチェックし、検索したコンテキストの関連性と冗長性を評価し、非必要情報の除去のために精査する評価器-既存のLCMを使用している。
論文 参考訳（メタデータ） (2024-09-18T16:10:47Z) - RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.4501863547618]
本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。
事実の正確性に着目し, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。
実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
論文 参考訳（メタデータ） (2024-08-02T13:35:11Z) - X-Fake: Juggling Utility Evaluation and Explanation of Simulated SAR Images [49.546627070454456]
実データと模擬データの分散不整合性は、シミュレーションSAR画像の有用性に影響を与える主な障害である。
本稿では,X-Fake で表されるSAR画像の擬似的な説明を初めて行うことで,信頼性の高い実用性評価フレームワークを提案する。
提案手法は、電磁モデルから得られた4つのシミュレーションSAR画像データセットと、生成人工知能アプローチに基づいて検証される。
論文 参考訳（メタデータ） (2024-07-28T09:27:53Z) - Toward Practical Automatic Speech Recognition and Post-Processing: a
Call for Explainable Error Benchmark Guideline [12.197453599489963]
本稿では,Error Explainable Benchmark (EEB) データセットの開発を提案する。
このデータセットは、音声レベルとテキストレベルの両方を考慮しているが、モデルの欠点を詳細に理解することができる。
我々の提案は、より現実世界中心の評価のための構造化された経路を提供し、ニュアンスドシステムの弱点の検出と修正を可能にします。
論文 参考訳（メタデータ） (2024-01-26T03:42:45Z) - Transcending Controlled Environments Assessing the Transferability of
ASRRobust NLU Models to Real-World Applications [0.0]
本研究では,ASR-robust Natural Language Understanding (NLU)モデルの制御された実験条件から実世界への伝達可能性について検討する。
この研究は、Urduのスマートホームオートメーションコマンドに焦点を当て、様々なノイズプロファイル、言語的バリエーション、ASRエラーシナリオの下でモデルパフォーマンスを評価する。
論文 参考訳（メタデータ） (2024-01-12T16:10:04Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳（メタデータ） (2023-11-06T00:21:44Z) - NoRefER: a Referenceless Quality Metric for Automatic Speech Recognition
via Semi-Supervised Language Model Fine-Tuning with Contrastive Learning [0.20999222360659603]
NoRefERは、自動音声認識(ASR)システムのための新しい基準のない品質指標である。
NoRefERは、ASRの複数の圧縮レベルからの仮説間の既知の品質関係を利用して、品質によるサンプル内仮説のランク付けを学習する。
以上の結果から,NoRefERは基準ベースメトリクスとそのサンプル内ランクと高い相関性を示し,基準のないASR評価やa/bテストの可能性が示唆された。
論文 参考訳（メタデータ） (2023-06-21T21:26:19Z) - From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。
これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。
我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
論文 参考訳（メタデータ） (2023-06-18T09:54:33Z) - Information-Theoretic Odometry Learning [83.36195426897768]
生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。
提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
論文 参考訳（メタデータ） (2022-03-11T02:37:35Z) - AcME -- Accelerated Model-agnostic Explanations: Fast Whitening of the
Machine-Learning Black Box [1.7534486934148554]
解釈可能性のアプローチは、ユーザが待つことなく、実行可能な洞察を提供するべきです。
本稿では,グローバルレベルとローカルレベルの両方で特徴的重要性のスコアを迅速に提供する解釈可能性アプローチである,アクセレーションモデル非依存説明(AcME)を提案する。
AcMEは機能ランキングを計算しますが、機能値の変化がモデル予測にどのように影響するかを評価するために、What-if分析ツールも提供しています。
論文 参考訳（メタデータ） (2021-12-23T15:18:13Z) - Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
データ管理の統合コンポーネントにおける公平性について検討する。
本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
論文 参考訳（メタデータ） (2020-06-10T20:20:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。