論文の概要: PIER: A Novel Metric for Evaluating What Matters in Code-Switching

• arxiv url: http://arxiv.org/abs/2501.09512v2
• Date: Tue, 21 Jan 2025 10:39:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:25:20.314306
• Title: PIER: A Novel Metric for Evaluating What Matters in Code-Switching
• Title（参考訳）: PIER: コード切り替えで何が重要かを評価するための新しいメトリクス
• Authors: Enes Yavuz Ugan, Ngoc-Quan Pham, Leonard Bärmann, Alex Waibel,
• Abstract要約: コードスイッチングは音声認識において重要な課題である。 Word-Error-Rate (WER)のような一般的なメトリクスは、一般的にパフォーマンスを測定するために使われる。 We propose Point-of-interest Error Rate (PIER) is proposed WER is variant of WER which only focus on specific words of interest。
• 参考スコア（独自算出の注目度）: 15.370845263369347
• License:
• Abstract: Code-switching, the alternation of languages within a single discourse, presents a significant challenge for Automatic Speech Recognition. Despite the unique nature of the task, performance is commonly measured with established metrics such as Word-Error-Rate (WER). However, in this paper, we question whether these general metrics accurately assess performance on code-switching. Specifically, using both Connectionist-Temporal-Classification and Encoder-Decoder models, we show fine-tuning on non-code-switched data from both matrix and embedded language improves classical metrics on code-switching test sets, although actual code-switched words worsen (as expected). Therefore, we propose Point-of-Interest Error Rate (PIER), a variant of WER that focuses only on specific words of interest. We instantiate PIER on code-switched utterances and show that this more accurately describes the code-switching performance, showing huge room for improvement in future work. This focused evaluation allows for a more precise assessment of model performance, particularly in challenging aspects such as inter-word and intra-word code-switching.
• Abstract（参考訳）: 単一の言論における言語の交替であるコードスイッチングは,音声認識において重要な課題となる。 タスクの独特な性質にもかかわらず、Word-Error-Rate (WER)のような確立したメトリクスでパフォーマンスを測ることが一般的である。 しかし,本稿では,これらの一般的な指標がコードスイッチングの性能を正確に評価するかどうかを疑問視する。 具体的には、Connectionist-Temporal-ClassificationモデルとEncoder-Decoderモデルの両方を用いて、行列と組込み言語の両方からの非コード切替データの微調整を行い、コード切替テストセットの古典的メトリクスを改善するが、実際のコード切替ワードは(予想通り)悪化する。 そこで本研究では,特定の単語のみに着目した WER の変種である Point-of-Interest Error Rate (PIER) を提案する。 コードスイッチングされた発話に対してPIERをインスタンス化し、これがコードスイッチングのパフォーマンスをより正確に記述し、将来の作業において大きな改善の余地を示すことを示す。 この集中評価は、特に単語間や単語内コードスイッチングといった難易度において、モデルの性能をより正確に評価することを可能にする。

関連論文リスト

• Evaluating Semantic Variation in Text-to-Image Synthesis: A Causal Perspective [50.261681681643076]
  本稿では,SemVarEffectとSemVarBenchというベンチマークを用いて,テキスト・画像合成における入力のセマンティックな変化と出力の因果性を評価する。 本研究は,T2I合成コミュニティによるヒューマンインストラクション理解の探索を促進する効果的な評価枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T08:45:35Z)
• CodeScore-R: An Automated Robustness Metric for Assessing the FunctionalCorrectness of Code Synthesis [17.747095451792084]
  本稿では,コード合成機能を評価するために,CodeScore-Rと呼ばれるロバストな自動計測手法を提案する。 JavaとPythonのコード生成とマイグレーションのタスクでは、CodeScore-Rは他のメトリクスよりも優れています。
  論文  参考訳（メタデータ） (2024-06-11T02:51:17Z)
• Zero Resource Code-switched Speech Benchmark Using Speech Utterance Pairs For Multiple Spoken Languages [49.6922490267701]
  我々は,自己教師型音声エンコーダのコード切替能力を評価するために,ゼロリソースコード切替音声ベンチマークを導入した。 本稿では,音声エンコーダのコードスイッチング能力を評価するために,離散単位に基づく言語モデリングのベースラインシステムを紹介する。
  論文  参考訳（メタデータ） (2023-10-04T17:58:11Z)
• Benchmarking Evaluation Metrics for Code-Switching Automatic Speech Recognition [19.763431520942028]
  本研究では,人間の判断によるコードスイッチング音声認識仮説のベンチマークデータセットを開発する。 自動仮説の最小化のための明確なガイドラインを定義する。 我々は、アラビア語/英語の方言音声におけるコードスイッチング音声認識結果の人間受容のための最初のコーパスをリリースする。
  論文  参考訳（メタデータ） (2022-11-22T08:14:07Z)
• Optimizing Bilingual Neural Transducer with Synthetic Code-switching Text Generation [10.650573361117669]
  半教師付きトレーニングと合成コードスイッチングデータにより、コードスイッチング音声におけるバイリンガルASRシステムを改善することができる。 最終システムは ASCEND English/Mandarin code-switching test set 上で25%混合誤り率 (MER) を達成する。
  論文  参考訳（メタデータ） (2022-10-21T19:42:41Z)
• Reducing language context confusion for end-to-end code-switching automatic speech recognition [50.89821865949395]
  本稿では,E2E符号スイッチングASRモデルの多言語コンテキストの混同を低減するための言語関連アテンション機構を提案する。 複数の言語のそれぞれの注意を計算することにより、豊かな単言語データから言語知識を効率的に伝達することができる。
  論文  参考訳（メタデータ） (2022-01-28T14:39:29Z)
• On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
  言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。 教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。 我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T08:10:27Z)
• Do Encoder Representations of Generative Dialogue Models Encode Sufficient Information about the Task ? [41.36218215755317]
  対話モデルの言語理解の健全さを適切に評価するには,人的・自動的な指標によるテキストの評価が不十分であることを示す。 本稿では,対話モデルで一般的に使用される言語エンコーダのエンコーダ表現を評価するための探索タスクを提案する。
  論文  参考訳（メタデータ） (2021-06-20T04:52:37Z)
• Deep Just-In-Time Inconsistency Detection Between Comments and Source Code [51.00904399653609]
  本稿では,コード本体の変更によりコメントが矛盾するかどうかを検出することを目的とする。 私たちは、コメントとコードの変更を関連付けるディープラーニングアプローチを開発しています。 より包括的な自動コメント更新システムを構築するために,コメント更新モデルと組み合わせて提案手法の有用性を示す。
  論文  参考訳（メタデータ） (2020-10-04T16:49:28Z)
• CodeBLEU: a Method for Automatic Evaluation of Code Synthesis [57.87741831987889]
  コード合成の分野では、一般的に使用される評価基準はBLEUまたは完全精度である。 我々はCodeBLEUと呼ばれる新しい自動評価指標を導入する。 n-gramマッチングにおけるBLEUの強度を吸収し、抽象構文木(AST)やデータフローによるコードセマンティクスを通じてコード構文を注入する。
  論文  参考訳（メタデータ） (2020-09-22T03:10:49Z)
• LinCE: A Centralized Benchmark for Linguistic Code-switching Evaluation [13.947879344871442]
  言語コードスイッチング評価(LinCE)のためのベンチマークを提案する。 LinCEは4つの異なるコード変更言語ペアをカバーする10のコーパスを結合する。 LSTM,ELMo,多言語BERTなど,さまざまな人気モデルのスコアを提供する。
  論文  参考訳（メタデータ） (2020-05-09T00:00:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。