論文の概要: Evaluation of LLMs in Speech is Often Flawed: Test Set Contamination in Large Language Models for Speech Recognition

• arxiv url: http://arxiv.org/abs/2505.22251v2
• Date: Thu, 05 Jun 2025 10:40:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 14:14:43.118118
• Title: Evaluation of LLMs in Speech is Often Flawed: Test Set Contamination in Large Language Models for Speech Recognition
• Title（参考訳）: 音声認識におけるLLMの評価 : 音声認識のための大規模言語モデルにおけるテストセット汚染
• Authors: Yuan Tseng, Titouan Parcollet, Rogier van Dalen, Shucong Zhang, Sourav Bhattacharya,
• Abstract要約: 本研究は,LLMプレトレーニングコーパスにLibriSpeechとCommon Voiceの評価セットのかなりの量が現れることを明らかにする。 汚染影響を測定するために、汚染を伴わずに訓練されたLLMを比較した。 その結果,LSMの出力は少量のデータ汚染によってバイアスを受けることができることがわかった。
• 参考スコア（独自算出の注目度）: 16.1813157127555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work suggests that large language models (LLMs) can improve performance of speech tasks compared to existing systems. To support their claims, results on LibriSpeech and Common Voice are often quoted. However, this work finds that a substantial amount of the LibriSpeech and Common Voice evaluation sets appear in public LLM pretraining corpora. This calls into question the reliability of findings drawn from these two datasets. To measure contamination impact, LLMs trained with/without contamination are compared. A contaminated LLM is more likely to generate test sentences it has seen during training. Then, speech recognisers based on LLMs are compared. They show only subtle error rate differences if the LLM is contaminated, but assign significantly higher probabilities to transcriptions seen during LLM training. Results show that LLM outputs can be biased by tiny amounts of data contamination, highlighting the importance of evaluating LLM-based speech systems with held-out data.
• Abstract（参考訳）: 最近の研究は,大規模言語モデル (LLM) が既存のシステムと比較して音声タスクの性能を向上させることを示唆している。 彼らの主張を支持するために、LibriSpeechとCommon Voiceの結果がしばしば引用される。 しかし,この研究により,LLMプレトレーニングコーパスには,LibriSpeechとCommon Voiceの評価セットのかなりの量が現れることがわかった。 これにより、これらの2つのデータセットから得られた結果の信頼性が疑問視される。 汚染影響を測定するために、汚染を伴わずに訓練されたLLMを比較した。 汚染されたLLMは、トレーニング中に見たテスト文を生成する可能性が高い。 次に、LLMに基づく音声認識の比較を行う。 LLMが汚染された場合にのみ微妙なエラー率差を示すが、LLMトレーニング中に見られる転写にかなり高い確率を割り当てる。 その結果, LLM の出力は少量のデータ汚染によってバイアスを受けやすく, ホールドアウトデータを用いた LLM ベースの音声システムの評価の重要性が浮き彫りになった。

関連論文リスト

• An Empirical Study of Many-to-Many Summarization with Large Language Models [82.10000188179168]
  大規模言語モデル(LLM)は強い多言語能力を示しており、実アプリケーションでM2MS(Multi-to-Many summarization)を実行する可能性を秘めている。 本研究は,LLMのM2MS能力に関する系統的研究である。
  論文  参考訳（メタデータ） (2025-05-19T11:18:54Z)
• Rolling the DICE on Idiomaticity: How LLMs Fail to Grasp Context [12.781022584125925]
  我々は、LLMが文脈を効果的に利用して慣用的意味を曖昧にすることができるかどうかをテストするために設計された、新しい対照データセットを構築した。 以上の結果から, LLMは周囲の状況に適応する必要がある場合, 慣用性の解決に失敗することが多いことが判明した。 コードとデータセットを公開しています。
  論文  参考訳（メタデータ） (2024-10-21T14:47:37Z)
• Evaluating the Correctness of Inference Patterns Used by LLMs for Judgment [53.17596274334017]
  我々は,LLMの詳細な推論パターンの正確さを,その正しい出力の裏側で評価した。 実験により、言語生成結果が正しそうであっても、LLMが法的な判断に用いた推論パターンのかなりの部分は、誤解を招く論理や無関係な論理を表す可能性があることが示された。
  論文  参考訳（メタデータ） (2024-10-06T08:33:39Z)
• Are LLMs Good Annotators for Discourse-level Event Relation Extraction? [15.365993658296016]
  談話レベルの事象関係抽出タスクにおけるLarge Language Models (LLMs) の有効性を評価する。 商用モデル GPT-3.5 とオープンソースモデル LLaMA-2 を用いて評価を行った。
  論文  参考訳（メタデータ） (2024-07-28T19:27:06Z)
• Data Contamination Can Cross Language Barriers [29.103517721155487]
  大規模言語モデル(LLM)の開発における不透明さは、事前学習データにおける公開ベンチマークの汚染の可能性への懸念が高まっている。 まず, 電流検出手法を回避しつつ, LLMの性能を増大させる多言語性汚染について述べる。 本稿では,このような汚染を深く隠蔽する一般化に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-06-19T05:53:27Z)
• Large Language Models are Inconsistent and Biased Evaluators [2.136983452580014]
  我々は,Large Language Models (LLMs) が親しみの偏りを示し,評価の歪んだ分布を示すため,評価値の偏りを示すことを示した。 また, LLM は不整合性評価器であり, テキスト品質の人間の理解に欠かせない相違を誘発する「サンプル間合意」が低く, 感度が高いことがわかった。
  論文  参考訳（メタデータ） (2024-05-02T20:42:28Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• Purifying Large Language Models by Ensembling a Small Language Model [39.57304668057076]
  未処理データによる負の効果からLCMを浄化する簡易かつ容易に実装できる手法を提案する。 良性および小言語モデル(SLM)を用いたLLMのアンサンブルの有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2024-02-19T14:00:39Z)
• Boosting Large Language Model for Speech Synthesis: An Empirical Study [86.89548753080432]
  大規模言語モデル(LLM)は自然言語処理において大きな進歩を遂げており、言語能力は音声や視覚など他のモダリティにも拡張されている。 我々は,事前学習したLLM LLaMA/OPTと音声合成モデルVALL-Eを組み合わせることで,LLMの強化と音声生成能力の総合的な実証調査を行う。 テキストエンコーダとしてLLMとVALL-Eを組み合わせることで,LLMとVALL-Eの3つの統合手法を比較した。
  論文  参考訳（メタデータ） (2023-12-30T14:20:04Z)
• Speech Translation with Large Language Models: An Industrial Practice [64.5419534101104]
  LLM-STは,事前学習型大言語モデル(LLM)に基づいて構築された,新規で効果的な音声翻訳モデルである。 大規模言語モデル(LLM)を音声エンコーダと統合し、マルチタスクの命令チューニングを利用することで、LLM-STは正確なタイムスタンプと翻訳を生成することができる。 英語と中国語のデータセットの厳密な実験を通じて,LLM-STの異常な性能を示す。
  論文  参考訳（メタデータ） (2023-12-21T05:32:49Z)
• Are Large Language Models Temporally Grounded? [38.481606493496514]
  文章を記述したLarge Language Model (LLM) を提供する。 イベントの構造と持続時間に関する常識的な知識に関して、それらを調査する。 これらの能力を反映した3つの課題に対して,最先端のLCMを評価した。
  論文  参考訳（メタデータ） (2023-11-14T18:57:15Z)
• Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
  トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。 我々は「反射チューニング」と呼ばれる新しい手法を提案する。 このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
  論文  参考訳（メタデータ） (2023-10-18T05:13:47Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。