論文の概要: Improving Large-Scale Weakly Supervised ASR by Filtering and Selection

• arxiv url: http://arxiv.org/abs/2606.28728v1
• Date: Sat, 27 Jun 2026 04:27:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.669815
• Title: Improving Large-Scale Weakly Supervised ASR by Filtering and Selection
• Title（参考訳）: フィルタと選択による大規模弱監視型ASRの改良
• Authors: Kohei Matsuura, Masato Mimura,
• Abstract要約: 本稿では,データフィルタリングと選択を取り入れた新しいトレーニング手法を提案する。 提案手法は,データセット全体の事前学習,文字誤り率(CER)に基づくフィルタ付きサブセットの事前学習,ターゲット領域と音響的に類似した少数のサンプルの微調整の3段階からなる。
• 参考スコア（独自算出の注目度）: 15.223155157121504
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Leveraging large-scale weakly supervised datasets is crucial to train robust end-to-end automatic speech recognition (ASR) models. However, such datasets often contain noisy labels and lack domain specificity, limiting their effectiveness. To address these issues and make better use of weakly supervised datasets, we propose a novel training approach incorporating data filtering and selection. Our approach consists of three steps: pretraining on the entire dataset, continued pretraining on a filtered subset based on character error rate (CER), and fine-tuning on a small number of acoustically similar samples to the target domain, selected from the filtered subset. In experiments with a 90,000-hour weakly supervised Japanese dataset, the proposed filtering and selection methods synergistically reduced CER by up to 6.4% and 4.0%, respectively, even though these steps reused training samples already used in the first pretraining step.
• Abstract（参考訳）: 大規模で弱い教師付きデータセットを活用することは、堅牢なエンドツーエンド自動音声認識(ASR)モデルをトレーニングするために不可欠である。 しかしながら、そのようなデータセットは、しばしばノイズの多いラベルを含み、ドメインの特異性を欠き、有効性を制限している。 これらの問題に対処し、弱教師付きデータセットをより活用するために、データフィルタリングと選択を取り入れた新しいトレーニング手法を提案する。 提案手法は,データセット全体の事前トレーニング,文字誤り率(CER)に基づくフィルタされたサブセットの継続事前トレーニング,およびフィルタされたサブセットから選択されたターゲットドメインと音響的に類似した少数のサンプルの微調整の3段階からなる。 9万時間弱教師付き日本語データセットを用いた実験では,第1の事前学習段階で既に使用されているトレーニングサンプルを再利用したにもかかわらず,提案したフィルタリング法と選択法が相乗的にCERを最大6.4%,4.0%削減した。

関連論文リスト

• Efficient Data Selection for Domain Adaptation of ASR Using Pseudo-Labels and Multi-Stage Filtering [11.50314008820538]
  ラベル付きデータや計算資源が限られている小さな組織にとって、特定のドメインに対する微調整済みのASRモデルは困難である。 本稿では、WhisperとZipformerを用いて生成された擬似ラベルをフィルタリングすることで、ASR適応を改善する頑健なアプローチを提案する。
  論文  参考訳（メタデータ） (2025-06-04T08:11:24Z)
• Filter Like You Test: Data-Driven Data Filtering for CLIP Pretraining [17.402771370806384]
  Filter Like You Test (FLYT)は、事前トレーニングの例として、各データポイントの有用性を学ぶデータセットをキュレートするアルゴリズムである。 FLYTは、ダウンストリームタスクトレーニングセットからの勾配信号を使用して、各サンプルの機能を測ることを学ぶスコアモデルをトレーニングする。 M-FLYT(Mixing-FLYT)を実装し、異なるスコア法によって生成されるサンプル毎のスコアを特徴として扱い、それらを単一のスコアに統一することを学ぶ。
  論文  参考訳（メタデータ） (2025-03-11T18:34:12Z)
• Add-One-In: Incremental Sample Selection for Large Language Models via a Choice-Based Greedy Paradigm [50.492124556982674]
  本稿では,新しい選択型サンプル選択フレームワークを提案する。 個々のサンプル品質の評価から、異なるサンプルのコントリビューション値の比較へと焦点をシフトする。 われわれのアプローチをより大きな医療データセットで検証し、現実の応用における実用性を強調した。
  論文  参考訳（メタデータ） (2025-03-04T07:32:41Z)
• A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
  実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。 データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。 より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:00:58Z)
• DST-Det: Simple Dynamic Self-Training for Open-Vocabulary Object Detection [72.25697820290502]
  この研究は、ゼロショット分類によって潜在的に新しいクラスを特定するための単純かつ効率的な戦略を導入する。 このアプローチは、アノテーションやデータセット、再学習を必要とせずに、新しいクラスのリコールと精度を高めるセルフトレーニング戦略として言及する。 LVIS、V3Det、COCOを含む3つのデータセットに対する実証的な評価は、ベースラインのパフォーマンスを大幅に改善したことを示している。
  論文  参考訳（メタデータ） (2023-10-02T17:52:24Z)
• Data Selection for Language Models via Importance Resampling [90.9263039747723]
  我々は、望まれるターゲット分布に合わせるために、大規模な未ラベルデータセットのサブセットを選択するという問題を形式化する。 我々は、LMデータ選択のために低次元で使用される古典的な重要度再サンプリング手法を拡張した。 DSIRフレームワークをhash n-gram機能でインスタンス化し、4.5時間で1億のドキュメントを選択できる。
  論文  参考訳（メタデータ） (2023-02-06T23:57:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。