論文の概要: Improving Large-Scale Weakly Supervised ASR by Filtering and Selection
- arxiv url: http://arxiv.org/abs/2606.28728v1
- Date: Sat, 27 Jun 2026 04:27:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.669815
- Title: Improving Large-Scale Weakly Supervised ASR by Filtering and Selection
- Title（参考訳）: フィルタと選択による大規模弱監視型ASRの改良
- Abstract要約: 本稿では,データフィルタリングと選択を取り入れた新しいトレーニング手法を提案する。
提案手法は,データセット全体の事前学習,文字誤り率(CER)に基づくフィルタ付きサブセットの事前学習,ターゲット領域と音響的に類似した少数のサンプルの微調整の3段階からなる。
- 参考スコア（独自算出の注目度）: 15.223155157121504
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Leveraging large-scale weakly supervised datasets is crucial to train robust end-to-end automatic speech recognition (ASR) models. However, such datasets often contain noisy labels and lack domain specificity, limiting their effectiveness. To address these issues and make better use of weakly supervised datasets, we propose a novel training approach incorporating data filtering and selection. Our approach consists of three steps: pretraining on the entire dataset, continued pretraining on a filtered subset based on character error rate (CER), and fine-tuning on a small number of acoustically similar samples to the target domain, selected from the filtered subset. In experiments with a 90,000-hour weakly supervised Japanese dataset, the proposed filtering and selection methods synergistically reduced CER by up to 6.4% and 4.0%, respectively, even though these steps reused training samples already used in the first pretraining step.
- Abstract（参考訳）: 大規模で弱い教師付きデータセットを活用することは、堅牢なエンドツーエンド自動音声認識(ASR)モデルをトレーニングするために不可欠である。
しかしながら、そのようなデータセットは、しばしばノイズの多いラベルを含み、ドメインの特異性を欠き、有効性を制限している。
これらの問題に対処し、弱教師付きデータセットをより活用するために、データフィルタリングと選択を取り入れた新しいトレーニング手法を提案する。
提案手法は,データセット全体の事前トレーニング,文字誤り率(CER)に基づくフィルタされたサブセットの継続事前トレーニング,およびフィルタされたサブセットから選択されたターゲットドメインと音響的に類似した少数のサンプルの微調整の3段階からなる。
9万時間弱教師付き日本語データセットを用いた実験では,第1の事前学習段階で既に使用されているトレーニングサンプルを再利用したにもかかわらず,提案したフィルタリング法と選択法が相乗的にCERを最大6.4%,4.0%削減した。
関連論文リスト
- Efficient Data Selection for Domain Adaptation of ASR Using Pseudo-Labels and Multi-Stage Filtering [11.50314008820538]
ラベル付きデータや計算資源が限られている小さな組織にとって、特定のドメインに対する微調整済みのASRモデルは困難である。
本稿では、WhisperとZipformerを用いて生成された擬似ラベルをフィルタリングすることで、ASR適応を改善する頑健なアプローチを提案する。
論文 参考訳（メタデータ） (2025-06-04T08:11:24Z) - T-SHIRT: Token-Selective Hierarchical Data Selection for Instruction Tuning [5.963754140027611]
Token-Selective HIeRarchical Data Selection for Instruction Tuning (T-SHIRT)は、新しいデータ選択フレームワークである。
我々は、キュレートされたデータセットでチューニングされたモデルが、大規模データセット全体においてトレーニングされたモデルよりも優れていることを実証した。
論文 参考訳（メタデータ） (2025-06-02T04:59:17Z) - Filter Like You Test: Data-Driven Data Filtering for CLIP Pretraining [17.402771370806384]
Filter Like You Test (FLYT)は、事前トレーニングの例として、各データポイントの有用性を学ぶデータセットをキュレートするアルゴリズムである。
FLYTは、ダウンストリームタスクトレーニングセットからの勾配信号を使用して、各サンプルの機能を測ることを学ぶスコアモデルをトレーニングする。
M-FLYT(Mixing-FLYT)を実装し、異なるスコア法によって生成されるサンプル毎のスコアを特徴として扱い、それらを単一のスコアに統一することを学ぶ。
論文 参考訳（メタデータ） (2025-03-11T18:34:12Z) - Add-One-In: Incremental Sample Selection for Large Language Models via a Choice-Based Greedy Paradigm [50.492124556982674]
本稿では,新しい選択型サンプル選択フレームワークを提案する。
個々のサンプル品質の評価から、異なるサンプルのコントリビューション値の比較へと焦点をシフトする。
われわれのアプローチをより大きな医療データセットで検証し、現実の応用における実用性を強調した。
論文 参考訳（メタデータ） (2025-03-04T07:32:41Z) - A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。
データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。
より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-15T03:00:58Z) - Dataset Quantization with Active Learning based Adaptive Sampling [11.157462442942775]
また, 不均一なサンプル分布であっても, 性能維持が可能であることを示す。
サンプル選択を最適化するために,新しい能動的学習に基づく適応型サンプリング手法を提案する。
提案手法は,最先端のデータセット圧縮手法よりも優れている。
論文 参考訳（メタデータ） (2024-07-09T23:09:18Z) - Your Vision-Language Model Itself Is a Strong Filter: Towards
High-Quality Instruction Tuning with Data Selection [59.11430077029321]
視覚言語モデル(VLM)のための新しいデータセット選択手法であるSelf-Filterを導入する。
第1段階では、VLMと共同で学習する訓練指導の難しさを評価するためのスコアリングネットワークを考案する。
第2段階では、トレーニングされたスコアネットを使用して、各命令の難易度を測定し、最も難しいサンプルを選択し、類似したサンプルをペナルティ化し、多様性を促進する。
論文 参考訳（メタデータ） (2024-02-19T20:08:48Z) - Combating Label Noise With A General Surrogate Model For Sample Selection [77.45468386115306]
本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。
提案手法の有効性を実世界および合成ノイズデータセットで検証した。
論文 参考訳（メタデータ） (2023-10-16T14:43:27Z) - DST-Det: Simple Dynamic Self-Training for Open-Vocabulary Object Detection [72.25697820290502]
この研究は、ゼロショット分類によって潜在的に新しいクラスを特定するための単純かつ効率的な戦略を導入する。
このアプローチは、アノテーションやデータセット、再学習を必要とせずに、新しいクラスのリコールと精度を高めるセルフトレーニング戦略として言及する。
LVIS、V3Det、COCOを含む3つのデータセットに対する実証的な評価は、ベースラインのパフォーマンスを大幅に改善したことを示している。
論文 参考訳（メタデータ） (2023-10-02T17:52:24Z) - Automatic Data Augmentation for Domain Adapted Fine-Tuning of
Self-Supervised Speech Representations [21.423349835589793]
SSL(Self-Supervised Learning)は、大量のラベルのない音声データを活用して音声認識モデルの性能を向上させる。
これにもかかわらず、プレトレーニングとターゲットデータセットの音響ミスマッチに直面しながら、音声SSL表現が失敗する可能性がある。
音響領域におけるそのようなミスマッチを示すケースを対象とした,新しい教師付きドメイン適応手法を提案する。
論文 参考訳（メタデータ） (2023-06-01T09:30:49Z) - Data Selection for Language Models via Importance Resampling [90.9263039747723]
我々は、望まれるターゲット分布に合わせるために、大規模な未ラベルデータセットのサブセットを選択するという問題を形式化する。
我々は、LMデータ選択のために低次元で使用される古典的な重要度再サンプリング手法を拡張した。
DSIRフレームワークをhash n-gram機能でインスタンス化し、4.5時間で1億のドキュメントを選択できる。
論文 参考訳（メタデータ） (2023-02-06T23:57:56Z) - Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。
本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。
本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
論文 参考訳（メタデータ） (2020-06-27T08:13:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。