論文の概要: A Study on Regularization-Based Continual Learning Methods for Indic ASR

• arxiv url: http://arxiv.org/abs/2508.06280v1
• Date: Fri, 08 Aug 2025 13:02:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-11 20:39:06.233739
• Title: A Study on Regularization-Based Continual Learning Methods for Indic ASR
• Title（参考訳）: 適応型ASRにおける正規化に基づく連続学習法の検討
• Authors: Gokul Adethya T, S. Jaya Nirmala,
• Abstract要約: インドにおける言語多様性は、包括的自動音声認識(ASR)システムを開発する上で大きな課題となっている。 すべての言語データへの同時アクセスを必要とする従来の多言語モデルは、データのシーケンシャルな到着とプライバシ制約のため、現実的ではない。 継続学習(Continuous Learning)は、モデルがそれまでの知識を忘れずに、新しい言語を逐次学習できるようにすることによって、ソリューションを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Indias linguistic diversity poses significant challenges for developing inclusive Automatic Speech Recognition (ASR) systems. Traditional multilingual models, which require simultaneous access to all language data, are impractical due to the sequential arrival of data and privacy constraints. Continual Learning (CL) offers a solution by enabling models to learn new languages sequentially without catastrophically forgetting previously learned knowledge. This paper investigates CL for ASR on Indian languages using a subset of the IndicSUPERB benchmark. We employ a Conformer-based hybrid RNN-T/CTC model, initially pretrained on Hindi, which is then incrementally trained on eight additional Indian languages, for a total sequence of nine languages. We evaluate three prominent regularization- and distillation-based CL strategies: Elastic Weight Consolidation (EWC), Memory Aware Synapses (MAS), and Learning without Forgetting (LwF), selected for their suitability in no-replay, privacy-conscious scenarios. Performance is analyzed using Word Error Rate (WER) for both RNN-T and CTC paths on clean and noisy data, as well as knowledge retention via Backward Transfer. We also explore the impact of varying the number of training epochs (1, 2, 5, and 10) per task. Results, compared against naive fine-tuning, demonstrate CLs effectiveness in mitigating forgetting, making it a promising approach for scalable ASR in diverse Indian languages under realistic constraints. The code is available at: https://github.com/FrozenWolf-Cyber/Indic-CL-ASR
• Abstract（参考訳）: インドにおける言語多様性は、包括的自動音声認識(ASR)システムを開発する上で大きな課題となっている。 すべての言語データへの同時アクセスを必要とする従来の多言語モデルは、データのシーケンシャルな到着とプライバシ制約のため、現実的ではない。 継続学習(CL)は、学習した知識を壊滅的に忘れることなく、モデルが新しい言語を逐次学習できるようにすることによって、ソリューションを提供する。 本稿では、IndicSUPERBベンチマークのサブセットを用いて、インド言語におけるASRのCLについて検討する。 我々はコンフォーマーベースのハイブリッドRNN-T/CTCモデルを使用し、最初はヒンディー語で事前訓練を行い、その後、9つの言語でインクリメンタルに訓練する。 我々は, 弾力的重み強化(EWC), メモリ・アウェア・シナプス(MAS), フォーッティングなし学習(LwF)の3つの顕著な正規化と蒸留に基づくCL戦略を評価し, プライバシを意識しないシナリオにおける適合性について検討した。 単語誤り率(WER)を用いて、クリーンでノイズの多いデータ上のRNN-TパスとCTCパスと、バックワード転送による知識保持について解析する。 また,1タスクあたりのトレーニングエポック数(1,2,5,10)の変化の影響についても検討した。 その結果,日常的な微調整と比較して,忘れを緩和するCLの有効性が示され,現実的な制約下でのインド諸言語におけるスケーラブルなASRに対する有望なアプローチとなった。 コードは、https://github.com/FrozenWolf-Cyber/Indic-CL-ASRで入手できる。

関連論文リスト

• Enhancing Multilingual ASR for Unseen Languages via Language Embedding Modeling [50.62091603179394]
  最も先進的なASRモデルの1つであるWhisperは99の言語を効果的に扱う。 しかし、ウィスパーは未確認の言語と戦っているが、それらは事前訓練には含まれていない。 本研究では,これらの関係を利用して未知言語上でのASR性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-12-21T04:05:43Z)
• Embracing Language Inclusivity and Diversity in CLIP through Continual Language Learning [58.92843729869586]
  視覚言語事前学習モデル (VL-PTMs) は近年、先進的なマルチモーダル研究を行っているが、英語のようないくつかの言語での習得は、より広いコミュニティにおける適用性を制限している。 我々は,連続言語学習(CLL)によってVL-PTMの言語能力を拡張することを提案する。 我々は,MSCOCOおよびXM3600データセットに基づく36言語をカバーするCLLベンチマークを構築し,多言語画像テキスト検索性能を評価する。
  論文  参考訳（メタデータ） (2024-01-30T17:14:05Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• CL-MASR: A Continual Learning Benchmark for Multilingual ASR [15.974765568276615]
  連続学習環境における多言語自動音声認識のベンチマークであるCL-MASRを提案する。 CL-MASRは、大規模事前訓練されたASRモデル上に実装された多種多様な連続学習手法と共通のメトリクスを提供する。 我々の知る限り、CL-MASRは多言語ASRタスクのための最初の連続学習ベンチマークである。
  論文  参考訳（メタデータ） (2023-10-25T18:55:40Z)
• Improving Massively Multilingual ASR With Auxiliary CTC Objectives [40.10307386370194]
  FLEURSは102言語によるオープンASRベンチマークである。 我々は,最近のコネクショニスト時間分類(CTC)研究から着想を得た手法を考察し,モデルが多数の言語を扱えるようにした。 コンバータアーキテクチャを用いた自己教師型モデルを用いた最先端システムでは,相対28.4%CERによるFLEURSの先行研究よりも改善されている。
  論文  参考訳（メタデータ） (2023-02-24T18:59:51Z)
• Towards Lifelong Learning of Multilingual Text-To-Speech Synthesis [87.75833205560406]
  本研究は,多言語テキスト音声(TTS)システムを学習するための生涯学習手法を提案する。 すべての言語からプールされたデータを必要としないため、ストレージと計算の負担が軽減される。
  論文  参考訳（メタデータ） (2021-10-09T07:00:38Z)
• KARI: KAnari/QCRI's End-to-End systems for the INTERSPEECH 2021 Indian Languages Code-Switching Challenge [7.711092265101041]
  本稿では,低リソースのインド言語に対するICS(Interspeech 2021 Code-switching)チャレンジに参加するために使用される,Kanari/QCRIシステムとモデリング戦略について述べる。 このサブタスクには、ヒンディー語とベンガル語という2つのCSデータセットのための音声認識システムの開発が含まれていた。 CSの課題に対処するために、公開のモノリンガルヒンディー語、ベンガル語、英語の音声データを取り入れるためにトランスファーラーニングを利用する。
  論文  参考訳（メタデータ） (2021-06-10T16:12:51Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。