論文の概要: SpeechLLM Meets Federated Learning for End-to-End ASR: English and Italian Case Studies
- arxiv url: http://arxiv.org/abs/2607.25716v1
- Date: Tue, 28 Jul 2026 13:43:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-29 20:50:42.857574
- Title: SpeechLLM Meets Federated Learning for End-to-End ASR: English and Italian Case Studies
- Title（参考訳）: SpeechLLM - エンドツーエンドASRのためのフェデレーションラーニング - 英語とイタリア語のケーススタディ
- Abstract要約: フェデレートラーニング(FL)は、分散データソース間で自動音声認識(ASR)システムのプライバシー保護トレーニングを可能にする。
本稿では,SpeechLLMに基づくエンドツーエンドASRシステムのためのフェデレーショントレーニングに関する最初の体系的研究について述べる。
- 参考スコア（独自算出の注目度）: 15.883924147497817
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) enables privacy-preserving training of automatic speech recognition (ASR) systems across distributed data sources, yet its application to large-scale speech language models (SpeechLLMs) remains unexplored. This paper presents the first systematic study of federated training for SpeechLLM-based end-to-end ASR systems. We design a communication-efficient federated optimization strategy tailored to the unique challenges of SpeechLLM architectures, addressing high-dimensional parameter spaces, gradient communication overhead, and computational constraints in distributed settings. Through extensive empirical evaluation on monolingual ASR tasks in English and Italian, we demonstrate the effectiveness and stability of our federated approach compared to centralized training baselines across diverse acoustic conditions and speaking styles. Additionally, we conduct a comprehensive ablation study analyzing the impact of different speech encoder architectures on monolingual English ASR performance within the federated framework, providing insights into optimal model configurations for decentralized training. Our results achieve competitive word error rates while reducing communication costs, establishing practical foundations for federated SpeechLLM deployment in real-world multilingual scenarios.
- Abstract（参考訳）: フェデレートラーニング(FL)は、分散データソースにまたがる自動音声認識(ASR)システムのプライバシー保護トレーニングを可能にするが、大規模音声言語モデル(SpeechLLMs)への応用は未検討である。
本稿では,SpeechLLMに基づくエンドツーエンドASRシステムのためのフェデレーショントレーニングに関する最初の体系的研究について述べる。
我々は,高次元パラメータ空間,勾配通信オーバーヘッド,分散設定における計算制約といった,SpeechLLMアーキテクチャの独特な課題に合わせた通信効率の高いフェデレーション最適化戦略を設計する。
英語とイタリア語の単言語ASRタスクに対する広範な実験的評価を通じて、様々な音響条件や話し方における集中トレーニングベースラインと比較して、フェデレーションアプローチの有効性と安定性を実証した。
さらに、異なる音声エンコーダアーキテクチャがフェデレートフレームワーク内の単言語英語のASR性能に与える影響を分析し、分散学習のための最適なモデル構成に関する洞察を提供する。
本研究は,実世界の多言語シナリオにおけるフェデレート音声LLMの実践的基盤を確立するとともに,通信コストを低減しつつ,競争力のある単語誤り率を実現することを目的とする。
関連論文リスト
- LoASR-Bench: Evaluating Large Speech Language Models on Low-Resource Automatic Speech Recognition Across Language Families [53.111005425237245]
大規模言語モデル(LLM)は、音声言語モデル(SpeechLM)の大幅な進歩を導いている。
LoASR-Benchはラテン文字と非ラテン文字の両方を特徴とする9つの言語ファミリーの25の言語で構成されている。
実験結果は、現実世界の低リソース言語を扱う際の最新のSpeechLMの限界を浮き彫りにした。
論文 参考訳（メタデータ） (2026-03-20T15:26:34Z) - Multimodal In-context Learning for ASR of Low-resource Languages [16.078416187950207]
大規模言語モデル(LLM)を用いたインコンテキスト学習(ICL)はこの問題に対処する。
本稿では,マルチモーダル ICL (MICL) を用いて,LLM が未知言語を学習できるかどうかを検討する。
言語間移動学習は、訓練なしでターゲット言語でのMICL効率を向上させる。
論文 参考訳（メタデータ） (2026-01-09T10:52:23Z) - Efficient and Versatile Model for Multilingual Information Retrieval of Islamic Text: Development and Deployment in Real-World Scenarios [1.2891210250935148]
イラン語多言語コーパスの特徴を活用し、イスラムドメインのためのアドホックIRシステムを開発するための最適な戦略を検討する。
我々は,モノリンガル,クロスリンガル,トランスレーショナル・トレインオールの4つの訓練手法と,クロスリンガルとモノリンガルを併用した新しい混合手法を用いた11種類の検索モデルを構築した。
論文 参考訳（メタデータ） (2025-09-18T19:32:07Z) - MSA-ASR: Efficient Multilingual Speaker Attribution with frozen ASR Models [59.80042864360884]
話者分布自動音声認識(SA-ASR)は,対応する話者に文字を正確に割り当てながら音声を転写することを目的としている。
本稿では,凍結した多言語ASRモデルを用いて話者属性を転写に組み込む新しい手法を提案する。
論文 参考訳（メタデータ） (2024-11-27T09:01:08Z) - SMILE: Speech Meta In-Context Learning for Low-Resource Language Automatic Speech Recognition [55.2480439325792]
音声メタインコンテキスト学習(SMILE)は、メタラーニングと音声インコンテキスト学習(SICL)を組み合わせた革新的なフレームワークである
SMILEは、トレーニング不要な多言語ASRタスクにおいて、ベースライン手法よりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2024-09-16T16:04:16Z) - An Initial Investigation of Language Adaptation for TTS Systems under Low-resource Scenarios [76.11409260727459]
本稿では,最近のSSLベースの多言語TSシステムであるZMM-TTSの言語適応性について検討する。
本研究では,事前学習言語と対象言語との音声学的な類似性が,対象言語の適応性能に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2024-06-13T08:16:52Z) - Unveiling the Potential of LLM-Based ASR on Chinese Open-Source Datasets [22.29915616018026]
LLM(Large Language Models)は、様々なNLPタスクにおいて非並列の有効性を示す。
本研究の目的は,音声エンコーダ,LLM,プロジェクタモジュールの様々な構成の影響を評価することである。
本研究では,3段階の学習手法を導入し,モデルが聴覚情報とテキスト情報を整合させる能力を高めることを目的とした。
論文 参考訳（メタデータ） (2024-05-03T14:35:58Z) - ASR data augmentation in low-resource settings using cross-lingual
multi-speaker TTS and cross-lingual voice conversion [49.617722668505834]
提案手法は,モデル学習中に1つの話者のみを用いて音声合成と音声変換を行い,ASRシステムの改善を可能にする。
対象言語における1つの実話者のみを用いてデータ拡張法を用いて、有望なASRトレーニング結果を得ることが可能である。
論文 参考訳（メタデータ） (2022-03-29T11:55:30Z) - Pre-training for Spoken Language Understanding with Joint Textual and
Phonetic Representation Learning [4.327558819000435]
音声表現を学習するための新しいテキスト音声前訓練手法を提案する。
音声言語理解ベンチマークであるFluent Speech CommandsとSNIPSの実験結果から,提案手法は強いベースラインモデルよりも有意に優れていることが示された。
論文 参考訳（メタデータ） (2021-04-21T05:19:13Z) - Transfer Learning for Context-Aware Spoken Language Understanding [3.763434958496263]
音声言語理解(SLU)はタスク指向対話システムの主要な構成要素である。
これまでの研究では、コンテキスト情報の導入により、マルチターン対話におけるSLUの性能が大幅に向上することが示されている。
本稿では, 文脈適応型言語変換器(CELT)モデルを提案する。
論文 参考訳（メタデータ） (2020-03-03T02:56:36Z) - Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。
そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
論文 参考訳（メタデータ） (2020-01-28T22:09:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。