論文の概要: Federated Multilingual Speech-LLMs: Architecture and Aggregation Strategy Benchmarking

• arxiv url: http://arxiv.org/abs/2609.23825v1
• Date: Sun, 20 Sep 2026 19:23:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.005205
• Title: Federated Multilingual Speech-LLMs: Architecture and Aggregation Strategy Benchmarking
• Title（参考訳）: Federated Multilingual Speech-LLMs: Architecture and Aggregation Strategy Benchmarking
• Abstract要約: 凍結および凍結しないエンコーダ構成でFedAvgとFedProxを比較します。 FedProxの有効性はアーキテクチャに依存しており、多言語で事前訓練されたアーキテクチャにおいて顕著な利点をもたらす。 これらの知見は、プライバシーに敏感で分散した環境に多言語音声-LLMをデプロイするための具体的な設計指針を提供する。
• 参考スコア（独自算出の注目度）: 43.01574038234673
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a comprehensive benchmark of Federated Learning (FL) for multilingual Automatic Speech Recognition (ASR), evaluating four Speech-LLM architectures on the Multilingual LibriSpeech dataset. We compare FedAvg and FedProx across frozen and unfrozen encoder configurations, demonstrating that optimized learning rates are critical for performance. Specifically, independently tuning the learning rates for the speech encoder, connector, and decoder yields the lowest error rates, with full three-component adaptation (LoRA for encoder and decoder, full training for the connector) producing the best FL results. We observe that FedProx efficacy is architecture-dependent, providing notable advantages in multilingual pre-trained architectures (e.g., EuroLLM over TinyLlama when keeping the encoder fixed); this indicates that LLM backbone capacity plays a key role in mediating resilience to heterogeneous data distributions. These findings offer concrete design guidance for deploying multilingual Speech-LLMs in privacy-sensitive, distributed environments.
• Abstract（参考訳）: 我々は,多言語自動音声認識(ASR)のためのフェデレート学習(FL)の総合ベンチマークを行い,多言語LibriSpeechデータセット上での4つの音声-LLMアーキテクチャの評価を行った。 我々は、FedAvgとFedProxを凍結および凍結されていないエンコーダ構成で比較し、最適化された学習率がパフォーマンスに不可欠であることを実証した。 具体的には、音声エンコーダ、コネクタ、デコーダの学習率を独立に調整すると、最も低いエラー率となり、完全な3成分適応(エンコーダとデコーダのLoRA、コネクタのフルトレーニング)が最高のFL結果を生成する。 我々は、FedProxの有効性はアーキテクチャに依存しており、多言語事前学習アーキテクチャ(例えば、エンコーダを固定する際のTinyLlama上のEuroLLM)において顕著な利点を提供する。 これらの知見は、プライバシーに敏感で分散した環境に多言語音声-LLMをデプロイするための具体的な設計指針を提供する。

関連論文リスト

• JASTIN: Aligning LLMs for Zero-Shot Audio and Speech Evaluation via Natural Language Instructions [66.71387365429062]
  JASTINは命令駆動型オーディオ評価フレームワークである。 自己指示型推論タスクとして音声アセスメントを定式化する。 音声、音、音楽、ドメイン外評価タスクでMLLMを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-06T05:18:42Z)
• Prepending or Cross-Attention for Speech-to-Text? An Empirical Comparison [27.44915531637358]
  本研究では,高密度機能プリペンディング(DFP)とクロスアテンションアーキテクチャの性能を比較した。 DFPは広く採用されているが,本研究の結果はDFPのクロスアテンションに対する優位性を示すものではない。
  論文  参考訳（メタデータ） (2025-01-04T20:14:16Z)
• Large Language Models are Strong Audio-Visual Speech Recognition Learners [53.142635674428874]
  マルチモーダル・大規模言語モデル(MLLM)は,近年,多モーダル理解能力の強化により,研究の焦点となっている。 本稿では,Llama-AVSRを提案する。 我々は,最大公的なAVSRベンチマークであるLSS3に対する提案手法を評価し,WERが0.79%,AVSRが0.77%であるASRとAVSRのタスクに対して,新しい最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2024-09-18T21:17:27Z)
• Investigating Decoder-only Large Language Models for Speech-to-text Translation [39.17113782374464]
  大規模言語モデル (LLM) は、様々なドメインにまたがる例外的な推論能力、一般化可能性、およびレイテンシで知られている。 我々は,LLMが直接符号化された音声表現を消費し,テキスト翻訳を生成することができるデコーダのみのアーキテクチャを提案する。 本モデルでは,プロプライエタリなデータを必要としないモデル間で,CoVoST 2およびFLEURSの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-07-03T14:42:49Z)
• In-context Autoencoder for Context Compression in a Large Language Model [70.7621953091318]
  In-context Autoencoder (ICAE) を提案し、長いコンテキストを短いメモリスロットに圧縮する。 ICAEは、大量のテキストデータに基づく自動符号化と言語モデリングの両方の目的を用いて、まず事前訓練を行う。
  論文  参考訳（メタデータ） (2023-07-13T17:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。