Fugu-MT 論文翻訳(概要): Parameter-Efficient Transfer Learning under Federated Learning for Automatic Speech Recognition

論文の概要: Parameter-Efficient Transfer Learning under Federated Learning for Automatic Speech Recognition

arxiv url: http://arxiv.org/abs/2408.11873v1
Date: Mon, 19 Aug 2024 22:28:20 GMT
ステータス: 処理完了
システム内更新日: 2024-08-23 18:26:17.277890
Title: Parameter-Efficient Transfer Learning under Federated Learning for Automatic Speech Recognition
Title（参考訳）: 自動音声認識のためのフェデレーション学習におけるパラメータ効率のよい伝達学習
Authors: Xuan Kan, Yonghui Xiao, Tien-Ju Yang, Nanxin Chen, Rajiv Mathews,
Abstract要約: 我々は、ASRモデルの膨大なデータ要求を解決するために、フェデレートラーニングとパラメータ効率の高いドメイン適応手法を用いる。我々は, 適切なアダプタを装着すると, 集中型チューニングモデルと比較して, 連合型チューニングモデルでも同様の性能が得られることを示した。
参考スコア（独自算出の注目度）: 17.802421162395994
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This work explores the challenge of enhancing Automatic Speech Recognition (ASR) model performance across various user-specific domains while preserving user data privacy. We employ federated learning and parameter-efficient domain adaptation methods to solve the (1) massive data requirement of ASR models from user-specific scenarios and (2) the substantial communication cost between servers and clients during federated learning. We demonstrate that when equipped with proper adapters, ASR models under federated tuning can achieve similar performance compared with centralized tuning ones, thus providing a potential direction for future privacy-preserved ASR services. Besides, we investigate the efficiency of different adapters and adapter incorporation strategies under the federated learning setting.
Abstract（参考訳）: 本研究は,ユーザデータのプライバシを保ちながら,さまざまなユーザ固有のドメインにわたる自動音声認識(ASR)モデルの性能向上を課題とする。我々は,(1)ユーザ固有のシナリオからASRモデルの膨大なデータ要求を解決するために,フェデレートラーニングとパラメータ効率のよいドメイン適応手法を採用し,(2)フェデレーションラーニングの際,サーバとクライアント間の通信コストを大幅に削減する。我々は, 適切なアダプタを装着した場合, 統合チューニング下でのASRモデルは, 集中型チューニングと同等の性能が得られることを実証し, 将来のプライバシ保護型ASRサービスに対する潜在的方向性を示す。さらに,フェデレート学習環境下では,異なるアダプタとアダプタの組込み方略の効率性についても検討する。

関連論文リスト

FedRSClip: Federated Learning for Remote Sensing Scene Classification Using Vision-Language Models [23.830133838392964]
本稿では,VLM,特にCLIPに基づくリモートセンシング画像分類のための最初のフェデレーション学習フレームワークであるFedRSCLIPを提案する。 FedRSCLIPは、Prompt Learningを導入することで、フェデレーション環境におけるデータ不均一性と大規模モデル伝送の課題に対処する。提案モデルの有効性を検証するため,既存の3つのリモートセンシング画像分類データセットに基づいてFed-RSICデータセットを構築した。
論文参考訳（メタデータ） (2025-01-05T07:10:27Z)
Auto-selected Knowledge Adapters for Lifelong Person Re-identification [54.42307214981537]
Lifelong Person Re-Identificationは、異なる時間と場所にわたる重複しないデータセットから継続的に学習するシステムを必要とする。リハーサルのない、あるいはリハーサルベースの既存のアプローチは、依然として破滅的な忘れ込みの問題に悩まされている。本稿では,知識アダプタを採用した新しいフレームワークであるAdalReIDと,生涯学習のためのパラメータフリー自動選択機構を提案する。
論文参考訳（メタデータ） (2024-05-29T11:42:02Z)
Task-agnostic Decision Transformer for Multi-type Agent Control with Federated Split Training [34.80971707794908]
Federated Split Decision Transformer (FSDT)は、AIエージェント決定タスク用に明示的に設計された革新的なフレームワークである。 FSDTフレームワークは、トレーニングに分散データを活用することで、パーソナライズされたエージェントの複雑さをナビゲートする。本研究は、分散オフライン強化学習データを効果的に活用し、強力なマルチタイプエージェント決定システムを実現するためのFSDTフレームワークの有効性を裏付けるものである。
論文参考訳（メタデータ） (2024-05-22T08:37:37Z)
Communication-Efficient Personalized Federated Learning for Speech-to-Text Tasks [64.02867484165476]
プライバシー保護と法的規制を満たすために、連邦学習(FL)は、音声テキスト(S2T)システムのトレーニングにおいて大きな注目を集めている。 S2Tタスクで一般的に使用されるFLアプローチ(textscFedAvg)は、通常、広範な通信オーバーヘッドに悩まされる。我々は、クライアント側チューニングとサーバとのインタラクションのための軽量なLoRAモジュールであるtextscFedLoRA と、$k$-near を備えたグローバルモデルである textscFedMem を導入したパーソナライズされたS2Tフレームワークを提案する。
論文参考訳（メタデータ） (2024-01-18T15:39:38Z)
ROSE: A Recognition-Oriented Speech Enhancement Framework in Air Traffic Control Using Multi-Objective Learning [6.60571587618006]
無線音声エコー(Radio speech echo)は、空気交通制御(ATC)領域において特定の現象であり、音声品質を低下させ、自動音声認識(ASR)の精度に影響を与える。本研究では,時間領域認識指向音声強調フレームワークを提案し,音声認識能力の向上とASR精度の向上を図る。このフレームワークはATCシナリオのプラグイン・アンド・プレイツールとして機能し、ASRモデルのさらなる再トレーニングを必要としない。
論文参考訳（メタデータ） (2023-12-11T04:51:41Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Adapter-based Selective Knowledge Distillation for Federated Multi-domain Meeting Summarization [36.916155654985936]
会議要約は、利用者に凝縮した要約を提供するための有望な手法として登場した。本稿では,適応型選択的知識蒸留法(AdaFedSelecKD)を提案する。
論文参考訳（メタデータ） (2023-08-07T03:34:01Z)
Adaptive Parameterization of Deep Learning Models for Federated Learning [85.82002651944254]
Federated Learningは、分散形式でディープニューラルネットワークをトレーニングする方法を提供する。トレーニング中にモデルパラメータや勾配を定期的に交換する必要があるため、通信オーバーヘッドが発生する。本稿では,フェデレートラーニングのための並列適応器を提案する。
論文参考訳（メタデータ） (2023-02-06T17:30:33Z)
Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文参考訳（メタデータ） (2022-06-05T01:14:46Z)
Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文参考訳（メタデータ） (2021-08-17T17:53:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。