論文の概要: A Practical Recipe for Semi-Supervised Federated ASR: Online Pseudo-Labels with Server Update Stabilization

• arxiv url: http://arxiv.org/abs/2609.25471v1
• Date: Mon, 21 Sep 2026 22:53:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.139459
• Title: A Practical Recipe for Semi-Supervised Federated ASR: Online Pseudo-Labels with Server Update Stabilization
• Title（参考訳）: 半監督型フェデレーションASRのための実践的レシピ:サーバ更新安定化を伴うオンライン擬似ラベル
• Abstract要約: 半教師付きフェデレーション学習は、教師を用いてクライアントの未ラベルデータに基づいて擬似ラベルを生成する。 ASRは特に脆弱で、擬似ラベルエラーは出力シーケンスと訓練ラウンドにまたがって分散する。 このギャップを閉じると、教師(モデルが擬似ラベルを生成する)とアンカー(アンカー)という2つの結合設計軸が現れる。
• 参考スコア（独自算出の注目度）: 17.448052639752447
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semi-supervised federated learning (SSFL) trains models on clients' unlabeled data using a teacher to generate pseudo-labels, with a small labeled seed dataset on the server. Automatic Speech Recognition (ASR) is particularly fragile here: pseudo-label errors compound across the output sequence and across training rounds into divergence, leaving a large gap to fully-supervised FL. We show that closing this gap turns on two coupled design axes -- the teacher (which model generates the pseudo-labels) and the anchor (the server-side updates on labeled data that stabilize training). On the teacher axis, a per-client online teacher (each client's own evolving model) diverges on its own, but once stabilized it matches or beats the broadcast global teacher (one server model, fixed within a round) -- decisively in-domain and competitively under domain shift. As the seed grows stronger and the online teacher's advantage narrows, a transitioning teacher (global $\rightarrow$ online at round $r$) matches or beats both. On the anchor axis, the server must keep training on labeled data between rounds -- otherwise the online teacher drifts -- and this interleaving, more than the seed model, governs convergence. The two axes are inseparable: aggressive teacher choices pay off only once the anchor stabilizes training, which is highly sensitive to data augmentation and batch size -- the settings that govern how much input and gradient noise the server injects. How much stabilization is needed is domain-dependent, governed by the dispersion of the seed data and its overlap with client data. These findings yield guidelines for SSFL in ASR training, improving over the strongest prior method on 9 of 11 pairs, by $20.8\%$ on average in-domain and $10.0\%$ cross-domain, narrowing the gap to fully-supervised FL.
• Abstract（参考訳）: 半教師付きフェデレーションラーニング(SSFL)は、教師が擬似ラベルを生成するために、クライアントの未ラベルデータに基づいて、小さなラベル付きシードデータセットをサーバ上にトレーニングする。 自動音声認識(ASR)は特に脆弱で、出力シーケンスとトレーニングラウンドをまたいだ擬似ラベルエラーが分散し、完全に教師されたFLに大きなギャップが残る。 このギャップを閉じると、教師(モデルが擬似ラベルを生成する)とアンカー(トレーニングを安定化させるラベル付きデータに対するサーバ側の更新)という2つの結合設計軸が変わります。 教師軸では、一人一人のオンライン教師(各クライアント独自の進化モデル)が独自に分岐するが、一度安定すると、放送されたグローバル教師(1つのサーバモデル、ラウンド内で固定された)と一致または打ち負かされる -- ドメイン内で決定的に、ドメインシフトの下で競争的に競合する。 種が強くなり、オンライン教師の優位性が狭まるにつれて、移行教師(グロバル$\rightarrow$オンラインラウンド$r$)がマッチするか、両方を打ち負かす。 アンカー軸では、サーバーはラウンド間のラベル付きデータ(そうでなければオンライン教師のドリフト)をトレーニングし続けなければなりません。 攻撃的な教師の選択は、アンカーがトレーニングを安定化した時にのみ支払い、これはデータ拡張とバッチサイズに非常に敏感である。 どれだけの安定化が必要かはドメインに依存し、シードデータの分散とクライアントデータとの重複によって管理される。 これらの結果は,ASRトレーニングにおけるSSFLのガイドラインを導出し,11組中9組において最強の先行法,平均内ドメインで20.8 %,クロスドメインで10.0 %を改良し,完全教師付きFLとのギャップを狭めた。

関連論文リスト

• FedFusion: Federated Learning with Diversity- and Cluster-Aware Encoders for Robust Adaptation under Label Scarcity [33.17279604575767]
  FedFusionは、ドメイン適応とフラゲラベリングを統合する、フェデレートされたトランスファーラーニングフレームワークである。 遅延教師クライアントは、信頼度フィルタリングされた擬似ラベルとドメイン適応転送を通じて学習者クライアントをガイドする。 FedFusionは、常に最先端のベースライン、正確性、堅牢性、公正性を上回っている。
  論文  参考訳（メタデータ） (2025-09-23T16:46:06Z)
• FedAnchor: Enhancing Federated Semi-Supervised Learning with Label Contrastive Loss for Unlabeled Clients [19.3885479917635]
  Federated Learning(FL)は、デバイス間で共有されたグローバルモデルの協調トレーニングを促進する分散学習パラダイムである。 本稿では,サーバ上のラベル付きアンカーデータにのみ訓練された分類ヘッドと組み合わせて,アンカーヘッドと呼ばれるユニークな二重ヘッド構造を導入する,革新的なFSSL手法であるFedAnchorを提案する。 提案手法は, 高信頼度モデル予測サンプルに基づいて, 疑似ラベル技術に係わる検証バイアスと過度に適合する問題を緩和する。
  論文  参考訳（メタデータ） (2024-02-15T18:48:21Z)
• Combating Data Imbalances in Federated Semi-supervised Learning with Dual Regulators [40.12377870379059]
  フェデレートされた半教師付き学習(FSSL)は、少数のラベル付きデータからモデルをトレーニングするために現れる。 デュアルレギュレータであるFedDureを用いた新しいFSSLフレームワークを提案する。 FedDureは、さまざまな設定で既存のメソッドよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-11T15:45:03Z)
• ProtoCon: Pseudo-label Refinement via Online Clustering and Prototypical Consistency for Efficient Semi-supervised Learning [60.57998388590556]
  ProtoConは信頼性に基づく疑似ラベル作成の新しい手法である。 ProtoConのオンライン版では、データセット全体のラベル履歴を1回のトレーニングサイクルで活用することができる。 最先端のデータセットよりも大幅に向上し、より高速に収束する。
  論文  参考訳（メタデータ） (2023-03-22T23:51:54Z)
• Label Matching Semi-Supervised Object Detection [85.99282969977541]
  半教師対象検出は,教師主導型自己学習の開発において大きな進歩を遂げている。 ラベルミスマッチ問題は、以前の研究でまだ完全に解明されていないため、自己学習中に重大な確証バイアスが生じる。 本稿では,2つの異なる相補的視点から,単純かつ効果的な LabelMatch フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-14T05:59:41Z)
• Adversarial Dual-Student with Differentiable Spatial Warping for Semi-Supervised Semantic Segmentation [70.2166826794421]
  本研究では、教師なしデータ拡張を行うために、微分可能な幾何ワープを提案する。 また,平均教師数を改善するために,新しい対角的二重学習フレームワークを提案する。 我々のソリューションは、両方のデータセットで得られるパフォーマンスと最先端の結果を大幅に改善します。
  論文  参考訳（メタデータ） (2022-03-05T17:36:17Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Online Continual Adaptation with Active Self-Training [69.5815645379945]
  本研究では,ラベルなしサンプルと限定ラベルのアクティブクエリの両方を用いて,学習者が変化に継続的に適応することを目的としたオンライン環境を提案する。 Online Self-Adaptive Mirror Descent (OSAMD)は、未ラベルのデータからオンラインの自己学習を可能にするオンライン教師学生構造を採用している。 我々は,OSAMDが実世界とシミュレーションデータの両方に限定されたラベルを持つ環境変化下で,好意的な後悔を達成していることを示す。
  論文  参考訳（メタデータ） (2021-06-11T17:51:25Z)
• Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
  セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。 ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。 SSLとTLの5つのタスクをシャープなマージンで上回ります。
  論文  参考訳（メタデータ） (2021-02-25T14:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。