論文の概要: FEAST: Federated Shared-Space Training for Resource-Heterogeneous Clients

• arxiv url: http://arxiv.org/abs/2608.09250v1
• Date: Mon, 10 Aug 2026 08:10:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.139811
• Title: FEAST: Federated Shared-Space Training for Resource-Heterogeneous Clients
• Title（参考訳）: FEAST: リソースヘテロジニアスクライアントのための共有スペースのフェデレーショントレーニング
• Abstract要約: フェデレーション学習は、様々な計算能力を持つデバイスに役立たなければならない。 代わりに、スーパーネットトレーニングは、異なるサイズで固定された弾性モデルを学習し、各デバイスに適切なモデルをデプロイする。 クライアントの推論予算が異なる場合、高コストの作業専用のパラメータは、より少ないクライアントで到達可能である。 この不均衡に対処する共有スペーストレーニングフレームワークであるFEASTを提案する。
• 参考スコア（独自算出の注目度）: 2.1485350418225244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) must serve devices with varying computational capabilities. A fixed model cannot suit all devices, while training one model per deployment limit is costly. Federated supernet training instead learns one elastic model with differently sized subnetworks, then deploys a suitable one to each device. When client inference budgets differ, however, parameters exclusive to high-cost subnetworks are reachable by fewer clients. We propose FEAST, a federated shared-space training framework that counters this imbalance by jointly training multiple subnetworks within each client's limit. Budget-tailored sub-supernet routing sends only the relevant supernet portion, and sparse aggregation merges the returned parameter slices. The trained supernet directly serves the subnetworks used during federation and supports post-hoc extraction of additional subnetworks without federated retraining. We further show that independently assigning clients' training-data volumes and inference budgets can distort accuracy--inference-cost comparisons in heterogeneous FL simulations, and introduce a one-parameter $γ$-allocation protocol to control this coupling. In our experimental setup, the SuperFedNAS and DeepFedNAS supernet training procedures remain near chance at 25M and reach at most $17.09\%$ at $596$M inference MACs; FEAST reaches $71.06\%$ at $596$M, $2.4$ points above the strongest model-heterogeneous weight-sharing baseline at its largest tier. Across CIFAR-100, CINIC-10, and TinyImageNet-200, FEAST achieves the highest population-averaged accuracy among the evaluated weight-sharing methods when each client receives its largest affordable subnetwork. Sub-supernet routing reduces aggregate model-parameter traffic by $6.8\times$ relative to full-supernet transmission.
• Abstract（参考訳）: フェデレートラーニング(FL)は、様々な計算能力を持つデバイスを提供する必要がある。 固定モデルはすべてのデバイスに適合しないが、デプロイメント単位のモデル1つをトレーニングするのはコストがかかる。 フェデレーションされたスーパーネットトレーニングは、代わりに、異なるサイズのサブネットワークを持つ1つの弾性モデルを学び、各デバイスに適切なものをデプロイする。 しかし、クライアントの推測予算が異なる場合、高コストのサブネットワークに限定したパラメータは、より少ないクライアントで到達可能である。 本稿では,各クライアントの制限内で複数のサブネットワークを共同でトレーニングすることで,この不均衡に対処する,フェデレートされた共有空間トレーニングフレームワークであるFEASTを提案する。 予算調整サブスーパーネットルーティングは、関連するスーパーネット部分のみを送信し、スパースアグリゲーションは、返されたパラメータスライスをマージする。 トレーニングされたスーパーネットは、フェデレーション中に使用されるサブネットを直接提供し、フェデレーションの再トレーニングなしで追加サブネットのポストホック抽出をサポートする。 さらに、クライアントのトレーニングデータボリュームと推論予算を独立に割り当てることで、異種FLシミュレーションにおける推論コストの比較を歪曲し、この結合を制御するための1パラメータ$γ$-allocationプロトコルを導入する。 実験的なセットアップでは、SuperFedNASとDeepFedNASのスーパーネットトレーニング手順は25Mに近づき、最大で17.09 %で596$Mの推論MACに到達します。 CIFAR-100,CINIC-10,TinyImageNet-200全体で、FEASTは、各クライアントが最も手頃な価格のサブネットワークを受信した場合に、評価されたウェイトシェアリング手法の中で、最も高い人口平均精度を達成している。 サブスーパーネットルーティングは、全スーパーネット送信と比較して、集約モデルパラメータのトラフィックを6.8\times$に削減する。

関連論文リスト

• FANS: Federated Adaptive Network Search Learning for Heterogeneous Devices [44.62284429272935]
  不均一学習(HFL)は、データのプライバシを保持しながら、さまざまなリソース予算を持つデバイス間でモデルをトレーニングすることを目的としている。 我々は,共有アーキテクチャ空間を学習するハイパーネットワークベースのフレームワークであるFederated Adaptive Network Search (FANS)を紹介する。 CIFAR-10, CIFAR-100, MNLIのFANSをResNet-18, DenseNet-121, BERT-baseを用いて評価した。
  論文  参考訳（メタデータ） (2026-09-05T13:57:56Z)
• Unextractable Protocol Models: Collaborative Training and Inference without Weight Materialization [58.14514930760722]
  参加者が協力して大規模なニューラルネットワークを訓練し、提供する分散セットアップを検討する。 このセットアップでは、フルウェイトセットがどの参加者にも利用できないような、非機械的なウェイトの可能性を探る。 我々は、シャードモデルセットアップを利用するトレーニングおよび推論フレームワーク、Unextractable Protocol Models (UPMs)を紹介する。
  論文  参考訳（メタデータ） (2026-05-22T10:24:57Z)
• Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
  提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。 これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
  論文  参考訳（メタデータ） (2023-12-03T04:20:02Z)
• On the Convergence of Federated Averaging under Partial Participation for Over-parameterized Neural Networks [13.2844023993979]
  フェデレートラーニング(FL)は、ローカルデータを共有せずに複数のクライアントから機械学習モデルを協調的に作成するための分散パラダイムである。 本稿では,FedAvgが世界規模で世界規模で収束していることを示す。
  論文  参考訳（メタデータ） (2023-10-09T07:56:56Z)
• Mixture-of-Supernets: Improving Weight-Sharing Supernet Training with Architecture-Routed Mixture-of-Experts [55.470959564665705]
  ウェイトシェアリングスーパーネットは、最先端のニューラルサーチフレームワークのパフォーマンス評価に不可欠である。 提案手法は,高速機械翻訳モデルのためのNASにおける最先端(SoTA)性能を実現する。 メモリ効率のよいタスク非依存のBERTモデルを構築するためにNASが優れている。
  論文  参考訳（メタデータ） (2023-06-08T00:35:36Z)
• SuperFedNAS: Cost-Efficient Federated Neural Architecture Search for On-Device Inference [7.860030408676541]
  フェデレートラーニング(FL)のためのニューラルアーキテクチャサーチ(NAS)は新興分野である。 プライバシ、通信コスト、規制制限のためにデータが集中できない場合、Deep Neural Networks(DNN)の設計とトレーニングを自動化する。 最近のフェデレーションNAS法は、手作業の労力を減らすだけでなく、FedAvgのような従来のFL法よりも高い精度を達成するのに役立つ。
  論文  参考訳（メタデータ） (2023-01-26T00:17:10Z)
• Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
  クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。 本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2022-11-10T13:20:56Z)
• Sparse Random Networks for Communication-Efficient Federated Learning [23.614934319624826]
  連合学習における大きな課題の1つは、各ラウンドでクライアントからサーバへの重み付け更新を交換する通信コストが大きいことである。 重みをまったく更新しない、根本的に異なるアプローチを提案する。 代わりに,本手法は,初期エンファンドム値の重みを凍結し,最適な性能を得るためにランダムネットワークのスパース化方法を学ぶ。
  論文  参考訳（メタデータ） (2022-09-30T09:11:09Z)
• Supernet Training for Federated Image Classification under System Heterogeneity [15.2292571922932]
  本研究では,2つのシナリオ,すなわちフェデレーション・オブ・スーパーネット・トレーニング(FedSup)を考えるための新しい枠組みを提案する。 フェデレートラーニング(FL)のモデルアグリゲーション段階でのパラメータの平均化は、スーパーネットトレーニングにおけるウェイトシェアリングとどのように似ているかに着想を得ている。 本フレームワークでは,通信コストの削減とトレーニングオーバーヘッドの低減のために,放送段階のクライアントにサブモデルを送信することで,効率的なアルゴリズム(E-FedSup)を提案する。
  論文  参考訳（メタデータ） (2022-06-03T02:21:01Z)
• An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
  フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。 本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。 我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
  論文  参考訳（メタデータ） (2021-11-19T12:58:59Z)
• ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
  本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。 以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
  論文  参考訳（メタデータ） (2021-10-11T14:45:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。