論文の概要: Warming Up for Zeroth-Order Federated Pre-Training with Low Resource Clients

• arxiv url: http://arxiv.org/abs/2509.03503v1
• Date: Wed, 03 Sep 2025 17:35:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 21:40:46.615683
• Title: Warming Up for Zeroth-Order Federated Pre-Training with Low Resource Clients
• Title（参考訳）: 低リソースクライアントによるゼロオーダーフェデレーション事前トレーニングのウォーミングアップ
• Authors: Gwen Legate, Irina Rish, Eugene Belilovsky,
• Abstract要約: フェデレートラーニングは、参加者がデータを共有することなく、多数のエッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は、エッジデバイスのサブセットが、モデル更新の実行に必要なクリティカルメモリまたは通信しきい値以下であるような設定について検討する。 我々はメモリ効率のよい微調整法であるMeZOに着想を得た。 各種データセットとモデルアーキテクチャを用いて,ZOWarmUpがロバストなアルゴリズムであることを示す。
• 参考スコア（独自算出の注目度）: 29.247322281710115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning enables collaborative model training across numerous edge devices without requiring participants to share data; however, memory and communication constraints on these edge devices may preclude their participation in training. We consider a setting in which a subset of edge devices are below a critical memory or communication threshold required to conduct model updates. Under typical federated optimization algorithms, these devices are excluded from training which renders their data inaccessible and increases system induced bias. We are inspired by MeZO, a zeroth-order method used for memory-efficient fine-tuning. The increased variance inherent to zeroth-order gradient approximations has relegated previous zeroth-order optimizers exclusively to the domain of fine tuning; a limitation we seek to correct. We devise a federated, memory-efficient zeroth-order optimizer, ZOWarmUp that permits zeroth-order training from a random initialization. ZOWarmUp leverages differing client capabilities and careful variance reduction techniques to facilitate participation of under-represented, low-resource clients in model training. Like other federated zeroth-order methods, ZOWarmUp eliminates the need for edge devices to transmit their full gradients to the server and instead relies on only a small set of random seeds, rendering the up-link communication cost negligible. We present experiments using various datasets and model architectures to show that ZOWarmUp is a robust algorithm that can can be applied under a wide variety of circumstances. For systems with a high proportion of edge devices that would otherwise be excluded from training, this algorithm provides access to a greater volume and diversity of data, thus improving training outcomes.
• Abstract（参考訳）: フェデレートラーニングは、参加者がデータを共有することなく、多数のエッジデバイス間で協調的なモデルトレーニングを可能にするが、これらのエッジデバイスにおけるメモリと通信の制約は、トレーニングへの参加を妨げる可能性がある。 我々は、エッジデバイスのサブセットが、モデル更新の実行に必要なクリティカルメモリまたは通信しきい値以下であるような設定について検討する。 一般的なフェデレーション最適化アルゴリズムでは、これらのデバイスはトレーニングから除外される。 我々はメモリ効率のよい微調整法であるMeZOに着想を得た。 ゼロ階勾配近似に固有の分散の増大は、これまでのゼロ階勾配最適化器を極小チューニングの領域のみに還元した。 我々は、ランダムな初期化からゼロ階のトレーニングを可能にする、フェデレーション付きメモリ効率のゼロ階最適化器ZOWarmUpを考案した。 ZOWarmUpは、異なるクライアント機能と慎重な分散削減技術を活用して、モデルトレーニングにおける低リソースのクライアントの参加を促進する。 他のフェデレートされたゼロオーダー法と同様に、ZOWarmUpはエッジデバイスがサーバに完全な勾配を送信する必要をなくし、代わりに少数のランダムなシードのみに依存し、アップリンク通信コストを無視する。 本稿では,さまざまなデータセットとモデルアーキテクチャを用いて,ZOWarmUpが多種多様な状況下で適用可能な堅牢なアルゴリズムであることを示す。 トレーニングから除外されるエッジデバイスが多いシステムでは、このアルゴリズムはデータのボリュームと多様性の増大へのアクセスを提供し、トレーニング結果を改善する。

関連論文リスト

• Optimizing Model Splitting and Device Task Assignment for Deceptive Signal Assisted Private Multi-hop Split Learning [58.620753467152376]
  我々のモデルでは、複数のエッジデバイスが共同で協調訓練を行い、一部の盗聴者はデバイスからモデルとデータ情報を収集することを目的としている。 盗聴者がモデルやデータ情報を集めるのを防止するため、装置のサブセットは、偽装信号を送信することができる。 本稿では,本質的な好奇性モジュールとクロスアテンションを備えたアクター批判型深層強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-09T22:53:23Z)
• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• Stochastic Coded Federated Learning: Theoretical Analysis and Incentive Mechanism Design [18.675244280002428]
  我々は、コード化されたコンピューティング技術を活用する新しいFLフレームワーク、コード付きフェデレーションラーニング(SCFL)を提案する。 SCFLでは、各エッジデバイスがプライバシを保存するコード化されたデータセットをサーバにアップロードする。 SCFLは、与えられた時間内でより良いモデルを学び、ベースライン方式よりも優れたプライバシーとパフォーマンスのトレードオフを実現する。
  論文  参考訳（メタデータ） (2022-11-08T09:58:36Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• Boosting Resource-Constrained Federated Learning Systems with Guessed Updates [1.6053176639259055]
  GELは制約のあるエッジデバイスに対して,勾配ベースのステップ上での推測更新を通じて,さらなる学習を可能にする。 GELは、資源制約ネットワークにおいて、経験的収束を最大40%向上させることができる。
  論文  参考訳（メタデータ） (2021-10-21T21:23:04Z)
• ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
  本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。 以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
  論文  参考訳（メタデータ） (2021-10-11T14:45:00Z)
• Federated learning with class imbalance reduction [24.044750119251308]
  フェデレートラーニング(Federated Learning, FL)は、多数のエッジコンピューティングデバイスが協調してグローバルラーニングモデルをトレーニングすることを可能にする技術である。 プライバシー上の懸念から、デバイス上の生データは集中型サーバでは利用できない。 本稿では,生データを意識せずにクラス分布を明らかにするための推定手法を提案する。
  論文  参考訳（メタデータ） (2020-11-23T08:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。