論文の概要: Memory-adaptive Depth-wise Heterogeneous Federated Learning

• arxiv url: http://arxiv.org/abs/2303.04887v3
• Date: Tue, 02 Sep 2025 01:57:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-05 14:03:58.535331
• Title: Memory-adaptive Depth-wise Heterogeneous Federated Learning
• Title（参考訳）: メモリ適応深度不均一なフェデレーション学習
• Authors: Kai Zhang, Yutong Dai, Hongyi Wang, Eric Xing, Xun Chen, Lichao Sun,
• Abstract要約: FLにFeDepthというメモリ適応型深度学習ソリューションを導入し,各クライアントのメモリ予算に応じて,全モデルをブロックに適応的に分解する。 CIFAR-10 と CIFAR-100 では,CIFAR-10 と CIFAR-100 でそれぞれ 5% と 10% 以上の精度向上を実現した。
• 参考スコア（独自算出の注目度）: 30.857617078494414
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning is a promising paradigm that allows multiple clients to collaboratively train a model without sharing the local data. However, the presence of heterogeneous devices in federated learning, such as mobile phones and IoT devices with varying memory capabilities, would limit the scale and hence the performance of the model could be trained. The mainstream approaches to address memory limitations focus on width-slimming techniques, where different clients train subnetworks with reduced widths locally and then the server aggregates the subnetworks. The global model produced from these methods suffers from performance degradation due to the negative impact of the actions taken to handle the varying subnetwork widths in the aggregation phase. In this paper, we introduce a memory-adaptive depth-wise learning solution in FL called FeDepth, which adaptively decomposes the full model into blocks according to the memory budgets of each client and trains blocks sequentially to obtain a full inference model. Our method outperforms state-of-the-art approaches, achieving 5% and more than 10% improvements in top-1 accuracy on CIFAR-10 and CIFAR-100, respectively. We also demonstrate the effectiveness of depth-wise fine-tuning on ViT. Our findings highlight the importance of memory-aware techniques for federated learning with heterogeneous devices and the success of depth-wise training strategy in improving the global model's performance.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)は、複数のクライアントがローカルデータを共有せずに、協調的にモデルをトレーニングできる、有望なパラダイムである。 しかしながら、携帯電話やIoTデバイスなど、さまざまなメモリ能力を持つフェデレーション学習における異種デバイスの存在は、スケールを制限し、モデルの性能をトレーニングすることが可能になる。 メモリ制限に対処する主流のアプローチは幅制限技術に重点を置いており、異なるクライアントが幅を減らしたサブネットをローカルにトレーニングし、サーバがサブネットを集約する。 これらの手法から生成されたグローバルモデルでは,アグリゲーションフェーズにおける様々なサブネットワーク幅を扱うために行われた動作の負の影響により,性能劣化に悩まされる。 本稿では,FL において FeDepth と呼ばれるメモリ適応型深度学習ソリューションを導入し,各クライアントのメモリ予算に応じて全モデルをブロックに適応的に分解し,連続的にブロックを訓練し,完全な推論モデルを得る。 CIFAR-10 と CIFAR-100 では,CIFAR-10 と CIFAR-100 でそれぞれ 5% と 10% 以上の精度向上を実現した。 また,ViTにおける深度ワイド微調整の有効性を実証した。 本研究は,異種デバイスを用いたフェデレーション学習におけるメモリ認識技術の重要性と,グローバルモデルの性能向上における深層学習戦略の成功を明らかにするものである。

関連論文リスト

• DSFormer: A Dual-Scale Cross-Learning Transformer for Visual Place Recognition [16.386674597850778]
  本稿では,TransformerベースのクロスラーニングモジュールであるDual-Scale-Former(DSFormer)と,革新的なブロッククラスタリング戦略を統合する新しいフレームワークを提案する。 提案手法は,ほとんどのベンチマークデータセットにまたがって最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-07-24T14:29:30Z)
• Any Image Restoration via Efficient Spatial-Frequency Degradation Adaptation [158.37640586809187]
  劣化した画像を1つのモデルで効率的に復元することは、ますます重要になっている。 我々のアプローチはAnyIRと呼ばれ、様々な劣化にまたがる固有の類似性を活用する統一された経路をとっています。 劣化認識と文脈的注意を融合させるため,空間周波数並列融合戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-19T09:54:46Z)
• Embedded Federated Feature Selection with Dynamic Sparse Training: Balancing Accuracy-Cost Tradeoffs [1.749521391198341]
  textitDynamic Sparse Federated Feature Selection (DSFFS)について述べる。 トレーニング中、入力層ニューロン、それらの接続、および隠れ層接続は動的に切断され、非形式的特徴を排除される。 生物学、画像、スピーチ、テキストを含む9つの実世界のデータセットで、いくつかの実験が実施されている。
  論文  参考訳（メタデータ） (2025-04-07T16:33:05Z)
• Embracing Federated Learning: Enabling Weak Client Participation via Partial Model Training [21.89214794178211]
  フェデレートラーニング(FL)では、クライアントは完全なモデルをトレーニングしたり、メモリ空間に保持することができない弱いデバイスを持っているかもしれない。 我々は、すべての利用可能なクライアントが分散トレーニングに参加することを可能にする、一般的なFLフレームワークであるEnbracingFLを提案する。 実験により,FL の導入は,すべてのクライアントが強力であるように常に高い精度を達成し,最先端の幅削減手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-21T13:19:29Z)
• Federated Learning with Flexible Architectures [12.800116749927266]
  本稿では,フレキシブルアーキテクチャを用いたフェデレートラーニング(FedFA)について紹介する。 FedFAは、モデルアグリゲーション中に、クライアントのローカルアーキテクチャとFLシステムにおける最大のネットワークアーキテクチャを整合させるために、レイヤグラフト技術を導入している。
  論文  参考訳（メタデータ） (2024-06-14T09:44:46Z)
• Heterogeneous Federated Learning with Splited Language Model [22.65325348176366]
  フェデレート・スプリット・ラーニング(FSL)は、実際には有望な分散学習パラダイムである。 本稿では,前訓練画像変換器(PIT)をFedVと呼ばれる初期モデルとして利用し,トレーニングプロセスの高速化とモデルロバスト性の向上を図る。 我々は、実世界のデータセット、異なる部分的デバイス参加、異種データ分割におけるPITを用いたFSL手法の体系的評価を初めて行った。
  論文  参考訳（メタデータ） (2024-03-24T07:33:08Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Submodel Partitioning in Hierarchical Federated Learning: Algorithm Design and Convergence Analysis [15.311309249848739]
  階層学習(FL)は、従来の「星のトポロジー」アーキテクチャに基づく連合学習(FL)よりも有望なスケーラビリティを実証している。 本稿では,IoT(Internet of Things)の独立したサブトレーニングを提案する。 HISTの背景にある主要なアイデアは、モデル計算のグローバルバージョンであり、グローバルモデルを各ラウンドの非結合サブモデルに分割し、異なるセルに分散する。
  論文  参考訳（メタデータ） (2023-10-27T04:42:59Z)
• FedYolo: Augmenting Federated Learning with Pretrained Transformers [61.56476056444933]
  本研究では,デバイス上での学習目標を達成するための事前学習型トランスフォーマー(PTF)について検討する。 大規模化により,代替手法間の精度ギャップが小さくなり,ロバスト性も向上することを示す。 最後に、クライアントは単一のPTFを使用して複数の無関係なタスクを同時に解決できる。
  論文  参考訳（メタデータ） (2023-07-10T21:08:52Z)
• Adaptive Parameterization of Deep Learning Models for Federated Learning [85.82002651944254]
  Federated Learningは、分散形式でディープニューラルネットワークをトレーニングする方法を提供する。 トレーニング中にモデルパラメータや勾配を定期的に交換する必要があるため、通信オーバーヘッドが発生する。 本稿では,フェデレートラーニングのための並列適応器を提案する。
  論文  参考訳（メタデータ） (2023-02-06T17:30:33Z)
• No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
  この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。 また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T13:03:27Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Accelerating Federated Learning over Reliability-Agnostic Clients in Mobile Edge Computing Systems [15.923599062148135]
  フェデレーション学習は、AIアプリケーションを促進するための、将来性のあるプライバシ保護アプローチとして登場した。 MECアーキテクチャと統合された場合、FLの効率性と効率を最適化することは依然として大きな課題である。 本稿では,MECアーキテクチャのために,HybridFLと呼ばれる多層フェデレート学習プロトコルを設計する。
  論文  参考訳（メタデータ） (2020-07-28T17:35:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。