論文の概要: EFTViT: Efficient Federated Training of Vision Transformers with Masked Images on Resource-Constrained Edge Devices

• arxiv url: http://arxiv.org/abs/2412.00334v1
• Date: Sat, 30 Nov 2024 03:20:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:50:07.552136
• Title: EFTViT: Efficient Federated Training of Vision Transformers with Masked Images on Resource-Constrained Edge Devices
• Title（参考訳）: EFTViT:資源制約エッジデバイス上でのマスク画像を用いた視覚変換器の効率的なフェデレーショントレーニング
• Authors: Meihan Wu, Tao Chang, Cui Miao, Jie Zhou, Chun Li, Xiangyu Xu, Ming Li, Xiaodong Wang,
• Abstract要約: フェデレートラーニング研究は、最近、畳み込みニューラルネットワーク(CNN)からビジョントランスフォーマー(ViT)に移行した。 本研究では,資源制約のあるエッジデバイス上での効率的なトレーニングを実現するために,マスク付き画像を利用する階層型フェデレーションフレームワークであるETFViTを提案する。 EFTViTは、最大28.17%の精度向上を実現し、ローカルトレーニング計算コストを最大2.8$times$に削減し、既存の方法と比較して、ローカルトレーニング時間を最大4.4$times$に削減する。
• 参考スコア（独自算出の注目度）: 35.04559176460984
• License:
• Abstract: Federated learning research has recently shifted from Convolutional Neural Networks (CNNs) to Vision Transformers (ViTs) due to their superior capacity. ViTs training demands higher computational resources due to the lack of 2D inductive biases inherent in CNNs. However, efficient federated training of ViTs on resource-constrained edge devices remains unexplored in the community. In this paper, we propose EFTViT, a hierarchical federated framework that leverages masked images to enable efficient, full-parameter training on resource-constrained edge devices, offering substantial benefits for learning on heterogeneous data. In general, we patchify images and randomly mask a portion of the patches, observing that excluding them from training has minimal impact on performance while substantially reducing computation costs and enhancing data content privacy protection. Specifically, EFTViT comprises a series of lightweight local modules and a larger global module, updated independently on clients and the central server, respectively. The local modules are trained on masked image patches, while the global module is trained on intermediate patch features uploaded from the local client, balanced through a proposed median sampling strategy to erase client data distribution privacy. We analyze the computational complexity and privacy protection of EFTViT. Extensive experiments on popular benchmarks show that EFTViT achieves up to 28.17% accuracy improvement, reduces local training computational cost by up to 2.8$\times$, and cuts local training time by up to 4.4$\times$ compared to existing methods.
• Abstract（参考訳）: フェデレーション学習の研究は、その優れた能力のために、最近、畳み込みニューラルネットワーク(CNN)からビジョントランスフォーマー(ViT)に移行した。 ViTsトレーニングは、CNNに固有の2Dインダクティブバイアスが欠如しているため、より高い計算資源を必要とする。 しかし、資源制約されたエッジデバイス上でのViTの効率的なフェデレーショントレーニングは、コミュニティでは未検討のままである。 本稿では,資源制約されたエッジデバイス上での効率的なフルパラメータトレーニングを実現するために,マスク付き画像を活用する階層型フェデレーションフレームワークであるETFViTを提案する。 一般に、画像のパッチ化とパッチの一部をランダムにマスクし、トレーニングから除外することは、パフォーマンスに最小限の影響を与えると同時に、計算コストを大幅に削減し、データコンテンツプライバシ保護の強化を図っている。 具体的には、EDTViTは、クライアントと中央サーバでそれぞれ独立して更新される、一連の軽量なローカルモジュールと、より大きなグローバルモジュールから構成される。 ローカルモジュールはマスクされたイメージパッチに基づいてトレーニングされ、グローバルモジュールはローカルクライアントからアップロードされた中間パッチ機能に基づいてトレーニングされる。 EFTViTの計算複雑性とプライバシー保護を解析する。 人気のあるベンチマークに関する大規模な実験によると、FTViTは28.17%の精度向上を実現し、ローカルトレーニングの計算コストを2.8$\times$まで削減し、既存の方法と比較して4.4$\times$まで削減している。

関連論文リスト

• Federated Learning with Workload Reduction through Partial Training of Client Models and Entropy-Based Data Selection [3.9981390090442694]
  我々は,エッジデバイス上でのトレーニング負荷を削減するために,部分的クライアントモデルのファインチューニングとエントロピーベースのデータ選択を組み合わせた新しいアプローチであるFedFT-EDSを提案する。 実験の結果,FedFT-EDSは50%のユーザデータしか使用せず,ベースライン法,FedAvg,FedProxに比べてグローバルモデルの性能が向上していることがわかった。 FedFT-EDSは、クライアントでのトレーニング時間の3分の1を使用して、クライアントの学習効率を最大3倍改善する。
  論文  参考訳（メタデータ） (2024-12-30T22:47:32Z)
• Heterogeneous Federated Learning with Splited Language Model [22.65325348176366]
  フェデレート・スプリット・ラーニング(FSL)は、実際には有望な分散学習パラダイムである。 本稿では,前訓練画像変換器(PIT)をFedVと呼ばれる初期モデルとして利用し,トレーニングプロセスの高速化とモデルロバスト性の向上を図る。 我々は、実世界のデータセット、異なる部分的デバイス参加、異種データ分割におけるPITを用いたFSL手法の体系的評価を初めて行った。
  論文  参考訳（メタデータ） (2024-03-24T07:33:08Z)
• Go beyond End-to-End Training: Boosting Greedy Local Learning with Context Supply [0.11359551336076305]
  ゆるやかなローカル学習は、ネットワークを勾配に分離したモジュールに分割し、局所的な予備的損失に基づいて監督的に訓練する。 勾配分離モジュールのセグメンテーション数が増加するにつれて、局所学習方式の性能は大幅に低下する。 本稿では,情報損失を補うために,分離モジュール間のコンテキスト供給を組み込んだContSupスキームを提案する。
  論文  参考訳（メタデータ） (2023-12-12T10:25:31Z)
• Magic ELF: Image Deraining Meets Association Learning and Transformer [63.761812092934576]
  本稿では,CNN と Transformer を統合化して,画像デライニングにおける学習のメリットを活用することを目的とする。 降雨除去と背景復旧を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。 提案手法(ELF)は,最先端手法(MPRNet)を平均0.25dB向上させる。
  論文  参考訳（メタデータ） (2022-07-21T12:50:54Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
  Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。 我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
  論文  参考訳（メタデータ） (2021-12-18T02:26:38Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Comfetch: Federated Learning of Large Networks on Constrained Clients via Sketching [28.990067638230254]
  フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。 我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
  論文  参考訳（メタデータ） (2021-09-17T04:48:42Z)
• Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
  フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。 本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
  論文  参考訳（メタデータ） (2021-08-12T14:18:05Z)
• Revisiting Locally Supervised Learning: an Alternative to End-to-end Training [36.43515074019875]
  そこで我々は,情報伝達(InfoPro)損失を提案する。ローカルモジュールが可能な限り有用な情報を保存することを奨励する。 E2E トレーニングと比較して,InfoPro は 40% 未満のメモリフットプリントで競合性能を達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-01-26T15:02:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。