論文の概要: OnDev-LCT: On-Device Lightweight Convolutional Transformers towards federated learning

• arxiv url: http://arxiv.org/abs/2401.11652v1
• Date: Mon, 22 Jan 2024 02:17:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 15:20:52.071074
• Title: OnDev-LCT: On-Device Lightweight Convolutional Transformers towards federated learning
• Title（参考訳）: OnDev-LCT:連合学習に向けたオンデバイス軽量畳み込み変換器
• Authors: Chu Myaet Thwal, Minh N.H. Nguyen, Ye Lin Tun, Seong Tae Kim, My T. Thai, Choong Seon Hong
• Abstract要約: フェデレートラーニング(FL)は、複数のエッジデバイスにまたがる機械学習モデルを協調的にトレーニングするための、有望なアプローチとして登場した。 トレーニングデータとリソースに制限のあるオンデバイスビジョンタスクのための軽量畳み込み変換器を提案する。
• 参考スコア（独自算出の注目度）: 29.798780069556074
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated learning (FL) has emerged as a promising approach to collaboratively train machine learning models across multiple edge devices while preserving privacy. The success of FL hinges on the efficiency of participating models and their ability to handle the unique challenges of distributed learning. While several variants of Vision Transformer (ViT) have shown great potential as alternatives to modern convolutional neural networks (CNNs) for centralized training, the unprecedented size and higher computational demands hinder their deployment on resource-constrained edge devices, challenging their widespread application in FL. Since client devices in FL typically have limited computing resources and communication bandwidth, models intended for such devices must strike a balance between model size, computational efficiency, and the ability to adapt to the diverse and non-IID data distributions encountered in FL. To address these challenges, we propose OnDev-LCT: Lightweight Convolutional Transformers for On-Device vision tasks with limited training data and resources. Our models incorporate image-specific inductive biases through the LCT tokenizer by leveraging efficient depthwise separable convolutions in residual linear bottleneck blocks to extract local features, while the multi-head self-attention (MHSA) mechanism in the LCT encoder implicitly facilitates capturing global representations of images. Extensive experiments on benchmark image datasets indicate that our models outperform existing lightweight vision models while having fewer parameters and lower computational demands, making them suitable for FL scenarios with data heterogeneity and communication bottlenecks.
• Abstract（参考訳）: フェデレートラーニング(FL)は、プライバシーを維持しながら、複数のエッジデバイス間で機械学習モデルを協調的にトレーニングする、有望なアプローチとして登場した。 FLの成功は、参加するモデルの効率と、分散学習のユニークな課題に対処する能力にかかっている。 視覚トランスフォーマー(vit)のいくつかの変種は、集中型トレーニングのための現代の畳み込みニューラルネットワーク(cnns)の代替として大きな可能性を示したが、前例のない大きさと高い計算要求により、リソース制約のあるエッジデバイスへのデプロイが妨げられ、flでの広範な応用に挑戦している。 FLのクライアントデバイスは通常、限られた計算資源と通信帯域を有するため、そのようなデバイスを意図したモデルは、モデルサイズ、計算効率、FLで遭遇する多種多様な非IIDデータ分布に適応する能力のバランスをとる必要がある。 これらの課題に対処するため,我々はondev-lct: トレーニングデータとリソースに制限のあるオンデバイスビジョンタスク用の軽量畳み込みトランスフォーマを提案する。 lctエンコーダのマルチヘッドセルフアテンション(mhsa)機構は暗黙的に画像のグローバル表現をキャプチャするのを容易にする一方で,残差線形ボトルネックブロックの効率的な深さ分割可能な畳み込みを利用して局所的な特徴を抽出することで,lctトークンライザによる画像固有のインダクティブバイアスを取り入れている。 ベンチマーク画像データセットに関する広範な実験は、我々のモデルが既存の軽量ビジョンモデルよりもパラメータが少なく、計算要求も少ないことを示し、データの多様性と通信のボトルネックを伴うflシナリオに適していることを示している。

関連論文リスト

• Heterogeneous Federated Learning with Splited Language Model [22.65325348176366]
  フェデレート・スプリット・ラーニング(FSL)は、実際には有望な分散学習パラダイムである。 本稿では,前訓練画像変換器(PIT)をFedVと呼ばれる初期モデルとして利用し,トレーニングプロセスの高速化とモデルロバスト性の向上を図る。 我々は、実世界のデータセット、異なる部分的デバイス参加、異種データ分割におけるPITを用いたFSL手法の体系的評価を初めて行った。
  論文  参考訳（メタデータ） (2024-03-24T07:33:08Z)
• Efficient Language Model Architectures for Differentially Private Federated Learning [21.280600854272716]
  クロスデバイス・フェデレーション・ラーニング(Cross-device Federated Learning, FL)は、デバイスを離れることなく、数百万のエッジデバイスに分散したデータ上でモデルをトレーニングするテクニックである。 言語モデルの集中的なトレーニングでは、安定性とパフォーマンスの向上を提供するため、適応が望ましい。 ニューラルリカレントセルにおけるシグモイドとタンハの活性化を修飾することにより、SI CIFG (Coupled Input Forget Gate) 再カレントネットワークを提案する。
  論文  参考訳（メタデータ） (2024-03-12T22:21:48Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• AdapterFL: Adaptive Heterogeneous Federated Learning for Resource-constrained Mobile Computing Systems [24.013937378054074]
  Federated Learning (FL)は、データ共有なしで大規模分散クライアントの協調学習を可能にする。 モバイルコンピューティングシステムは、協調学習のために小さな低パフォーマンスモデルしか利用できない。 我々は、大規模な異種モバイルデバイスの協調訓練を適応的に行うために、モデル再組み立て戦略を用いる。
  論文  参考訳（メタデータ） (2023-11-23T14:42:43Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
  高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。 アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-04T09:26:03Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
  本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:17:17Z)
• Reconfigurable Intelligent Surface Enabled Federated Learning: A Unified Communication-Learning Design Approach [30.1988598440727]
  我々は,デバイス選択,無線トランシーバ設計,RIS構成を協調的に最適化する統一的なコミュニケーション学習最適化問題を開発した。 数値実験により,提案手法は最先端の手法と比較して,学習精度が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2020-11-20T08:54:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。