論文の概要: TIFeD: a Tiny Integer-based Federated learning algorithm with Direct feedback alignment

• arxiv url: http://arxiv.org/abs/2411.16442v1
• Date: Mon, 25 Nov 2024 14:44:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:23:10.524017
• Title: TIFeD: a Tiny Integer-based Federated learning algorithm with Direct feedback alignment
• Title（参考訳）: 直接フィードバックアライメントを用いたTiny Integerに基づくフェデレーション学習アルゴリズムTIFeD
• Authors: Luca Colombo, Alessandro Falcetta, Manuel Roveri,
• Abstract要約: リソース制約のあるデバイス上でのトレーニングマシンとディープラーニングモデルは、小さな機械学習分野における次の課題である。 提案したアルゴリズムは、完全なネットワークと単一層実装を備え、科学界でパブリックリポジトリとして利用可能である。
• 参考スコア（独自算出の注目度）: 47.39949471062935
• License:
• Abstract: Training machine and deep learning models directly on extremely resource-constrained devices is the next challenge in the field of tiny machine learning. The related literature in this field is very limited, since most of the solutions focus only on on-device inference or model adaptation through online learning, leaving the training to be carried out on external Cloud services. An interesting technological perspective is to exploit Federated Learning (FL), which allows multiple devices to collaboratively train a shared model in a distributed way. However, the main drawback of state-of-the-art FL algorithms is that they are not suitable for running on tiny devices. For the first time in the literature, in this paper we introduce TIFeD, a Tiny Integer-based Federated learning algorithm with Direct Feedback Alignment (DFA) entirely implemented by using an integer-only arithmetic and being specifically designed to operate on devices with limited resources in terms of memory, computation and energy. Besides the traditional full-network operating modality, in which each device of the FL setting trains the entire neural network on its own local data, we propose an innovative single-layer TIFeD implementation, which enables each device to train only a portion of the neural network model and opens the door to a new way of distributing the learning procedure across multiple devices. The experimental results show the feasibility and effectiveness of the proposed solution. The proposed TIFeD algorithm, with its full-network and single-layer implementations, is made available to the scientific community as a public repository.
• Abstract（参考訳）: 極めてリソースに制約のあるデバイス上でのトレーニングマシンとディープラーニングモデルは、小さな機械学習分野における次の課題である。 なぜなら、ほとんどのソリューションはオンデバイス推論やオンライン学習によるモデル適応にのみ焦点をあてており、トレーニングは外部のクラウドサービスで行う必要があるからだ。 興味深い技術的視点はフェデレートラーニング(FL)を利用することで、複数のデバイスが分散方法で共有モデルを協調的にトレーニングすることができる。 しかし、最先端のFLアルゴリズムの主な欠点は、小さなデバイス上での動作には適さないことである。 本稿では,整数のみの算術を用いて完全に実装されたTiny Integerベースのフェデレーション学習アルゴリズムTIFeDを紹介する。 FL設定の各デバイスが自身のローカルデータに基づいてニューラルネットワーク全体をトレーニングする従来のフルネットワーク操作モダリティに加えて,各デバイスがニューラルネットワークモデルの一部のみをトレーニングし,学習手順を複数のデバイスに分散する新たな方法への扉を開くことができる,革新的な単一層TIFeD実装を提案する。 実験の結果,提案手法の有効性と有効性を示した。 提案されたTIFeDアルゴリズムは、完全なネットワークと単一層実装を持ち、科学コミュニティがパブリックリポジトリとして利用できる。

関連論文リスト

• Coordination-free Decentralised Federated Learning on Complex Networks: Overcoming Heterogeneity [2.6849848612544]
  Federated Learning(FL)は、エッジコンピューティングシナリオで学習タスクを実行するためのフレームワークである。 本稿では,コミュニケーション効率のよい分散フェデレート学習(DFL)アルゴリズムを提案する。 我々のソリューションは、デバイスが直接隣人とのみ通信し、正確なモデルを訓練することを可能にする。
  論文  参考訳（メタデータ） (2023-12-07T18:24:19Z)
• Federated Learning and Meta Learning: Approaches, Applications, and Directions [94.68423258028285]
  本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。 他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
  論文  参考訳（メタデータ） (2022-10-24T10:59:29Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Federated Learning Based on Dynamic Regularization [43.137064459520886]
  本稿では,ニューラルネットワークモデルを分散学習するための新しいフェデレーション学習手法を提案する。 サーバは、各ラウンドでランダムに選択されたデバイスのサブセット間の協力を編成する。
  論文  参考訳（メタデータ） (2021-11-08T03:58:28Z)
• Computational Intelligence and Deep Learning for Next-Generation Edge-Enabled Industrial IoT [51.68933585002123]
  エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。 本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。 特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
  論文  参考訳（メタデータ） (2021-10-28T08:14:57Z)
• FedHe: Heterogeneous Models and Communication-Efficient Federated Learning [0.0]
  フェデレートラーニング(FL)は、エッジデバイスを管理して、ローカルとプライベートのトレーニングデータを維持しながら、モデルを協調的にトレーニングすることができる。 本稿では,異種モデルを学習し,非同期学習プロセスを支援する知識蒸留にインスパイアされた新しいFL法であるFedHeを提案する。
  論文  参考訳（メタデータ） (2021-10-19T12:18:37Z)
• Wireless Communications for Collaborative Federated Learning [160.82696473996566]
  IoT(Internet of Things)デバイスは、収集したデータを中央のコントローラに送信することができず、機械学習モデルをトレーニングすることができる。 GoogleのセミナルFLアルゴリズムでは、すべてのデバイスを中央コントローラに直接接続する必要がある。 本稿では,コラボレーティブFL(CFL)と呼ばれる新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-03T20:00:02Z)
• Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
  フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。 本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。 その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
  論文  参考訳（メタデータ） (2020-03-07T11:55:34Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)
• Federated Learning with Cooperating Devices: A Consensus Approach for Massive IoT Networks [8.456633924613456]
  分散システムにおける機械学習モデルをトレーニングするための新しいパラダイムとして、フェデレートラーニング(FL)が登場している。 提案するFLアルゴリズムは,ネットワーク内のデータ操作を行うデバイスとの協調を利用して,完全に分散された(あるいはサーバレス)学習手法を提案する。 このアプローチは、分散接続とコンピューティングを特徴とするネットワークを超えて、5G 内で FL を統合するための基盤となる。
  論文  参考訳（メタデータ） (2019-12-27T15:16:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。