論文の概要: Resource-Constrained On-Device Learning by Dynamic Averaging
- arxiv url: http://arxiv.org/abs/2009.12098v1
- Date: Fri, 25 Sep 2020 09:29:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 22:32:57.272804
- Title: Resource-Constrained On-Device Learning by Dynamic Averaging
- Title（参考訳）: 動的平均化によるリソース制約オンデバイス学習
- Authors: Lukas Heppe and Michael Kamp and Linara Adilova and Danny Heinrich and
Nico Piatkowski and Katharina Morik
- Abstract要約: データ生成デバイス間の通信は、部分的に世界の電力消費の増大の原因となっている。
機械学習では、デバイス上での学習は生データの送信を回避し、通信を大幅に削減する。
本稿では,低消費電力プロセッサ上で実行された整数指数族に対する通信効率のよいオンデバイス学習へのアプローチについて検討する。
- 参考スコア（独自算出の注目度）: 7.720999661966942
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The communication between data-generating devices is partially responsible
for a growing portion of the world's power consumption. Thus reducing
communication is vital, both, from an economical and an ecological perspective.
For machine learning, on-device learning avoids sending raw data, which can
reduce communication substantially. Furthermore, not centralizing the data
protects privacy-sensitive data. However, most learning algorithms require
hardware with high computation power and thus high energy consumption. In
contrast, ultra-low-power processors, like FPGAs or micro-controllers, allow
for energy-efficient learning of local models. Combined with
communication-efficient distributed learning strategies, this reduces the
overall energy consumption and enables applications that were yet impossible
due to limited energy on local devices. The major challenge is then, that the
low-power processors typically only have integer processing capabilities. This
paper investigates an approach to communication-efficient on-device learning of
integer exponential families that can be executed on low-power processors, is
privacy-preserving, and effectively minimizes communication. The empirical
evaluation shows that the approach can reach a model quality comparable to a
centrally learned regular model with an order of magnitude less communication.
Comparing the overall energy consumption, this reduces the required energy for
solving the machine learning task by a significant amount.
- Abstract（参考訳）: データ生成デバイス間の通信は、部分的に世界の電力消費の増大の原因となっている。
したがって、コミュニケーションを減らすことは経済的にも生態学的にも不可欠である。
機械学習では、オンデバイス学習は生データの送信を回避し、通信を大幅に削減する。
さらに、データを集中化しないことは、プライバシーに敏感なデータを保護する。
しかし、ほとんどの学習アルゴリズムは計算能力が高く、エネルギー消費も高いハードウェアを必要とする。
対照的に、FPGAやマイクロコントローラのような超低消費電力プロセッサは、ローカルモデルのエネルギー効率のよい学習を可能にする。
通信効率のよい分散学習戦略と組み合わせることで、全体のエネルギー消費を削減し、ローカルデバイス上の限られたエネルギーのためにまだ不可能であったアプリケーションを可能にする。
最大の課題は、低消費電力プロセッサが一般的に整数処理能力しか持たないことです。
本稿では,低消費電力プロセッサ上で実行可能で,プライバシ保存が可能で,通信を効果的に最小化できる整数指数族における通信効率の高いオンデバイス学習手法について検討する。
実験的な評価は、この手法が中心的に学習された正規モデルに匹敵するモデル品質に到達できることを示す。
全体のエネルギー消費量を比較することで、機械学習タスクを解決するために必要なエネルギーをかなりの量削減できる。
関連論文リスト
- Hypergame Theory for Decentralized Resource Allocation in Multi-user Semantic Communications [60.63472821600567]
マルチユーザSCシステムにおける分散コンピューティングと通信資源割り当てのための新しいフレームワークを提案する。
通信資源と計算資源を効率的に割り当てることの課題は、Stackelbergハイパーゲーム理論の適用によって解決される。
シミュレーションの結果,提案したStackelbergハイパーゲームは通信資源と計算資源を効率的に利用することができることがわかった。
論文 参考訳（メタデータ） (2024-09-26T15:55:59Z) - Coordination-free Decentralised Federated Learning on Complex Networks:
Overcoming Heterogeneity [2.6849848612544]
Federated Learning(FL)は、エッジコンピューティングシナリオで学習タスクを実行するためのフレームワークである。
本稿では,コミュニケーション効率のよい分散フェデレート学習(DFL)アルゴリズムを提案する。
我々のソリューションは、デバイスが直接隣人とのみ通信し、正確なモデルを訓練することを可能にする。
論文 参考訳（メタデータ） (2023-12-07T18:24:19Z) - Decentralized federated learning methods for reducing communication cost
and energy consumption in UAV networks [8.21384946488751]
無人航空機(UAV)は、商品の配送、リアルタイム道路交通のマッピング、汚染の監視など、現代のスマートシティにおいて多くの役割を担っている。
従来のドローンの機械学習モデルは、データのプライバシー問題、通信コスト、エネルギー制限に遭遇する。
本稿では,UAVネットワークのための分散学習(DFL-UN)の既存アーキテクチャをベースとした,通信FLと代替FLの2つのアグリゲーション手法を提案する。
論文 参考訳（メタデータ） (2023-04-13T14:00:34Z) - Great Power, Great Responsibility: Recommendations for Reducing Energy
for Training Language Models [8.927248087602942]
一般的なNLPアプリケーションのエネルギー消費を削減できる技術について検討する。
これらの手法は、訓練言語モデルや推論に使用する際のエネルギー消費を著しく減少させる可能性がある。
論文 参考訳（メタデータ） (2022-05-19T16:03:55Z) - Federated Learning over Wireless IoT Networks with Optimized
Communication and Resources [98.18365881575805]
協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。
無線システム上での高速応答および高精度FLスキームの検証が重要である。
提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
論文 参考訳（メタデータ） (2021-10-22T13:25:57Z) - Energy-Efficient Multi-Orchestrator Mobile Edge Learning [54.28419430315478]
Mobile Edge Learning(MEL)は、エッジデバイス上で機械学習(ML)モデルの分散トレーニングを特徴とする、協調学習パラダイムである。
MELでは、異なるデータセットで複数の学習タスクが共存する可能性がある。
本稿では, エネルギー消費, 精度, 解複雑性のトレードオフを容易にする軽量なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-02T07:37:10Z) - A Framework for Energy and Carbon Footprint Analysis of Distributed and
Federated Edge Learning [48.63610479916003]
本稿では,分散学習政策の環境フットプリントに影響を与える要因を概説し,分析する。
バニラとコンセンサスによって駆動される分散FLポリシーの両方をモデル化する。
その結果、flは低ビット/ジュール効率を特徴とするワイヤレスシステムにおいて、顕著なエンドツーエンドの省エネ(30%-40%)が可能となった。
論文 参考訳（メタデータ） (2021-03-18T16:04:42Z) - To Talk or to Work: Flexible Communication Compression for Energy
Efficient Federated Learning over Heterogeneous Mobile Edge Devices [78.38046945665538]
巨大なモバイルエッジデバイス上でのフェデレーション学習(FL)は、多数のインテリジェントなモバイルアプリケーションのための新たな地平を開く。
FLは、定期的なグローバル同期と継続的なローカルトレーニングにより、参加するデバイスに膨大な通信と計算負荷を課す。
フレキシブルな通信圧縮を可能にする収束保証FLアルゴリズムを開発。
論文 参考訳（メタデータ） (2020-12-22T02:54:18Z) - Learning Centric Power Allocation for Edge Intelligence [84.16832516799289]
分散データを収集し、エッジで機械学習を実行するエッジインテリジェンスが提案されている。
本稿では,経験的分類誤差モデルに基づいて無線リソースを割り当てるLCPA法を提案する。
実験の結果,提案したLCPAアルゴリズムは,他のパワーアロケーションアルゴリズムよりも有意に優れていた。
論文 参考訳（メタデータ） (2020-07-21T07:02:07Z) - Resource-Efficient Neural Networks for Embedded Systems [23.532396005466627]
本稿では,機械学習技術の現状について概説する。
私たちは、過去10年で主要な機械学習モデルであるディープニューラルネットワーク(DNN)に基づく、リソース効率の高い推論に焦点を当てています。
我々は、圧縮技術を用いて、よく知られたベンチマークデータセットの実験で議論を裏付ける。
論文 参考訳（メタデータ） (2020-01-07T14:17:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。