論文の概要: SplitEasy: A Practical Approach for Training ML models on Mobile Devices
- arxiv url: http://arxiv.org/abs/2011.04232v2
- Date: Fri, 29 Jan 2021 18:58:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-28 00:44:31.411440
- Title: SplitEasy: A Practical Approach for Training ML models on Mobile Devices
- Title（参考訳）: SplitEasy: モバイルデバイス上でMLモデルをトレーニングするための実践的アプローチ
- Authors: Kamalesh Palanisamy, Vivek Khimani, Moin Hussain Moti, Dimitris
Chatzopoulos
- Abstract要約: 分割学習は、低消費電力モバイルデバイス上で複雑なディープラーニング(DL)モデルをトレーニングするための有望なテクニックである。
スプリットラーニングを用いてモバイルデバイス上でMLモデルをトレーニングするフレームワークであるSplitEasyを提案する。
SplitEasyは、モバイルデバイスでのみトレーニングできないモデルをトレーニングし、データサンプル毎にほぼ一定時間実行できるようにする。
- 参考スコア（独自算出の注目度）: 4.280248134477515
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern mobile devices, although resourceful, cannot train state-of-the-art
machine learning models without the assistance of servers, which require access
to, potentially, privacy-sensitive user data. Split learning has recently
emerged as a promising technique for training complex deep learning (DL) models
on low-powered mobile devices. The core idea behind this technique is to train
the sensitive layers of a DL model on mobile devices while offloading the
computationally intensive layers to a server. Although a lot of works have
already explored the effectiveness of split learning in simulated settings, a
usable toolkit for this purpose does not exist. In this work, we highlight the
theoretical and technical challenges that need to be resolved to develop a
functional framework that trains ML models in mobile devices without
transferring raw data to a server. Focusing on these challenges, we propose
SplitEasy, a framework for training ML models on mobile devices using split
learning. Using the abstraction provided by SplitEasy, developers can run
various DL models under split learning setting by making minimal modifications.
We provide a detailed explanation of SplitEasy and perform experiments with six
state-of-the-art neural networks. We demonstrate how SplitEasy can train models
that cannot be trained solely by a mobile device while incurring nearly
constant time per data sample.
- Abstract（参考訳）: 現代のモバイルデバイスは、リソースが豊富だが、サーバーの助けなしに最先端の機械学習モデルを訓練することはできない。
分割学習は、最近、低消費電力モバイルデバイス上で複雑なディープラーニング(DL)モデルをトレーニングするための有望なテクニックとして登場した。
この技術の背後にある中核的な考え方は、計算集約的なレイヤをサーバにオフロードしながら、モバイルデバイス上でDLモデルのセンシティブなレイヤをトレーニングすることである。
シミュレーション環境での分割学習の有効性については,多くの研究がすでに検討されているが,この目的のために有用なツールキットは存在しない。
本研究では,モバイルデバイス上で生データをサーバに転送することなくMLモデルをトレーニングする機能フレームワークを開発する上で,解決すべき理論的,技術的課題を強調した。
これらの課題に着目し,スプリットラーニングを用いたモバイルデバイス上でMLモデルをトレーニングするフレームワークであるSplitEasyを提案する。
SplitEasyが提供する抽象化を使うことで、開発者は最小限の変更を行うことで、分割学習環境でさまざまなDLモデルを実行できる。
SplitEasyの詳細を説明し、6つの最先端ニューラルネットワークで実験を行う。
本稿では,モバイルデバイスのみではトレーニングできないモデルをトレーニングし,データサンプル毎にほぼ一定時間を要することを実証する。
関連論文リスト
- Efficient Asynchronous Federated Learning with Sparsification and
Quantization [55.6801207905772]
フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。
FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。
TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
論文 参考訳（メタデータ） (2023-12-23T07:47:07Z) - FLuID: Mitigating Stragglers in Federated Learning using Invariant
Dropout [1.8262547855491458]
Federated Learningは、機械学習モデルが個々のモバイルデバイス上でローカルにトレーニングし、共有サーバを介してモデルの更新を同期することを可能にする。
結果として、性能の低いストラグラーデバイスは、FLにおける全体的なトレーニング時間を規定することが多い。
Invariant Dropoutは,重み更新しきい値に基づいてサブモデルを抽出する手法である。
Invariant Dropout を用いた適応学習フレームワークであるFederated Learning を開発した。
論文 参考訳（メタデータ） (2023-07-05T19:53:38Z) - On-device Training: A First Overview on Existing Systems [6.551096686706628]
リソース制約のあるデバイスにいくつかのモデルをデプロイする努力も行われている。
この研究は、デバイス上でモデルトレーニングを可能にする最先端のシステム研究を要約し、分析することを目的としている。
論文 参考訳（メタデータ） (2022-12-01T19:22:29Z) - Federated Learning and Meta Learning: Approaches, Applications, and
Directions [94.68423258028285]
本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。
他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
論文 参考訳（メタデータ） (2022-10-24T10:59:29Z) - MetaNetwork: A Task-agnostic Network Parameters Generation Framework for
Improving Device Model Generalization [65.02542875281233]
そこで本研究では,デバイス上でのトレーニングを伴わずに,クラウドから適応的なデバイスモデルパラメータを生成するための,MetaNetworkという新しいタスク非依存フレームワークを提案する。
MetaGeneratorは、サンプルからモデルパラメータへのマッピング関数を学習するために設計されており、デバイスからクラウドにアップロードされたサンプルに基づいて、適応パラメータをデバイスに生成および配信することができる。
MetaStabilizerは、MetaGeneratorの振動を減らし、収束を加速し、トレーニングと推論の両方でモデルパフォーマンスを改善することを目的としている。
論文 参考訳（メタデータ） (2022-09-12T13:26:26Z) - Reducing Impacts of System Heterogeneity in Federated Learning using
Weight Update Magnitudes [0.0]
フェデレートされた学習により、機械学習モデルでは、各ハンドヘルドデバイス上でローカルにトレーニングできると同時に、ニューロンのアップデートをサーバと同期するのみである。
その結果、フェデレーション学習タスクのトレーニング時間は、いくつかの低パフォーマンスストラグラーデバイスによって予測される。
本研究では,その性能と精度のフィードバックに基づいて,トラグラーのサブモデルを動的に形成することにより,フェデレーション学習の性能ボトルネックを軽減することを目的とする。
論文 参考訳（メタデータ） (2022-08-30T00:39:06Z) - Training Transformers Together [62.65287087770844]
このデモでは,OpenAI DALL-Eに似たテキスト・画像変換器を共同で訓練した。
このようなトレーニングの実行に関連する,エンジニアリング上の課題に対処する方法について説明する。
得られたモデルが複数のプロンプトに対して妥当な品質の画像を生成することを示す。
論文 参考訳（メタデータ） (2022-07-07T17:59:16Z) - Federated Split GANs [12.007429155505767]
ユーザデバイス自体でMLモデルをトレーニングするための代替手法を提案する。
我々は、GAN(ジェネレーティブ・逆境ネットワーク)に注目し、その固有のプライバシー保護属性を活用する。
我々のシステムはデータのプライバシを保ち、短時間のトレーニング時間を保ち、制約のないデバイスで同じ精度でモデルトレーニングを行う。
論文 参考訳（メタデータ） (2022-07-04T23:53:47Z) - Challenges and Obstacles Towards Deploying Deep Learning Models on
Mobile Devices [1.422288795020666]
ディープラーニングモデルは、多くの高レベルのジェネリックフレームワークとライブラリを使って開発されている。
モバイルデバイス上でモデルを実行するには、ハードウェアによる最適化が必要です。
本稿では,モバイルデバイスにディープラーニングモデルをデプロイするための既存の課題,障害,実践的ソリューションについて述べる。
論文 参考訳（メタデータ） (2021-05-06T12:40:28Z) - Device-Cloud Collaborative Learning for Recommendation [50.01289274123047]
集中型クラウドモデルにより「数千人のモデルを持つ何千人もの人」を効率的に実現する新しいMetaPatch学習手法をデバイス側で提案します。
数十億の更新されたパーソナライズされたデバイスモデルにより、集中型クラウドモデルを更新する"モデルオーバーモデル"蒸留アルゴリズム、すなわちMoMoDistillを提案する。
論文 参考訳（メタデータ） (2021-04-14T05:06:59Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳（メタデータ） (2020-06-12T14:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。