論文の概要: Real-time Federated Evolutionary Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2003.02793v1
• Date: Wed, 4 Mar 2020 17:03:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 13:00:50.848904
• Title: Real-time Federated Evolutionary Neural Architecture Search
• Title（参考訳）: リアルタイムフェデレーション進化型ニューラルアーキテクチャサーチ
• Authors: Hangyu Zhu and Yaochu Jin
• Abstract要約: フェデレーション学習(Federated Learning)は、プライバシ保護のための分散機械学習アプローチである。 本稿では、モデル性能を最適化するだけでなく、局所的なペイロードを削減するリアルタイムフェデレーションニューラルネットワーク探索への進化的アプローチを提案する。 このようにして、進化的最適化に必要な計算・通信コストを効果的に削減し、局所モデルの大きな性能変動を回避する。
• 参考スコア（独自算出の注目度）: 14.099753950531456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning is a distributed machine learning approach to privacy preservation and two major technical challenges prevent a wider application of federated learning. One is that federated learning raises high demands on communication, since a large number of model parameters must be transmitted between the server and the clients. The other challenge is that training large machine learning models such as deep neural networks in federated learning requires a large amount of computational resources, which may be unrealistic for edge devices such as mobile phones. The problem becomes worse when deep neural architecture search is to be carried out in federated learning. To address the above challenges, we propose an evolutionary approach to real-time federated neural architecture search that not only optimize the model performance but also reduces the local payload. During the search, a double-sampling technique is introduced, in which for each individual, a randomly sampled sub-model of a master model is transmitted to a number of randomly sampled clients for training without reinitialization. This way, we effectively reduce computational and communication costs required for evolutionary optimization and avoid big performance fluctuations of the local models, making the proposed framework well suited for real-time federated neural architecture search.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)は、プライバシ保護のための分散機械学習アプローチであり、フェデレーションラーニングの広範な適用を防止するための2つの大きな技術的課題である。 ひとつは、フェデレートされた学習は、多数のモデルパラメータをサーバとクライアントの間で伝達する必要があるため、通信に対する高い要求を提起することです。 もうひとつの課題は、連合学習におけるディープニューラルネットワークのような大規模機械学習モデルのトレーニングには大量の計算リソースが必要であり、これは携帯電話のようなエッジデバイスでは非現実的かもしれない。 連合学習でディープニューラルネットワーク検索を行う場合、問題は悪化する。 上記の課題に対処するために、モデル性能を最適化するだけでなく、局所ペイロードを削減するリアルタイムフェデレーションニューラルアーキテクチャサーチの進化的アプローチを提案する。 探索中に、各個人に対して、マスターモデルのランダムサンプルサブモデルを複数のランダムサンプルクライアントに送信し、再初期化せずにトレーニングを行うダブルサンプリング手法が導入された。 これにより、進化的最適化に必要な計算コストと通信コストを効果的に削減し、局所モデルの大きな性能変動を回避し、提案フレームワークをリアルタイムフェデレーションニューラルネットワーク探索に適させる。

関連論文リスト

• Transfer Learning with Reconstruction Loss [12.906500431427716]
  本稿では,モデルに新たな再構築段階を追加することで,新たなモデル学習手法を提案する。 提案手法は、学習した特徴を一般化し、伝達しやすくし、効率的な伝達学習に容易に利用できる。 数値シミュレーションでは、MNIST手書き桁の転送学習、デバイス間無線ネットワークの電力割り当て、複数入出力ネットワークのダウンリンクビームフォーミングとローカライゼーションの3つの応用が研究されている。
  論文  参考訳（メタデータ） (2024-03-31T00:22:36Z)
• Optimizing Dense Feed-Forward Neural Networks [0.0]
  本稿では,プルーニングと移動学習に基づくフィードフォワードニューラルネットワークの構築手法を提案する。 提案手法では,パラメータ数を70%以上圧縮できる。 また、ニューラルネットワークをスクラッチからトレーニングしたモデルと元のモデルを比較し、トランスファー学習レベルを評価した。
  論文  参考訳（メタデータ） (2023-12-16T23:23:16Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• Differentiable Multi-Fidelity Fusion: Efficient Learning of Physics Simulations with Neural Architecture Search and Transfer Learning [1.0024450637989093]
  ニューラル・アーキテクチャ・サーチ(NAS)を利用して、異なる問題に対する適切なモデル・アーキテクチャを自動的に探索する微分可能なmf(DMF)モデルを提案する。 DMFは、少数の高忠実度トレーニングサンプルで物理シミュレーションを効率よく学習することができ、最先端の手法よりも優れたマージンを持つ。
  論文  参考訳（メタデータ） (2023-06-12T07:18:13Z)
• Network Anomaly Detection Using Federated Learning [0.483420384410068]
  我々は、効率的なネットワーク異常検出を可能にする堅牢でスケーラブルなフレームワークを導入する。 複数の参加者が共同でグローバルモデルをトレーニングするフェデレーション学習を活用します。 提案手法はUNSW-NB15データセットのベースライン機械学習手法よりも優れている。
  論文  参考訳（メタデータ） (2023-03-13T20:16:30Z)
• Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning [53.73083199055093]
  注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。 我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
  論文  参考訳（メタデータ） (2021-06-10T21:04:18Z)
• Balancing Accuracy and Latency in Multipath Neural Networks [0.09668407688201358]
  我々は,一発のニューラルネットワーク探索モデルを用いて,難解な数のニューラルネットワークの性能を暗黙的に評価する。 本手法は,待ち時間が異なるモデル間の相対性能を正確にモデル化し,異なるデータセットをまたいだ精度で未検出モデルの性能を予測できることを示す。
  論文  参考訳（メタデータ） (2021-04-25T00:05:48Z)
• Fast-Convergent Federated Learning [82.32029953209542]
  フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。 本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-26T14:37:51Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。