論文の概要: Wireless Ad Hoc Federated Learning: A Fully Distributed Cooperative Machine Learning

• arxiv url: http://arxiv.org/abs/2205.11779v1
• Date: Tue, 24 May 2022 04:37:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-26 07:47:36.045867
• Title: Wireless Ad Hoc Federated Learning: A Fully Distributed Cooperative Machine Learning
• Title（参考訳）: ワイヤレスアドホック連合学習:完全分散協調機械学習
• Authors: Hideya Ochiai, Yuwei Sun, Qingzhe Jin, Nattanon Wongwiwatchai, Hiroshi Esaki
• Abstract要約: フェデレートラーニングは、ローカルノードでトレーニングされたローカルモデルを集約することで、グローバルモデルのトレーニングを可能にした。 完全分散協調型機械学習システムWAFLを提案する。 WAFLはノード間のモデルパラメータの収束を一般化へ向けた。
• 参考スコア（独自算出の注目度）: 2.724649101295584
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning has allowed training of a global model by aggregating local models trained on local nodes. However, it still takes client-server model, which can be further distributed, fully decentralized, or even partially connected, or totally opportunistic. In this paper, we propose a wireless ad hoc federated learning (WAFL) -- a fully distributed cooperative machine learning organized by the nodes physically nearby. Here, each node has a wireless interface and can communicate with each other when they are within the radio range. The nodes are expected to move with people, vehicles, or robots, producing opportunistic contacts with each other. In WAFL, each node trains a model individually with the local data it has. When a node encounter with others, they exchange their trained models, and generate new aggregated models, which are expected to be more general compared to the locally trained models on Non-IID data. For evaluation, we have prepared four static communication networks and two types of dynamic and opportunistic communication networks based on random waypoint mobility and community-structured environment, and then studied the training process of a fully connected neural network with 90% Non-IID MNIST dataset. The evaluation results indicate that WAFL allowed the convergence of model parameters among the nodes toward generalization, even with opportunistic node contact scenarios -- whereas in self-training (or lonely training) case, they have diverged. This WAFL's model generalization contributed to achieving higher accuracy 94.7-96.2% to the testing IID dataset compared to the self-training case 84.7%.
• Abstract（参考訳）: フェデレーション学習は、ローカルノードでトレーニングされたローカルモデルを集約することで、グローバルモデルのトレーニングを可能にした。 しかし、さらに分散したり、完全に分散化したり、部分的に接続したり、完全に日和見的になったりするクライアントサーバモデルも必要です。 本稿では,無線アドホックフェデレーション学習(wafl, wireless ad hoc federated learning)を提案する。 ここでは、各ノードは無線インターフェースを持ち、無線範囲内にあるときに互いに通信することができる。 ノードは人、乗り物、ロボットと移動し、日和見的な接触を生み出すことが期待されている。 WAFLでは、各ノードは各ノードが持つローカルデータで個別にモデルを訓練する。 ノードが他のノードと遭遇すると、訓練されたモデルを交換し、非IIDデータ上の局所的な訓練されたモデルと比較してより一般的な新しい集約されたモデルを生成する。 本研究では,ランダム・ウェイポイント・モビリティとコミュニティ構造環境に基づく4つの静的通信ネットワークと2種類の動的・日和見的通信ネットワークを作成し,90%の非iidmnistデータセットを用いた完全接続ニューラルネットワークの学習過程について検討した。 評価の結果、waflは、日和見主義的なノード接触シナリオであっても、一般化に向けたノード間のモデルパラメータの収束を可能にした。 このWAFLのモデル一般化により、テストIDデータセットの精度は94.7-96.2%向上した。

関連論文リスト

• Harnessing Increased Client Participation with Cohort-Parallel Federated Learning [2.9593087583214173]
  Federated Learning(FL)は、ノードがグローバルモデルを協調的にトレーニングする機械学習アプローチである。 本稿では,Cohort-Parallel Federated Learning (CPFL)を紹介する。 4つのコホート、非IIDデータ分散、CIFAR-10を持つCPFLは、列車の時間短縮に1.9$times$、資源使用量削減に1.3$times$である。
  論文  参考訳（メタデータ） (2024-05-24T15:34:09Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Distributed Learning over Networks with Graph-Attention-Based Personalization [49.90052709285814]
  分散ディープラーニングのためのグラフベースパーソナライズアルゴリズム(GATTA)を提案する。 特に、各エージェントのパーソナライズされたモデルは、グローバルな部分とノード固有の部分で構成される。 グラフ内の各エージェントを1つのノードとして扱うことにより、ノード固有のパラメータを特徴として扱うことにより、グラフアテンション機構の利点を継承することができる。
  論文  参考訳（メタデータ） (2023-05-22T13:48:30Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Homogeneous Learning: Self-Attention Decentralized Deep Learning [0.6091702876917281]
  本研究では,非IIDデータに自己認識機構を持たせるために,HL(Homogeneous Learning)と呼ばれる分散学習モデルを提案する。 HLはスタンドアローンの学習と比較してパフォーマンスが向上し、トレーニングラウンド全体の50.8%、通信コスト74.6%を大幅に削減できる。
  論文  参考訳（メタデータ） (2021-10-11T14:05:29Z)
• Federated Learning from Small Datasets [48.879172201462445]
  フェデレーション学習は、複数のパーティが、ローカルデータを共有せずに、共同モデルを共同でトレーニングすることを可能にする。 そこで本研究では,局所モデルの置換とモデルアグリゲーションを連動させる新しい手法を提案する。 置換は、各ローカルモデルをローカルデータセットのデージーチェーンに公開することで、データスパースドメインでのより効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2021-10-07T13:49:23Z)
• Decentralized Federated Learning via Mutual Knowledge Transfer [37.5341683644709]
  分散型連合学習(DFL)は、モノのインターネット(IoT)システムにおける問題です。 現地のクライアントが学習した知識を相互に転送することでモデルを融合させる相互知識伝達(Def-KT)アルゴリズムを提案します。 MNIST, Fashion-MNIST, CIFAR10データセットに対する実験により,提案アルゴリズムがベースラインDFL法を著しく上回るデータセットを明らかにした。
  論文  参考訳（メタデータ） (2020-12-24T01:43:53Z)
• Probabilistic Federated Learning of Neural Networks Incorporated with Global Posterior Information [4.067903810030317]
  フェデレートラーニングでは、ローカルクライアントで訓練されたモデルをグローバルモデルに蒸留する。 本稿では,確率的フェデレーションニューラルネットワークの拡張手法を提案する。 我々の新しい手法は、単一のコミュニケーションラウンドと追加のコミュニケーションラウンドの両方において、一般的な最先端のフェデレーション学習方法より優れています。
  論文  参考訳（メタデータ） (2020-12-06T03:54:58Z)
• Consensus Driven Learning [0.0]
  本稿では,信頼できないネットワーク上での非同期更新を用いて,ノードのネットワークがトレーニングを調整できる分散分散型学習手法を提案する。 これは、様々なノードを調整するために、分散平均コンセンサスアルゴリズムからインスピレーションを得て達成される。 この調整手法により,高度に偏りのあるデータセットや間欠的な通信障害の存在下でモデルを学習できることを示す。
  論文  参考訳（メタデータ） (2020-05-20T18:24:19Z)
• Think Locally, Act Globally: Federated Learning with Local and Global Representations [92.68484710504666]
  フェデレートラーニング(Federated Learning)とは、複数のデバイスに分散したプライベートデータ上でモデルをトレーニングする手法である。 本稿では,各デバイス上でコンパクトな局所表現を共同で学習する新しいフェデレーション学習アルゴリズムを提案する。 また、プライバシが鍵となる実世界のモバイルデータから、パーソナライズされた気分予測のタスクを評価する。
  論文  参考訳（メタデータ） (2020-01-06T12:40:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。