Fugu-MT 論文翻訳(概要): CorrFL: Correlation-Based Neural Network Architecture for Unavailability Concerns in a Heterogeneous IoT Environment

論文の概要: CorrFL: Correlation-Based Neural Network Architecture for Unavailability Concerns in a Heterogeneous IoT Environment

arxiv url: http://arxiv.org/abs/2307.12149v1
Date: Sat, 22 Jul 2023 19:23:06 GMT
ステータス: 処理完了
システム内更新日: 2023-07-25 17:49:53.181020
Title: CorrFL: Correlation-Based Neural Network Architecture for Unavailability Concerns in a Heterogeneous IoT Environment
Title（参考訳）: CorrFL: 異種IoT環境における不適切性を考慮した相関型ニューラルネットワークアーキテクチャ
Authors: Ibrahim Shaer, Abdallah Shami
Abstract要約: 連邦学習(FL)パラダイムは、現実の環境での適用を制限するいくつかの課題に直面しています。これらの課題には、ローカルモデルのアーキテクチャの不均一性と、接続上の問題により分散IoT(Internet of Things)ノードが利用できないことが含まれる。本稿では,この問題に対処するための表現型学習分野の影響を受け,相関型FL (CorrFL) アプローチを提案する。
参考スコア（独自算出の注目度）: 3.9414768019101682
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The Federated Learning (FL) paradigm faces several challenges that limit its application in real-world environments. These challenges include the local models' architecture heterogeneity and the unavailability of distributed Internet of Things (IoT) nodes due to connectivity problems. These factors posit the question of "how can the available models fill the training gap of the unavailable models?". This question is referred to as the "Oblique Federated Learning" problem. This problem is encountered in the studied environment that includes distributed IoT nodes responsible for predicting CO2 concentrations. This paper proposes the Correlation-based FL (CorrFL) approach influenced by the representational learning field to address this problem. CorrFL projects the various model weights to a common latent space to address the model heterogeneity. Its loss function minimizes the reconstruction loss when models are absent and maximizes the correlation between the generated models. The latter factor is critical because of the intersection of the feature spaces of the IoT devices. CorrFL is evaluated on a realistic use case, involving the unavailability of one IoT device and heightened activity levels that reflect occupancy. The generated CorrFL models for the unavailable IoT device from the available ones trained on the new environment are compared against models trained on different use cases, referred to as the benchmark model. The evaluation criteria combine the mean absolute error (MAE) of predictions and the impact of the amount of exchanged data on the prediction performance improvement. Through a comprehensive experimental procedure, the CorrFL model outperformed the benchmark model in every criterion.
Abstract（参考訳）: フェデレーション学習(fl)パラダイムは、現実の環境での応用を制限するいくつかの課題に直面している。これらの課題には、ローカルモデルのアーキテクチャの不均一性と、接続上の問題により分散IoT(Internet of Things)ノードが利用できないことが含まれる。これらの要因は、“利用可能なモデルが未使用モデルのトレーニングギャップをどのように満たせるか”という疑問を提起している。この問題は、"Oblique Federated Learning"問題と呼ばれる。この問題は、CO2濃度を予測するための分散IoTノードを含む研究環境において発生する。本稿では,この問題に対処するための表現学習分野の影響を受け,相関型FL(CorrFL)アプローチを提案する。 CorrFL はモデルの不均一性に対処するために、様々なモデルの重みを共通の潜在空間に投影する。その損失関数はモデルが存在しないときの復元損失を最小限に抑え、生成したモデル間の相関を最大化する。後者の要因は、IoTデバイスの機能空間が交差しているためである。 CorrFLは、ひとつのIoTデバイスの可用性の欠如と、占有率を反映したアクティビティレベルの向上を含む、現実的なユースケースで評価されている。新しい環境でトレーニングされた利用可能なiotデバイスから生成されたcorrflモデルは、ベンチマークモデルと呼ばれる異なるユースケースでトレーニングされたモデルと比較される。評価基準は、予測の平均絶対誤差(MAE)と、交換データの量が予測性能改善に与える影響を組合せたものである。包括的な実験手順を通じて、corrflモデルは基準ごとにベンチマークモデルを上回る結果となった。

関連論文リスト

SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文参考訳（メタデータ） (2024-08-19T17:32:15Z)
Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文参考訳（メタデータ） (2024-03-27T09:14:36Z)
Straggler-resilient Federated Learning: Tackling Computation Heterogeneity with Layer-wise Partial Model Training in Mobile Edge Network [4.1813760301635705]
本稿では,FedPMT(Federated partial Model Training)を提案する。したがって、FedPMTのすべてのデバイスは、グローバルモデルの最も重要な部分を優先している。実証的な結果は、FedPMTが既存のベンチマークFedDropを大きく上回っていることを示している。
論文参考訳（メタデータ） (2023-11-16T16:30:04Z)
A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文参考訳（メタデータ） (2023-11-13T01:48:08Z)
Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文参考訳（メタデータ） (2023-10-16T05:49:28Z)
A Neuromorphic Architecture for Reinforcement Learning from Real-Valued Observations [0.34410212782758043]
強化学習(RL)は複雑な環境における意思決定のための強力なフレームワークを提供する。本稿では,実測値を用いてRL問題を解くための新しいスパイキングニューラルネットワーク(SNN)アーキテクチャを提案する。
論文参考訳（メタデータ） (2023-07-06T12:33:34Z)
A Distributed Computation Model Based on Federated Learning Integrates Heterogeneous models and Consortium Blockchain for Solving Time-Varying Problems [35.69540692050138]
本稿では,コンソーシアムブロックチェーンネットワークに基づく分散計算モデル(DCM)を提案する。実験では,DCMの効率を検証し,提案モデルが多くの最先端モデルより優れていることを示す。
論文参考訳（メタデータ） (2023-06-28T08:50:35Z)
Deep Equilibrium Models Meet Federated Learning [71.57324258813675]
本研究では,従来の深層学習ネットワークの代わりにDeep Equilibrium(DEQ)モデルを用いて,フェデレートラーニング(FL)問題について検討する。我々は、DECモデルをフェデレート学習フレームワークに組み込むことで、FLのいくつかのオープンな問題に自然に対処できると主張している。我々の知る限りでは、この研究は、DECモデルとフェデレーションラーニングの関連性を確立する最初のものである。
論文参考訳（メタデータ） (2023-05-29T22:51:40Z)
Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
論文参考訳（メタデータ） (2022-10-01T09:04:17Z)
Decentralized Event-Triggered Federated Learning with Heterogeneous Communication Thresholds [12.513477328344255]
ネットワークグラフトポロジ上での非同期なイベントトリガーによるコンセンサス反復による分散モデルアグリゲーションのための新しい手法を提案する。本手法は,分散学習とグラフコンセンサス文学における標準的な仮定の下で,グローバルな最適学習モデルを実現することを実証する。
論文参考訳（メタデータ） (2022-04-07T20:35:37Z)
FedHM: Efficient Federated Learning for Heterogeneous Models via Low-rank Factorization [16.704006420306353]
スケーラブルなフェデレート学習フレームワークは、異なる計算能力と通信能力を備えた異種クライアントに対処する必要がある。本稿では,不均一な低ランクモデルをクライアントに分散し,それらをグローバルなフルランクモデルに集約する,新しいフェデレーションモデル圧縮フレームワークであるFedHMを提案する。我々のソリューションは、計算複雑性の異なる異種局所モデルの訓練を可能にし、単一の大域的モデルを集約する。
論文参考訳（メタデータ） (2021-11-29T16:11:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。