論文の概要: Robustness analytics to data heterogeneity in edge computing

• arxiv url: http://arxiv.org/abs/2002.05038v2
• Date: Sun, 24 Oct 2021 15:11:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 20:42:30.805652
• Title: Robustness analytics to data heterogeneity in edge computing
• Title（参考訳）: エッジコンピューティングにおけるデータ不均一性に対するロバスト性解析
• Authors: Jia Qian, Lars Kai Hansen, Xenofon Fafoutis, Prayag Tiwari, Hari Mohan Pandey
• Abstract要約: フェデレートラーニング(Federated Learning)は、モデルを共同でトレーニングするフレームワークである。 遠隔地に配置された 集中型サーバーの 完全な知識でね 分散マシンに格納されたデータにアクセスできません エッジデバイスから生成されたデータは、共通の人口分布から同一かつ独立にサンプリングされていると仮定する研究もある。 両シナリオにおいて,局所的な学習イテレーションと通信頻度が適切に選択された場合,フェデレートラーニングがデータの不均一性に対して堅牢であることを示す。
• 参考スコア（独自算出の注目度）: 8.234373710211703
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning is a framework that jointly trains a model \textit{with} complete knowledge on a remotely placed centralized server, but \textit{without} the requirement of accessing the data stored in distributed machines. Some work assumes that the data generated from edge devices are identically and independently sampled from a common population distribution. However, such ideal sampling may not be realistic in many contexts. Also, models based on intrinsic agency, such as active sampling schemes, may lead to highly biased sampling. So an imminent question is how robust Federated Learning is to biased sampling? In this work\footnote{\url{https://github.com/jiaqian/robustness_of_FL}}, we experimentally investigate two such scenarios. First, we study a centralized classifier aggregated from a collection of local classifiers trained with data having categorical heterogeneity. Second, we study a classifier aggregated from a collection of local classifiers trained by data through active sampling at the edge. We present evidence in both scenarios that Federated Learning is robust to data heterogeneity when local training iterations and communication frequency are appropriately chosen.
• Abstract（参考訳）: フェデレーション学習(federated learning)は、リモートに配置された中央集中型サーバ上で、モデル \textit{with}完全知識を共同でトレーニングするフレームワークである。 エッジデバイスから生成されたデータは、共通の人口分布から同一かつ独立にサンプリングされていると仮定する研究もある。 しかし、このような理想的なサンプリングは多くの文脈で現実的ではないかもしれない。 また、アクティブサンプリングスキームのような内在的な機関に基づくモデルは、非常に偏ったサンプリングにつながる可能性がある。 差し迫った疑問は、偏りのあるサンプリングに対して、連合学習がどれほど強固かということです。 本稿では,このような2つのシナリオについて実験的に検討する。 まず,局所的分類器の集合から集約された一元的分類器について,分類的不均一性を持つデータを用いて学習を行った。 第2に,エッジでのアクティブサンプリングによってデータによって訓練された局所的分類器の集合から集約された分類器について検討する。 両シナリオにおいて,局所的なトレーニングイテレーションと通信頻度が適切に選択された場合,連合学習はデータ不均一性に頑健であることを示す。

関連論文リスト

• Deep Domain Isolation and Sample Clustered Federated Learning for Semantic Segmentation [2.515027627030043]
  本稿では,2次元セグメンテーションタスクにおける参加者間の共変量変化の影響を初めて検討する。 我々は、モデルの勾配空間内で直接画像領域を分離するディープドメイン分離(DDI)を開発する。 我々は,このクラスタリングアルゴリズムをSCFL(Sample Clustered Federated Learning)フレームワークを通じて活用する。
  論文  参考訳（メタデータ） (2024-10-04T12:43:07Z)
• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• FedUV: Uniformity and Variance for Heterogeneous Federated Learning [5.9330433627374815]
  フェデレーション学習は、広く分散されたデータでニューラルネットワークをトレーニングするための有望なフレームワークである。 最近の研究によると、ネットワークの最終層が局所バイアスの傾向が最も大きいためである。 凍結重量が一定の特異値をもたらすという観測によって動機付けられた重みにSVDを適用して分類器の訓練力学を考察する。
  論文  参考訳（メタデータ） (2024-02-27T15:53:15Z)
• Balanced Data Sampling for Language Model Training with Clustering [96.46042695333655]
  本稿では,学習データのテキスト分布のバランスをとるためにClusterClip Smplingを提案する。 大規模な実験は、ClusterClip Smplingの有効性を検証する。
  論文  参考訳（メタデータ） (2024-02-22T13:20:53Z)
• Heterogeneous Datasets for Federated Survival Analysis Simulation [6.489759672413373]
  本研究では、既存の非フェデレーションデータセットから再現可能な方法で開始することで、現実的な異種データセットを構築する新しい手法を提案する。 具体的には、ディリクレ分布に基づく2つの新しいデータセット分割アルゴリズムを提供し、各データサンプルを慎重に選択したクライアントに割り当てる。 提案手法の実装は,フェデレートされた環境をシミュレートしてサバイバル分析を行うことを推奨し,広く普及している。
  論文  参考訳（メタデータ） (2023-01-28T11:37:07Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Achieving Representative Data via Convex Hull Feasibility Sampling Algorithms [35.29582673348303]
  トレーニングデータのバイアスをサンプリングすることは、機械学習システムにおけるアルゴリズムバイアスの主要な原因である。 得られたデータから代表的データセットを収集できるかどうかを高信頼で判断するために,適応的なサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T23:14:05Z)
• Decentralized federated learning of deep neural networks on non-iid data [0.6335848702857039]
  分散環境でパーソナライズされたディープラーニングモデルを学ぶことの難しさに対処する。 本稿では,PENS(Performance-Based Neighbor Selection)という手法を提案する。 PENSは強力なベースラインに比べて高い精度を達成することができる。
  論文  参考訳（メタデータ） (2021-07-18T19:05:44Z)
• Optimal Importance Sampling for Federated Learning [57.14673504239551]
  フェデレートラーニングには、集中型と分散化された処理タスクが混在する。 エージェントとデータのサンプリングは概して一様であるが、本研究では一様でないサンプリングについて考察する。 エージェント選択とデータ選択の両方に最適な重要サンプリング戦略を導出し、置換のない一様サンプリングが元のFedAvgアルゴリズムの性能を向上させることを示す。
  論文  参考訳（メタデータ） (2020-10-26T14:15:33Z)
• Unshuffling Data for Improved Generalization [65.57124325257409]
  トレーニングディストリビューションを越えた一般化は、マシンラーニングにおける中核的な課題である。 本研究では,複数の学習環境として扱われる非d.d.サブセットにデータを分割することで,アウト・オブ・ディストリビューションの一般化を向上したモデル学習を導出できることを示す。
  論文  参考訳（メタデータ） (2020-02-27T03:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。