論文の概要: Improving the Robustness of Federated Learning for Severely Imbalanced Datasets

• arxiv url: http://arxiv.org/abs/2204.13414v1
• Date: Thu, 28 Apr 2022 11:23:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-29 22:14:28.077851
• Title: Improving the Robustness of Federated Learning for Severely Imbalanced Datasets
• Title（参考訳）: 重度不均衡データセットに対する連合学習のロバスト性向上
• Authors: Debasrita Chakraborty and Ashish Ghosh
• Abstract要約: この分散学習を実現するための2つの一般的なアプローチは、同期と非同期の重み更新である。 ワーカノードの増加に伴い、パフォーマンスが大幅に低下することがわかった。 この効果は、極端な不均衡な分類の文脈で研究されている。
• 参考スコア（独自算出の注目度）: 11.498089180181365
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the ever increasing data deluge and the success of deep neural networks, the research of distributed deep learning has become pronounced. Two common approaches to achieve this distributed learning is synchronous and asynchronous weight update. In this manuscript, we have explored very simplistic synchronous weight update mechanisms. It has been seen that with an increasing number of worker nodes, the performance degrades drastically. This effect has been studied in the context of extreme imbalanced classification (e.g. outlier detection). In practical cases, the assumed conditions of i.i.d. may not be fulfilled. There may also arise global class imbalance situations like that of outlier detection where the local servers receive severely imbalanced data and may not get any samples from the minority class. In that case, the DNNs in the local servers will get completely biased towards the majority class that they receive. This would highly impact the learning at the parameter server (which practically does not see any data). It has been observed that in a parallel setting if one uses the existing federated weight update mechanisms at the parameter server, the performance degrades drastically with the increasing number of worker nodes. This is mainly because, with the increasing number of nodes, there is a high chance that one worker node gets a very small portion of the data, either not enough to train the model without overfitting or having a highly imbalanced class distribution. The chapter, hence, proposes a workaround to this problem by introducing the concept of adaptive cost-sensitive momentum averaging. It is seen that for the proposed system, there was no to minimal degradation in performance while most of the other methods hit their bottom performance before that.
• Abstract（参考訳）: ますますデータ不足とディープニューラルネットワークの成功により、分散ディープラーニングの研究が注目されるようになった。 この分散学習を実現するための2つの一般的なアプローチは、同期と非同期の重み更新である。 本稿では,非常に単純な同期重み更新機構について検討した。 ワーカノードの増加に伴い、パフォーマンスが大幅に低下することがわかった。 この効果は、極端な不均衡分類(例えば、異常検出)の文脈で研究されている。 実際の場合、i.d.の仮定条件は満たされないかもしれない。 また、ローカルサーバが深刻な不均衡データを受信し、マイノリティクラスからのサンプルが得られない、異常検出のようなグローバルクラスの不均衡が発生する可能性がある。 その場合、ローカルサーバのDNNは、彼らが受け取る多数派に完全に偏っている。 これはパラメータサーバでの学習(実際にはデータを見ることができない)に大きな影響を与えるでしょう。 並列環境では、パラメータサーバで既存のフェデレーションウェイト更新機構を使用すると、ワーカノード数の増加によってパフォーマンスが劇的に低下する。 これは主に、ノード数が増加するにつれて、1つのワーカノードがデータのごく一部を取得できる可能性が高く、過度に適合したり、高度に不均衡なクラス分布を持つことなくモデルをトレーニングできないためである。 そこで,本章では,適応的コスト感応運動量平均化の概念を導入することで,この問題に対する回避策を提案する。 提案手法では,性能の低下を最小限に抑えることはできなかったが,他の手法は最下位に到達した。

関連論文リスト

• Open-World Semi-Supervised Learning for Node Classification [53.07866559269709]
  ノード分類のためのオープンワールド半教師付き学習(Open World SSL)は、グラフコミュニティにおいて実用的だが未探索の課題である。 オープンワールド半教師付きノード分類のためのIM Balance-AwareメソッドOpenIMAを提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:12:54Z)
• Inducing Neural Collapse in Deep Long-tailed Learning [13.242721780822848]
  クラス不均衡データの高品質な表現を学習するための2つの明示的な特徴正規化項を提案する。 提案された正規化により、ニューラル崩壊現象はクラス不均衡分布の下に現れる。 本手法は, 実装が容易で, 有効であり, 既存のほとんどの方法に組み込むことができる。
  論文  参考訳（メタデータ） (2023-02-24T05:07:05Z)
• ReGrAt: Regularization in Graphs using Attention to handle class imbalance [14.322295231579073]
  本研究では,ノード分類の不均衡に注意ネットワークがどう取り組むかを検討する。 また、正規化器を用いてマイノリティノードにより大きな重み付けを割り当てることで、この不均衡を緩和する。 我々は、いくつかの標準引用ベンチマークデータセットの既存の手法よりも、最先端の成果を達成している。
  論文  参考訳（メタデータ） (2022-11-27T09:04:29Z)
• An Embarrassingly Simple Baseline for Imbalanced Semi-Supervised Learning [103.65758569417702]
  半教師付き学習(SSL)は、ラベルのないデータを活用してモデルのパフォーマンスを向上させるという大きな約束を示している。 我々は、ラベル付きデータとラベルなしデータの両方で不均衡なクラス分散が発生する不均衡SSLという、より現実的で困難な設定について検討する。 我々は、ラベル付きデータを擬似ラベルで単純に補うことで、データの不均衡に取り組む単純なベースライン、SimiSについて研究する。
  論文  参考訳（メタデータ） (2022-11-20T21:18:41Z)
• Synthetic Over-sampling for Imbalanced Node Classification with Graph Neural Networks [34.81248024048974]
  グラフニューラルネットワーク(GNN)はノード分類の最先端性能を実現している。 多くの実世界のシナリオでは、ノードクラスは不均衡であり、グラフのほとんどの部分を構成する多数派クラスもある。 本研究では、マイノリティクラスの擬似インスタンスを生成し、トレーニングデータのバランスをとることで、この問題に対処する。
  論文  参考訳（メタデータ） (2022-06-10T19:47:05Z)
• Distributionally Robust Semi-Supervised Learning Over Graphs [68.29280230284712]
  グラフ構造化データに対する半教師付き学習(SSL)は、多くのネットワークサイエンスアプリケーションに現れる。 グラフ上の学習を効率的に管理するために,近年,グラフニューラルネットワーク(GNN)の変種が開発されている。 実際に成功したにも拘わらず、既存の手法のほとんどは、不確実な結節属性を持つグラフを扱うことができない。 ノイズ測定によって得られたデータに関連する分布の不確実性によっても問題が発生する。 分散ロバストな学習フレームワークを開発し,摂動に対する定量的ロバスト性を示すモデルを訓練する。
  論文  参考訳（メタデータ） (2021-10-20T14:23:54Z)
• Class Balancing GAN with a Classifier in the Loop [58.29090045399214]
  本稿では,GANを学習するための理論的動機付けクラスバランス正則化器を提案する。 我々の正規化器は、訓練済みの分類器からの知識を利用して、データセット内のすべてのクラスのバランスの取れた学習を確実にします。 複数のデータセットにまたがる既存手法よりも優れた性能を達成し,長期分布の学習表現における正規化器の有用性を実証する。
  論文  参考訳（メタデータ） (2021-06-17T11:41:30Z)
• Fed-Focal Loss for imbalanced data classification in Federated Learning [2.2172881631608456]
  Federated Learningには、デバイスネットワーク上のモデルのトレーニングをコーディネートする中央サーバがある。 課題の1つは、データセットがクラス不均衡である場合の可変トレーニングパフォーマンスである。 焦点損失の線に沿って、適切に分類された例に割り当てられた損失を下げるように、クロスエントロピー損失を変形させることにより、クラス不均衡に対処することを提案する。
  論文  参考訳（メタデータ） (2020-11-12T09:52:14Z)
• Superiority of Simplicity: A Lightweight Model for Network Device Workload Prediction [58.98112070128482]
  本稿では,歴史観測に基づく時系列予測のための軽量な解を提案する。 ニューラルネットワークと平均予測器という2つのモデルからなる異種アンサンブル法で構成されている。 利用可能なFedCSIS 2020チャレンジデータセットの総合的なR2$スコア0.10を達成している。
  論文  参考訳（メタデータ） (2020-07-07T15:44:16Z)
• Imbalanced Data Learning by Minority Class Augmentation using Capsule Adversarial Networks [31.073558420480964]
  本稿では,2つの同時手法を合体させて,不均衡な画像のバランスを回復する手法を提案する。 我々のモデルでは、生成的および識別的ネットワークは、新しい競争力のあるゲームをする。 カプセルGANの合体は、畳み込みGANと比較して非常に少ないパラメータで重なり合うクラスを認識するのに効果的である。
  論文  参考訳（メタデータ） (2020-04-05T12:36:06Z)
• Identifying and Compensating for Feature Deviation in Imbalanced Deep Learning [59.65752299209042]
  このようなシナリオ下でのConvNetの学習について検討する。 私たちは、ConvNetがマイナーなクラスにかなり適合していることに気づきました。 クラス依存型温度トレーニング(CDT)のConvNetの導入を提案する。
  論文  参考訳（メタデータ） (2020-01-06T03:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。