Fugu-MT 論文翻訳(概要): Fed-Focal Loss for imbalanced data classification in Federated Learning

論文の概要: Fed-Focal Loss for imbalanced data classification in Federated Learning

arxiv url: http://arxiv.org/abs/2011.06283v1
Date: Thu, 12 Nov 2020 09:52:14 GMT
ステータス: 処理完了
システム内更新日: 2022-09-26 07:43:46.720490
Title: Fed-Focal Loss for imbalanced data classification in Federated Learning
Title（参考訳）: フェデレーション学習における不均衡データ分類のためのFed-Focal Loss
Authors: Dipankar Sarkar, Ankur Narang, Sumit Rai
Abstract要約: Federated Learningには、デバイスネットワーク上のモデルのトレーニングをコーディネートする中央サーバがある。課題の1つは、データセットがクラス不均衡である場合の可変トレーニングパフォーマンスである。焦点損失の線に沿って、適切に分類された例に割り当てられた損失を下げるように、クロスエントロピー損失を変形させることにより、クラス不均衡に対処することを提案する。
参考スコア（独自算出の注目度）: 2.2172881631608456
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The Federated Learning setting has a central server coordinating the training of a model on a network of devices. One of the challenges is variable training performance when the dataset has a class imbalance. In this paper, we address this by introducing a new loss function called Fed-Focal Loss. We propose to address the class imbalance by reshaping cross-entropy loss such that it down-weights the loss assigned to well-classified examples along the lines of focal loss. Additionally, by leveraging a tunable sampling framework, we take into account selective client model contributions on the central server to further focus the detector during training and hence improve its robustness. Using a detailed experimental analysis with the VIRTUAL (Variational Federated Multi-Task Learning) approach, we demonstrate consistently superior performance in both the balanced and unbalanced scenarios for MNIST, FEMNIST, VSN and HAR benchmarks. We obtain a more than 9% (absolute percentage) improvement in the unbalanced MNIST benchmark. We further show that our technique can be adopted across multiple Federated Learning algorithms to get improvements.
Abstract（参考訳）: フェデレーション学習設定は、デバイスネットワーク上のモデルのトレーニングを調整する中央サーバを有する。課題の1つは、データセットがクラス不均衡である場合の可変トレーニングパフォーマンスである。本稿では,Fed-Focal Lossと呼ばれる新たな損失関数を導入することでこの問題に対処する。焦点損失の線に沿って、適切に分類された例に割り当てられた損失を下げるように、クロスエントロピー損失を変形させることにより、クラス不均衡に対処することを提案する。さらに,チューニング可能なサンプリングフレームワークを活用することで,中央サーバへの選択されたクライアントモデルの貢献を考慮して,トレーニング中に検出者をさらに集中させ,堅牢性を向上させる。 VIRTUAL(Variational Federated Multi-Task Learning)アプローチによる詳細な実験解析を用いて、MNIST、FEMNIST、VSN、HARベンチマークのバランスのとれたシナリオおよびアンバランスなシナリオにおいて、一貫して優れた性能を示す。非バランスなMNISTベンチマークでは、9%以上(絶対パーセンテージ)の改善が得られた。さらに,複数のフェデレーション学習アルゴリズムにまたがって,その手法を適用できることを示した。

関連論文リスト

Gradient Reweighting: Towards Imbalanced Class-Incremental Learning [8.438092346233054]
CIL(Class-Incremental Learning)は、非定常データから新しいクラスを継続的に認識するためにモデルを訓練する。 CILの大きな課題は、非一様分布を特徴とする実世界のデータに適用する場合である。この二重不均衡問題により、FC層に偏りのある勾配更新が生じ、CILの過度/過度な適合と破滅的な忘れが引き起こされる。
論文参考訳（メタデータ） (2024-02-28T18:08:03Z)
Simplifying Neural Network Training Under Class Imbalance [77.39968702907817]
実世界のデータセットは、しばしば高いクラス不均衡であり、ディープラーニングモデルのパフォーマンスに悪影響を及ぼす可能性がある。クラス不均衡下でのニューラルネットワークのトレーニングに関する研究の大部分は、特殊な損失関数、サンプリング技術、または2段階のトレーニング手順に焦点を当てている。バッチサイズやデータ拡張,ラベルの平滑化といった,標準的なディープラーニングパイプラインの既存のコンポーネントを単にチューニングするだけで,そのような特殊なクラス不均衡な手法を使わずに,最先端のパフォーマンスを達成できることを実証する。
論文参考訳（メタデータ） (2023-12-05T05:52:44Z)
Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文参考訳（メタデータ） (2022-09-30T05:42:56Z)
Learning to Re-weight Examples with Optimal Transport for Imbalanced Classification [74.62203971625173]
不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
論文参考訳（メタデータ） (2022-08-05T01:23:54Z)
Phased Progressive Learning with Coupling-Regulation-Imbalance Loss for Imbalanced Classification [11.673344551762822]
ディープニューラルネットワークは、一般に、異なるクラス間の量不均衡と分類困難の不均衡に苦しむデータセットで性能が良くない。表象学習から上位クラス化学習への学習強調を円滑に伝達する段階的な進行学習スケジュールが提案された。私たちのコードはまもなくオープンソースになります。
論文参考訳（メタデータ） (2022-05-24T14:46:39Z)
FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task Learning [50.756991828015316]
マルチタスク学習(MTL)は、1つの共有ネットワークで複数のタスクを同時に学習する新しいフレームワークである。本稿では,異なるタスク間の学習速度のバランスをとるために,動的重み付け法を用いてノルムの正規化を行うFedGradNormを提案する。
論文参考訳（メタデータ） (2022-03-24T17:43:12Z)
AutoBalance: Optimized Loss Functions for Imbalanced Data [38.64606886588534]
本稿では,2段階最適化フレームワークであるAutoBalanceを提案する。具体的には、下層問題はモデル重みを訓練し、上層問題は、検証データに対して所望の目的を監視、最適化することにより損失関数を調整する。我々の損失設計は、パラメトリックなクロスエントロピー損失と個別化されたデータ拡張スキームを用いて、クラス/グループをパーソナライズすることを可能にする。
論文参考訳（メタデータ） (2022-01-04T15:53:23Z)
Addressing Class Imbalance in Federated Learning [10.970632986559547]
Federated Learning(FL)は、ローカルクライアントデバイス上の分散データをトレーニングするための有望なアプローチである。本研究では,FLラウンド毎のトレーニングデータの組成を推定し,その影響を軽減するために新しい損失関数 textbfRatio Loss を設計する。
論文参考訳（メタデータ） (2020-08-14T07:28:08Z)
Mitigating Dataset Imbalance via Joint Generation and Classification [17.57577266707809]
教師付きディープラーニング手法は、コンピュータビジョンの多くの実践的応用において大きな成功を収めている。バイアスや不均衡データに対する顕著な性能劣化は、これらの手法の信頼性に疑問を投げかける。ニューラルネットワーク分類器とGAN(Generative Adversarial Networks)を組み合わせた共同データセット修復戦略を提案する。重度のクラス不均衡に対する分類器とGANの堅牢性向上に寄与することを示す。
論文参考訳（メタデータ） (2020-08-12T18:40:38Z)
Deep F-measure Maximization for End-to-End Speech Understanding [52.36496114728355]
本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。我々は、アダルト、コミュニティ、犯罪の2つの標準フェアネスデータセットの実験を行い、ATISデータセットの音声・インテリジェンス検出と音声・COCOデータセットの音声・イメージ概念分類を行った。これらの4つのタスクのすべてにおいて、F測定は、クロスエントロピー損失関数で訓練されたモデルと比較して、最大8%の絶対的な絶対的な改善を含む、マイクロF1スコアの改善をもたらす。
論文参考訳（メタデータ） (2020-08-08T03:02:27Z)
Identifying and Compensating for Feature Deviation in Imbalanced Deep Learning [59.65752299209042]
このようなシナリオ下でのConvNetの学習について検討する。私たちは、ConvNetがマイナーなクラスにかなり適合していることに気づきました。クラス依存型温度トレーニング(CDT)のConvNetの導入を提案する。
論文参考訳（メタデータ） (2020-01-06T03:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。