論文の概要: Re-thinking Federated Active Learning based on Inter-class Diversity
- arxiv url: http://arxiv.org/abs/2303.12317v1
- Date: Wed, 22 Mar 2023 05:21:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-23 15:09:39.852968
- Title: Re-thinking Federated Active Learning based on Inter-class Diversity
- Title(参考訳): クラス間多様性に基づくフェデレーションアクティブラーニングの再考
- Authors: SangMook Kim, Sangmin Bae, Hwanjun Song, Se-Young Yun
- Abstract要約: 2つのセレクタモデルの優越性は、大域的および局所的なクラス間多様性に依存することを示す。
局所的不均一度と大域的不均衡比の変動に頑健なFALサンプリング戦略であるLoGoを提案する。
LoGoは、38の実験的な設定の合計で、6つのアクティブな学習戦略を一貫して上回っている。
- 参考スコア(独自算出の注目度): 16.153683223016973
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although federated learning has made awe-inspiring advances, most studies
have assumed that the client's data are fully labeled. However, in a real-world
scenario, every client may have a significant amount of unlabeled instances.
Among the various approaches to utilizing unlabeled data, a federated active
learning framework has emerged as a promising solution. In the decentralized
setting, there are two types of available query selector models, namely
'global' and 'local-only' models, but little literature discusses their
performance dominance and its causes. In this work, we first demonstrate that
the superiority of two selector models depends on the global and local
inter-class diversity. Furthermore, we observe that the global and local-only
models are the keys to resolving the imbalance of each side. Based on our
findings, we propose LoGo, a FAL sampling strategy robust to varying local
heterogeneity levels and global imbalance ratio, that integrates both models by
two steps of active selection scheme. LoGo consistently outperforms six active
learning strategies in the total number of 38 experimental settings.
- Abstract(参考訳): 連合学習は先進的な進歩を遂げているが、多くの研究はクライアントのデータは完全にラベル付けされていると仮定している。
しかし、現実のシナリオでは、すべてのクライアントがかなりの量のラベルのないインスタンスを持っているかもしれません。
ラベルなしデータを利用する様々なアプローチの中で、連合型アクティブラーニングフレームワークが有望なソリューションとして登場した。
分散環境では、利用可能な問合せセレクタモデルには「グローバル」と「ローカルのみ」の2種類があるが、その性能支配とその原因を論じる文献はほとんどない。
本研究では、2つのセレクタモデルの優越性がグローバルおよび局所的なクラス間の多様性に依存することを示す。
さらに, グローバルモデルとローカルモデルが, それぞれの不均衡解消の鍵であることを確認した。
そこで本研究では,異なる局所不均一性レベルとグローバル不均衡比に頑健なfalサンプリング戦略であるlogoを提案する。
LoGoは、38の実験的な設定の合計で、6つのアクティブな学習戦略を一貫して上回っている。
関連論文リスト
- SFedCA: Credit Assignment-Based Active Client Selection Strategy for Spiking Federated Learning [15.256986486372407]
フェデレーション学習のスパイクにより、リソースに制約のあるデバイスは、ローカルデータを交換することなく、低消費電力で協調的にトレーニングできる。
既存のスパイキングフェデレーション学習手法では、クライアントのアグリゲーションに対してランダムな選択アプローチを採用しており、不偏なクライアントの参加を前提としている。
本研究では,グローバルなサンプル分布バランスに寄与するクライアントを鑑定するために,クレジット割当に基づくアクティブクライアント選択戦略であるSFedCAを提案する。
論文 参考訳(メタデータ) (2024-06-18T01:56:22Z) - Adaptive Global-Local Representation Learning and Selection for
Cross-Domain Facial Expression Recognition [54.334773598942775]
ドメインシフトは、クロスドメイン顔表情認識(CD-FER)において重要な課題となる
適応的グローバルローカル表現学習・選択フレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-20T02:21:41Z) - Federated Skewed Label Learning with Logits Fusion [23.062650578266837]
フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。
本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。
提案手法は最先端手法に比べて平均精度が13%高い。
論文 参考訳(メタデータ) (2023-11-14T14:37:33Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳(メタデータ) (2023-08-20T04:41:01Z) - A Global Model Approach to Robust Few-Shot SAR Automatic Target
Recognition [6.260916845720537]
ディープラーニングベースのSAR自動ターゲット認識(ATR)モデルをトレーニングするために、クラス毎に数百のラベル付きサンプルを収集できるとは限らない。
この研究は特に数発のSAR ATR問題に対処しており、興味のあるタスクをサポートするためにラベル付きサンプルがわずかである。
論文 参考訳(メタデータ) (2023-03-20T00:24:05Z) - Federated Semi-Supervised Learning with Annotation Heterogeneity [57.12560313403097]
Heterogenely Annotated Semi-Supervised LEarning (HASSLE) という新しいフレームワークを提案する。
ラベル付きデータとラベルなしデータで個別にトレーニングされた2つのモデルを持つデュアルモデルフレームワークである。
デュアルモデルは、異なるクライアントにわたる両方のタイプのデータから暗黙的に学習することができるが、各デュアルモデルは、単一のタイプのデータに対してのみローカルにトレーニングされる。
論文 参考訳(メタデータ) (2023-03-04T16:04:49Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳(メタデータ) (2022-11-10T13:20:56Z) - FedNoiL: A Simple Two-Level Sampling Method for Federated Learning with
Noisy Labels [49.47228898303909]
フェデレートラーニング(FL)は、トレーニングデータが収集され、ローカルデバイスに配置されている間、サーバ側のグローバルモデルをトレーニングすることを目的としている。
ノイズラベルの局所的なトレーニングは、集約を通じてグローバルモデルに破壊的な破壊的な、ノイズラベルへの過度な適合をもたらす可能性がある。
サーバ上でよりロバストなグローバルアグリゲーションを実現するため,クライアントを選択するための単純な2レベルサンプリング手法「FedNoiL」を開発した。
論文 参考訳(メタデータ) (2022-05-20T12:06:39Z) - Subspace Learning for Personalized Federated Optimization [7.475183117508927]
本稿では,AIシステムにおけるパーソナライズされた学習の問題に対処する手法を提案する。
提案手法は、パーソナライズされたクライアント評価設定と見当たらないクライアント評価設定の両方において、一貫した利得が得られることを示す。
論文 参考訳(メタデータ) (2021-09-16T00:03:23Z) - An Experimental Study of Class Imbalance in Federated Learning [0.8122270502556371]
本稿では,クラス不均衡度(MID)と,クライアント間のクラス不均衡度(WCS)の局所的差という,クラス不均衡度を定義するための2つの新しい指標を提案する。
以上の結果から,MIDが向上し,WCSが大きくなると,グローバルモデルの性能が低下することが示唆された。
論文 参考訳(メタデータ) (2021-09-09T08:26:16Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳(メタデータ) (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。