論文の概要: Navigating Data Heterogeneity in Federated Learning A Semi-Supervised Federated Object Detection

• arxiv url: http://arxiv.org/abs/2310.17097v3
• Date: Wed, 3 Jan 2024 01:03:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-04 16:33:56.966565
• Title: Navigating Data Heterogeneity in Federated Learning A Semi-Supervised Federated Object Detection
• Title（参考訳）: 半教師付きフェデレーション物体検出におけるフェデレーション学習におけるデータ不均一性の探索
• Authors: Taehyeon Kim, Eric Lin, Junu Lee, Christian Lau, Vaikkunth Mugunthan
• Abstract要約: フェデレートラーニング(FL)は、分散データソース間でモデルをトレーニングするための強力なフレームワークとして登場した。 特に自動運転のようなアプリケーションでは、高品質なラベルや、IID以外のクライアントデータに制限がある。 クライアントがラベル付きデータを持っている間、ラベル付きデータがサーバにのみ存在するシナリオ用に設計された、先駆的なSSFODフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 3.7398615061365206
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) has emerged as a potent framework for training models across distributed data sources while maintaining data privacy. Nevertheless, it faces challenges with limited high-quality labels and non-IID client data, particularly in applications like autonomous driving. To address these hurdles, we navigate the uncharted waters of Semi-Supervised Federated Object Detection (SSFOD). We present a pioneering SSFOD framework, designed for scenarios where labeled data reside only at the server while clients possess unlabeled data. Notably, our method represents the inaugural implementation of SSFOD for clients with 0% labeled non-IID data, a stark contrast to previous studies that maintain some subset of labels at each client. We propose FedSTO, a two-stage strategy encompassing Selective Training followed by Orthogonally enhanced full-parameter training, to effectively address data shift (e.g. weather conditions) between server and clients. Our contributions include selectively refining the backbone of the detector to avert overfitting, orthogonality regularization to boost representation divergence, and local EMA-driven pseudo label assignment to yield high-quality pseudo labels. Extensive validation on prominent autonomous driving datasets (BDD100K, Cityscapes, and SODA10M) attests to the efficacy of our approach, demonstrating state-of-the-art results. Remarkably, FedSTO, using just 20-30% of labels, performs nearly as well as fully-supervised centralized training methods.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データプライバシを維持しながら、分散データソース間でモデルをトレーニングするための強力なフレームワークとして登場した。 それでも、特に自動運転のようなアプリケーションでは、限られた高品質ラベルと非iidクライアントデータで問題に直面している。 これらのハードルに対処するため、セミスーパーバイズド・フェデレート・オブジェクト検出(SSFOD)の未処理海域を航行する。 我々は,ラベル付きデータがサーバにのみ存在し,クライアントがラベル付きデータを所有するシナリオを想定した,先駆的なssfodフレームワークを提案する。 特に,0%のラベル付き非iidデータを持つクライアントに対するssfodの初回実装は,各クライアントでラベルのサブセットを保持する従来の研究とは対照的である。 我々は,サーバとクライアント間のデータシフト(天気条件など)を効果的に解決するために,選択学習とオルソゴン的に拡張されたフルパラメータトレーニングの2段階戦略であるFedSTOを提案する。 我々の貢献には、過剰フィッティングを回避するために検出器のバックボーンを選択的に精錬すること、表現の発散を促進するための直交性正規化、高品質の擬似ラベルを得るための局所ema駆動の擬似ラベル割り当てが含まれる。 顕著な自律運転データセット(BDD100K,Cityscapes,SODA10M)に対する広範な検証は、我々のアプローチの有効性を証明し、最先端の結果を示す。 注目すべきなのは、ラベルの20～30%しか使用していないFedSTOは、完全に管理された集中的なトレーニング方法と同様に、ほぼ同じように機能することです。

関連論文リスト

• Optimizing Federated Learning by Entropy-Based Client Selection [13.851391819710367]
  ディープラーニングドメインは通常、最適なパフォーマンスのために大量のデータを必要とします。 FedOptEntは、ラベル配布スキューによるパフォーマンスの問題を軽減するように設計されている。 提案手法は,最先端のアルゴリズムを最大6%の精度で高速化する。
  論文  参考訳（メタデータ） (2024-11-02T13:31:36Z)
• FedAnchor: Enhancing Federated Semi-Supervised Learning with Label Contrastive Loss for Unlabeled Clients [19.3885479917635]
  Federated Learning(FL)は、デバイス間で共有されたグローバルモデルの協調トレーニングを促進する分散学習パラダイムである。 本稿では,サーバ上のラベル付きアンカーデータにのみ訓練された分類ヘッドと組み合わせて,アンカーヘッドと呼ばれるユニークな二重ヘッド構造を導入する,革新的なFSSL手法であるFedAnchorを提案する。 提案手法は, 高信頼度モデル予測サンプルに基づいて, 疑似ラベル技術に係わる検証バイアスと過度に適合する問題を緩和する。
  論文  参考訳（メタデータ） (2024-02-15T18:48:21Z)
• Investigation of Federated Learning Algorithms for Retinal Optical Coherence Tomography Image Classification with Statistical Heterogeneity [6.318288071829899]
  我々は,OCT画像分類モデルを分散的に学習するためのFedAvgとFedProxの有効性を検討した。 IID と Non-IID 設定で複数のクライアントに公開可能な OCT データセットを分割し,各クライアントのサブセットをローカルにトレーニングした。
  論文  参考訳（メタデータ） (2024-02-15T15:58:42Z)
• Combating Data Imbalances in Federated Semi-supervised Learning with Dual Regulators [40.12377870379059]
  フェデレートされた半教師付き学習(FSSL)は、少数のラベル付きデータからモデルをトレーニングするために現れる。 デュアルレギュレータであるFedDureを用いた新しいFSSLフレームワークを提案する。 FedDureは、さまざまな設定で既存のメソッドよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-11T15:45:03Z)
• Exploring One-shot Semi-supervised Federated Learning with A Pre-trained Diffusion Model [40.83058938096914]
  我々は,フェデレート拡散にインスパイアされた半教師付き協調学習法であるFedDISCを提案する。 まず、ラベル付きサーバデータのプロトタイプを抽出し、これらのプロトタイプを用いてクライアントデータの擬似ラベルを予測する。 各カテゴリについて、クラスタセントロイドとドメイン固有の表現を計算し、それらの分布のセマンティックおよびスタイリスティックな情報を表す。 これらの表現はサーバに送信され、事前にトレーニングされたデータを使用して、クライアントの分布に応じて合成データセットを生成し、その上でグローバルモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-05-06T14:22:33Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Dual-Refinement: Joint Label and Feature Refinement for Unsupervised Domain Adaptive Person Re-Identification [51.98150752331922]
  Unsupervised Domain Adaptive (UDA) Person Re-identification (再ID) は、ターゲットドメインデータのラベルが欠落しているため、難しい作業です。 オフラインクラスタリングフェーズにおける擬似ラベルとオンライントレーニングフェーズにおける特徴を共同で改良する,デュアルリファインメントと呼ばれる新しいアプローチを提案する。 本手法は最先端手法を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2020-12-26T07:35:35Z)
• Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
  本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。 本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。 本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
  論文  参考訳（メタデータ） (2020-06-27T08:13:58Z)
• Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning [78.88007892742438]
  ラベル付きデータの位置に基づくFSSL(Federated Semi-Supervised Learning)の2つの重要なシナリオについて検討する。 フェデレートマッチング(FedMatch)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-06-22T09:43:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。