論文の概要: Redefining non-IID Data in Federated Learning for Computer Vision Tasks: Migrating from Labels to Embeddings for Task-Specific Data Distributions
- arxiv url: http://arxiv.org/abs/2503.14553v1
- Date: Mon, 17 Mar 2025 22:16:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-20 15:24:42.799776
- Title: Redefining non-IID Data in Federated Learning for Computer Vision Tasks: Migrating from Labels to Embeddings for Task-Specific Data Distributions
- Title（参考訳）: コンピュータビジョンタスクにおけるフェデレーション学習における非IIDデータの再定義--ラベルからタスク特化データ分布の埋め込みへ
- Authors: Kasra Borazjani, Payam Abdisarabshali, Naji Khosravan, Seyyedali Hosseinalipour,
- Abstract要約: Federated Learning (FL)は、分散機械学習(ML)におけるパラダイムシフトを表す。
現在のFLの性能はラベル/クラス分布スキューに頼って過大評価されている。
トレーニング済みのディープニューラルネットワークを利用することで、各ビジョンタスクのレンズを通してタスク固有のデータ不均一性を定義する。
- 参考スコア（独自算出の注目度）: 7.970776256251052
- License:
- Abstract: Federated Learning (FL) represents a paradigm shift in distributed machine learning (ML), enabling clients to train models collaboratively while keeping their raw data private. This paradigm shift from traditional centralized ML introduces challenges due to the non-iid (non-independent and identically distributed) nature of data across clients, significantly impacting FL's performance. Existing literature, predominantly model data heterogeneity by imposing label distribution skew across clients. In this paper, we show that label distribution skew fails to fully capture the real-world data heterogeneity among clients in computer vision tasks beyond classification. Subsequently, we demonstrate that current approaches overestimate FL's performance by relying on label/class distribution skew, exposing an overlooked gap in the literature. By utilizing pre-trained deep neural networks to extract task-specific data embeddings, we define task-specific data heterogeneity through the lens of each vision task and introduce a new level of data heterogeneity called embedding-based data heterogeneity. Our methodology involves clustering data points based on embeddings and distributing them among clients using the Dirichlet distribution. Through extensive experiments, we evaluate the performance of different FL methods under our revamped notion of data heterogeneity, introducing new benchmark performance measures to the literature. We further unveil a series of open research directions that can be pursued.
- Abstract（参考訳）: Federated Learning(FL)は、分散機械学習(ML)におけるパラダイムシフトであり、クライアントが生データをプライベートに保ちながら、協力的にモデルをトレーニングできるようにする。
従来の集中型MLからのこのパラダイムシフトは、クライアント間での非ID(非独立で同一の分散)データの性質による課題を導入し、FLのパフォーマンスに大きな影響を与えます。
既存の文献では、主にクライアント間でラベル分布スキューを付与することで、データの不均一性をモデル化している。
本稿では,分類を超えたコンピュータビジョンタスクにおけるクライアント間の実世界のデータ不均一性を,ラベル分布スキューが完全に把握できないことを示す。
その後,ラベル/クラス分布スキューに頼ってFLの性能を過大評価する現在の手法が,文献の見過ごされたギャップを露呈することを示した。
予め訓練されたディープニューラルネットワークを用いてタスク固有のデータ埋め込みを抽出することにより、各ビジョンタスクのレンズを通してタスク固有のデータ不均一性を定義し、埋め込みベースのデータ不均一性と呼ばれる新しいレベルのデータ不均一性を導入する。
本手法では,埋め込みに基づいてデータポイントをクラスタリングし,ディリクレ分布を用いてクライアント間で分散する。
広範にわたる実験を通じて,データ不均一性の概念を改良し,文献に新たなベンチマーク性能指標を導入し,FL法の性能評価を行った。
我々はさらに、追求できる一連のオープンな研究の方向性を明らかにします。
関連論文リスト
- Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。
本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
論文 参考訳（メタデータ） (2025-02-17T18:04:39Z) - Non-IID data in Federated Learning: A Survey with Taxonomy, Metrics, Methods, Frameworks and Future Directions [2.9434966603161072]
フェデレートラーニング(FL)は、プライベートデータを共有せずにMLモデルを集合的にトレーニングすることを可能にする。
FLは、クライアントにまたがるデータが独立で、同一に分散された(非IID)データである場合に苦労する。
この技術調査は、非IIDデータ、パーティションプロトコル、メトリクスの詳細な分類を提供することで、このギャップを埋めることを目的としています。
論文 参考訳（メタデータ） (2024-11-19T09:53:28Z) - Stable Diffusion-based Data Augmentation for Federated Learning with Non-IID Data [9.045647166114916]
フェデレートラーニング(FL)は、分散的かつ協調的なモデルトレーニングのための有望なパラダイムである。
FLは、非独立分散(Non-IID)データ分散に直面すると、パフォーマンスの大幅な低下と収束性の低下に悩まされる。
我々は、最先端のテキスト・ツー・イメージ基盤モデルの強力な能力を活用する新しいアプローチであるGen-FedSDを紹介する。
論文 参考訳（メタデータ） (2024-05-13T16:57:48Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳（メタデータ） (2024-02-13T20:04:39Z) - FedCiR: Client-Invariant Representation Learning for Federated Non-IID
Features [15.555538379806135]
Federated Learning(FL)は、エッジデバイスのデータ駆動モデルの可能性を、生データを共有せずに最大化する分散学習パラダイムである。
我々は、クライアントが情報やクライアントの不変性を抽出できるクライアント不変表現学習フレームワークであるFedCiRを提案する。
論文 参考訳（メタデータ） (2023-08-30T06:36:32Z) - CADIS: Handling Cluster-skewed Non-IID Data in Federated Learning with
Clustered Aggregation and Knowledge DIStilled Regularization [3.3711670942444014]
フェデレーション学習は、エッジデバイスがデータを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。
我々は、実際のデータセットで発見されたクラスタスキュード非IIDと呼ばれる新しいタイプの非IIDデータに取り組む。
本稿では,クラスタ間の平等を保証するアグリゲーション方式を提案する。
論文 参考訳（メタデータ） (2023-02-21T02:53:37Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2022-10-11T08:24:50Z) - Rethinking Data Heterogeneity in Federated Learning: Introducing a New
Notion and Standard Benchmarks [65.34113135080105]
我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。
私たちの観察は直感的である。
私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
論文 参考訳（メタデータ） (2022-09-30T17:15:19Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。