論文の概要: Local K-Similarity Constraint for Federated Learning with Label Noise

• arxiv url: http://arxiv.org/abs/2511.06169v1
• Date: Sun, 09 Nov 2025 00:30:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:44.79149
• Title: Local K-Similarity Constraint for Federated Learning with Label Noise
• Title（参考訳）: ラベル雑音を考慮したフェデレーション学習のための局所K相似性制約
• Authors: Sanskar Amgain, Prashant Shrestha, Bidur Khanal, Alina Devkota, Yash Raj Shrestha, Seungryul Baek, Prashnna Gyawali, Binod Bhattarai,
• Abstract要約: ノイズの多いラベルを持つクライアントでのフェデレートラーニングは、クライアントがグローバルモデルに侵入できるため、難しい問題である。 本稿では,事前学習モデルと分類モデルとを分離するクライアントモデルに対する正規化目標を提案する。 この正規化により、複数のコンピュータビジョンと医用画像分類ベンチマークのパフォーマンスが大幅に向上する。
• 参考スコア（独自算出の注目度）: 11.704792340840987
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning on clients with noisy labels is a challenging problem, as such clients can infiltrate the global model, impacting the overall generalizability of the system. Existing methods proposed to handle noisy clients assume that a sufficient number of clients with clean labels are available, which can be leveraged to learn a robust global model while dampening the impact of noisy clients. This assumption fails when a high number of heterogeneous clients contain noisy labels, making the existing approaches ineffective. In such scenarios, it is important to locally regularize the clients before communication with the global model, to ensure the global model isn't corrupted by noisy clients. While pre-trained self-supervised models can be effective for local regularization, existing centralized approaches relying on pretrained initialization are impractical in a federated setting due to the potentially large size of these models, which increases communication costs. In that line, we propose a regularization objective for client models that decouples the pre-trained and classification models by enforcing similarity between close data points within the client. We leverage the representation space of a self-supervised pretrained model to evaluate the closeness among examples. This regularization, when applied with the standard objective function for the downstream task in standard noisy federated settings, significantly improves performance, outperforming existing state-of-the-art federated methods in multiple computer vision and medical image classification benchmarks. Unlike other techniques that rely on self-supervised pretrained initialization, our method does not require the pretrained model and classifier backbone to share the same architecture, making it architecture-agnostic.
• Abstract（参考訳）: ノイズの多いラベルを持つクライアントでのフェデレーション学習は、クライアントがグローバルモデルに侵入し、システムの全体的な一般化可能性に影響を与えるため、難しい問題である。 ノイズの多いクライアントを扱うために提案されている既存の方法は、クリーンなラベルを持つクライアントが十分な数存在すると仮定し、ノイズの多いクライアントの影響を軽減しつつ、ロバストなグローバルモデルを学ぶために利用することができる。 この仮定は、多数の異種クライアントがノイズラベルを含むと失敗し、既存のアプローチは効果がない。 このようなシナリオでは、グローバルモデルと通信する前にクライアントをローカルに正規化することが重要です。 事前訓練された自己教師付きモデルは局所正規化に有効であるが、事前訓練された初期化に依存する既存の集中型アプローチは、これらのモデルが潜在的に大きすぎるため、連合環境では実行不可能であり、通信コストが増大する。 そこで本研究では,クライアント内の近接データポイント間の類似性を強制することにより,事前学習モデルと分類モデルとを分離するクライアントモデルの正規化目標を提案する。 自己教師付き事前学習モデルの表現空間を利用して、実例間の近接性を評価する。 この正規化は、標準的なノイズの多いフェデレーション設定におけるダウンストリームタスクの標準目的関数を適用すれば、パフォーマンスを大幅に向上し、既存の最先端フェデレーション手法を複数のコンピュータビジョンおよび医用画像分類ベンチマークで上回る。 自己教師付き初期化に依存する他の手法とは異なり、我々の手法は、同じアーキテクチャを共有するために事前訓練されたモデルと分類器のバックボーンを必要としないため、アーキテクチャに依存しない。

関連論文リスト

• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Adaptive Self-Distillation for Minimizing Client Drift in Heterogeneous Federated Learning [9.975023463908496]
  Federated Learning(FL)は、クライアントがローカルトレーニングデータを共有せずに、局所的にトレーニングされたモデルを集約することで、グローバルモデルの共同トレーニングを可能にする機械学習パラダイムである。 本稿では,適応自己蒸留(ASD)に基づく新たな正規化手法を提案する。 我々の正規化方式は,グローバルモデルエントロピーとクライアントのラベル分布に基づいて,クライアントのトレーニングデータに適応的に適応的に適応する。
  論文  参考訳（メタデータ） (2023-05-31T07:00:42Z)
• Client-specific Property Inference against Secure Aggregation in Federated Learning [52.8564467292226]
  フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。 多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。 単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
  論文  参考訳（メタデータ） (2023-03-07T14:11:01Z)
• PaDPaF: Partial Disentanglement with Partially-Federated GANs [5.195669033269619]
  フェデレーテッド・ラーニングは、多くの潜在的な現実のアプリケーションで人気のある機械学習パラダイムとなっている。 本研究では,グローバルクライアント非依存とローカルクライアント固有の生成モデルを組み合わせた新しいアーキテクチャを提案する。 提案モデルでは,グローバルな一貫した表現を暗黙的に切り離すことで,プライバシーとパーソナライゼーションを実現する。
  論文  参考訳（メタデータ） (2022-12-07T18:28:54Z)
• Anomaly Detection through Unsupervised Federated Learning [0.0]
  フェデレートラーニングは、分散リソースを活用する上で最も有望なパラダイムの1つであることが証明されています。 本稿では,前処理フェーズを通じて,クライアントをコミュニティにグループ化する手法を提案する。 結果の異常検出モデルは共有され、同じコミュニティのクライアント内の異常を検出するために使用される。
  論文  参考訳（メタデータ） (2022-09-09T08:45:47Z)
• Federated Noisy Client Learning [105.00756772827066]
  フェデレートラーニング(FL)は、複数のローカルクライアントに依存する共有グローバルモデルを協調的に集約する。 標準FLメソッドは、集約されたモデル全体のパフォーマンスを損なううるノイズの多いクライアントの問題を無視します。 本稿では,Fed-NCL (Federated Noisy Client Learning) を提案する。
  論文  参考訳（メタデータ） (2021-06-24T11:09:17Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。