論文の概要: FedPOD: the deployable units of training for federated learning
- arxiv url: http://arxiv.org/abs/2512.20610v2
- Date: Wed, 24 Dec 2025 02:38:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-25 13:34:31.9649
- Title: FedPOD: the deployable units of training for federated learning
- Title(参考訳): FedPOD:フェデレーション学習のためのデプロイ可能なトレーニングユニット
- Authors: Daewoon Kim, Si Young Yie, Jae Sung Lee,
- Abstract要約: FedPODは2024年のFeTSチャレンジで第1位にランクインした。
FedPIDAvgにインスパイアされたFedPODは、訓練効率を高めるためのラウンドワイドなタスクを定義する。
この課題では、DiceのスコアでFedPIDAvgに匹敵するパフォーマンスを示し、WT、ET、TCの平均は0.78、0.71、0.72、平均は0.74である。
- 参考スコア(独自算出の注目度): 4.263043028086136
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper proposes FedPOD, which ranked first in the 2024 Federated Tumor Segmentation (FeTS) Challenge, for optimizing learning efficiency and communication cost in federated learning among multiple clients. Inspired by FedPIDAvg, we define a round-wise task for FedPOD to enhance training efficiency. FedPIDAvg achieved performance improvement by incorporating the training loss reduction for prediction entropy as weights using differential terms. Furthermore, by modeling data distribution with a Poisson distribution and using a PID controller, it reduced communication costs even in skewed data distribution. However, excluding participants classified as outliers based on the Poisson distribution can limit data utilization. Additionally, PID controller requires the same participants to be maintained throughout the federated learning process as it uses previous rounds' learning information in the current round. In our approach, FedPOD addresses these issues by including participants excluded as outliers, eliminating dependency on previous rounds' learning information, and applying a method for calculating validation loss at each round. In this challenge, FedPOD presents comparable performance to FedPIDAvg in metrics of Dice score, 0.78, 0.71 and 0.72 for WT, ET and TC in average, and projected convergence score, 0.74 in average. Furthermore, the concept of FedPOD draws inspiration from Kubernetes' smallest computing unit, POD, designed to be compatible with Kubernetes auto-scaling. Extending round-wise tasks of FedPOD to POD units allows flexible design by applying scale-out similar to Kubernetes' auto-scaling. This work demonstrated the potentials of FedPOD to enhance federated learning by improving efficiency, flexibility, and performance in metrics.
- Abstract(参考訳): 本稿では,FeTS(Federated tumor Segmentation)チャレンジで第1位となったFedPODを提案し,複数のクライアント間でのフェデレート学習における学習効率と通信コストを最適化する。
FedPIDAvgにインスパイアされたFedPODは、訓練効率を高めるためのラウンドワイドなタスクを定義する。
FedPIDAvgは、予測エントロピーのトレーニング損失削減を、差分項を用いた重み付けに組み込むことで、性能改善を実現した。
さらに、ポアソン分布を用いてデータ分散をモデル化し、PIDコントローラを使用することで、スキュードデータ分散においても通信コストを削減できる。
しかし、ポアソン分布に基づく外れ値に分類された参加者を除くと、データ利用を制限することができる。
さらに、PIDコントローラは、現在のラウンドで以前のラウンドの学習情報を使用するため、フェデレートされた学習プロセスを通して同じ参加者を維持する必要がある。
提案手法では, 参加者を外れ値として除外し, 前のラウンドの学習情報への依存を排除し, ラウンド毎の検証損失を算定する手法を適用することで, これらの問題に対処する。
この課題では、DiceスコアでFedPIDAvgに匹敵するパフォーマンスを示し、WT、ET、TCの平均は0.78、0.71、0.72、平均は0.74である。
さらに、FedPODの概念は、Kubernetesの最小のコンピューティングユニットであるPODからインスピレーションを得ている。
FedPODのラウンドワイドタスクをPODユニットに拡張することで、Kubernetesの自動スケーリングに似たスケールアウトを適用することで、柔軟な設計が可能になる。
この研究は、メトリクスの効率、柔軟性、パフォーマンスを改善して、フェデレーション学習を強化するためのFedPODの可能性を実証した。
関連論文リスト
- Enhancing Training Data Attribution with Representational Optimization [57.61977909113113]
トレーニングデータ属性法は、トレーニングデータがモデルの予測にどのように影響するかを測定することを目的としている。
本稿では,タスク固有表現とモデル整合表現をTDAで明示的に学習することで,このギャップを埋める表現ベースアプローチであるAirRepを提案する。
AirRepは、属性品質に合わせて調整されたトレーニング可能なエンコーダと、グループワイドの影響を正確に見積もるアテンションベースのプール機構の2つの重要なイノベーションを紹介している。
論文 参考訳(メタデータ) (2025-05-24T05:17:53Z) - NDP: Next Distribution Prediction as a More Broad Target [59.30497395313209]
我々はNext Distribution Prediction (NDP)を導入し、$n$-gramの分布を使って1ホットターゲットを置き換える。
NDPは翻訳タスクで最大2.97 COMETの改善、一般タスクで平均0.61、医療領域で平均10.75の改善を達成できる。
論文 参考訳(メタデータ) (2024-08-30T16:13:49Z) - Harnessing Increased Client Participation with Cohort-Parallel Federated Learning [2.9593087583214173]
Federated Learning(FL)は、ノードがグローバルモデルを協調的にトレーニングする機械学習アプローチである。
本研究では,ネットワークを小さなパーティション,あるいはコホートに分割することで,クライアント更新の有効性を高める。
論文 参考訳(メタデータ) (2024-05-24T15:34:09Z) - Training-Free Unsupervised Prompt for Vision-Language Models [27.13778811871694]
本研究では,表現能力の保持と類似性に基づく予測確率の残差による強化を図るために,TFUP(Training-Free Unsupervised Prompts)を提案する。
TFUPは、複数の分類データセットのトレーニングベースメソッドを超え、驚くべきパフォーマンスを達成する。
TFUP-Tは,複数のベンチマークにおける教師なしおよび少数ショット適応手法と比較して,最先端の分類性能が向上する。
論文 参考訳(メタデータ) (2024-04-25T05:07:50Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - FedPIDAvg: A PID controller inspired aggregation method for Federated
Learning [2.417602779470811]
FedPIDAvgは、Federated tumor Challenge 2022 (FETS22)に優勝した。
FETS21へのコントリビューションであるFedCostWAvgにインスパイアされた私たちは、フェデレーションとコラボレーティブな学習のための改善されたアグリゲーション戦略に貢献します。
論文 参考訳(メタデータ) (2023-04-24T14:20:53Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-13T15:39:43Z) - Heterogeneous Federated Learning via Grouped Sequential-to-Parallel
Training [60.892342868936865]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。
本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。
その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
論文 参考訳(メタデータ) (2022-01-31T03:15:28Z) - Federated Dynamic Sparse Training: Computing Less, Communicating Less,
Yet Learning Better [88.28293442298015]
Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。
我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。
FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
論文 参考訳(メタデータ) (2021-12-18T02:26:38Z) - FedAUX: Leveraging Unlabeled Auxiliary Data in Federated Learning [14.10627556244287]
フェデレート蒸留(Federated Distillation, FD)は、フェデレート学習のための新しいアルゴリズムパラダイムである。
ラベルなし補助データから最大ユーティリティを導出することで性能を大幅に向上するFedAUXを提案する。
大規模畳み込みニューラルネットワークとトランスフォーマーモデルの実験により、FedAUXのトレーニング性能がSOTA FLベースライン法を上回ることを示した。
論文 参考訳(メタデータ) (2021-02-04T09:53:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。