Fugu-MT 論文翻訳(概要): ADDS: Adaptive Differentiable Sampling for Robust Multi-Party Learning

論文の概要: ADDS: Adaptive Differentiable Sampling for Robust Multi-Party Learning

arxiv url: http://arxiv.org/abs/2110.15522v1
Date: Fri, 29 Oct 2021 03:35:15 GMT
ステータス: 処理完了
システム内更新日: 2021-11-01 14:29:23.554789
Title: ADDS: Adaptive Differentiable Sampling for Robust Multi-Party Learning
Title（参考訳）: ADDS:ロバストな多人数学習のための適応微分型サンプリング
Authors: Maoguo Gong, Yuan Gao, Yue Wu, A.K.Qin
Abstract要約: 本稿では,多人数学習のための適応型微分可能サンプリングフレームワーク(ADDS)を提案する。提案手法は,集中モデル収束を高速化しながら,局所的な計算と通信コストを大幅に削減する。
参考スコア（独自算出の注目度）: 24.288233074516455
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Distributed multi-party learning provides an effective approach for training a joint model with scattered data under legal and practical constraints. However, due to the quagmire of a skewed distribution of data labels across participants and the computation bottleneck of local devices, how to build smaller customized models for clients in various scenarios while providing updates appliable to the central model remains a challenge. In this paper, we propose a novel adaptive differentiable sampling framework (ADDS) for robust and communication-efficient multi-party learning. Inspired by the idea of dropout in neural networks, we introduce a network sampling strategy in the multi-party setting, which distributes different subnets of the central model to clients for updating, and the differentiable sampling rates allow each client to extract optimal local architecture from the supernet according to its private data distribution. The approach requires minimal modifications to the existing multi-party learning structure, and it is capable of integrating local updates of all subnets into the supernet, improving the robustness of the central model. The proposed framework significantly reduces local computation and communication costs while speeding up the central model convergence, as we demonstrated through experiments on real-world datasets.
Abstract（参考訳）: 分散マルチパーティ学習は、法的および実践的な制約の下で散在するデータでジョイントモデルをトレーニングするための効果的なアプローチを提供する。しかし、参加者間のデータラベルのばらばらな分散とローカルデバイスの計算ボトルネックのため、クライアント向けにより小さなカスタマイズされたモデルをさまざまなシナリオで構築し、中央モデルに適用可能なアップデートを提供する方法は依然として課題である。本稿では,ロバストかつ通信効率のよい多人数学習のための適応微分可能サンプリングフレームワーク(ADDS)を提案する。ニューラルネットワークにおけるドロップアウトの考え方に触発されて,中央モデルの異なるサブネットをクライアントに配布して更新するマルチパーティ設定のネットワークサンプリング戦略を導入する。このアプローチでは、既存のマルチパーティ学習構造への最小限の変更が必要であり、すべてのサブネットのローカル更新をスーパーネットに統合し、中央モデルの堅牢性を改善することができる。提案フレームワークは,実世界のデータセット実験により,集中モデル収束を高速化しながら,局所計算と通信コストを大幅に削減する。

関連論文リスト

Modality Alignment Meets Federated Broadcasting [9.752555511824593]
フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
論文参考訳（メタデータ） (2024-11-24T13:30:03Z)
FedSPD: A Soft-clustering Approach for Personalized Decentralized Federated Learning [18.38030098837294]
フェデレーション学習は、分散クライアントがローカルデータを使用して機械学習モデルを協調的にトレーニングするためのフレームワークである。分散環境のための効率的パーソナライズされたフェデレーション学習アルゴリズムであるFedSPDを提案する。低接続性ネットワークにおいてもFedSPDが正確なモデルを学ぶことを示す。
論文参考訳（メタデータ） (2024-10-24T15:48:34Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
Supernet Training for Federated Image Classification under System Heterogeneity [15.2292571922932]
本研究では,2つのシナリオ,すなわちフェデレーション・オブ・スーパーネット・トレーニング(FedSup)を考えるための新しい枠組みを提案する。フェデレートラーニング(FL)のモデルアグリゲーション段階でのパラメータの平均化は、スーパーネットトレーニングにおけるウェイトシェアリングとどのように似ているかに着想を得ている。本フレームワークでは,通信コストの削減とトレーニングオーバーヘッドの低減のために,放送段階のクライアントにサブモデルを送信することで,効率的なアルゴリズム(E-FedSup)を提案する。
論文参考訳（メタデータ） (2022-06-03T02:21:01Z)
A Personalized Federated Learning Algorithm: an Application in Anomaly Detection [0.6700873164609007]
フェデレートラーニング(FL)は、データプライバシと送信問題を克服する有望な方法として最近登場した。 FLでは、異なるデバイスやセンサーから収集されたデータセットを使用して、各学習を集中型モデル(サーバ)と共有するローカルモデル(クライアント)をトレーニングする。本稿では,PC-FedAvg(Personalized FedAvg, PC-FedAvg)を提案する。
論文参考訳（メタデータ） (2021-11-04T04:57:11Z)
Decentralised Person Re-Identification with Selective Knowledge Aggregation [56.40855978874077]
既存の人物再識別(Re-ID)手法は、主に、モデル学習のためのコレクションにすべてのトレーニングデータを共有する集中型学習パラダイムに従っている。グローバルに一般化されたモデル(サーバ)を構築するための分散(フェデレーション)Re-ID学習を導入した最近の2つの作品がある。しかし、これらの手法は、個々のクライアントドメインのRe-IDタスクのパフォーマンスを最大化するために一般化されたモデルを適用する方法に乏しい。我々は、モデルパーソナライゼーションと一般化のトレードオフを最適化するために、分散化されたRe-IDに対して、新しい選択的知識集約アプローチを提案する。
論文参考訳（メタデータ） (2021-10-21T18:09:53Z)
Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
論文参考訳（メタデータ） (2021-05-26T18:07:19Z)
Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文参考訳（メタデータ） (2021-02-09T11:27:14Z)
A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文参考訳（メタデータ） (2021-02-03T08:36:58Z)
Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文参考訳（メタデータ） (2020-12-01T11:46:03Z)
Robust Federated Learning Through Representation Matching and Adaptive Hyper-parameters [5.319361976450981]
フェデレーション学習(Federated Learning)は、複数のクライアントに属するデータに対して単一のモデルをトレーニングする、分散されたプライバシ対応の学習シナリオである。現在のフェデレーション学習手法は、異種クライアント側データ分散に苦慮している。本稿では,局所モデルのばらつきを低減する表現マッチング手法を提案する。
論文参考訳（メタデータ） (2019-12-30T20:19:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。