論文の概要: ROSS:RObust decentralized Stochastic learning based on Shapley values

• arxiv url: http://arxiv.org/abs/2411.00365v1
• Date: Fri, 01 Nov 2024 05:05:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:47:28.456102
• Title: ROSS:RObust decentralized Stochastic learning based on Shapley values
• Title（参考訳）: ROSS:Shapley値に基づく分散型確率学習
• Authors: Lina Wang, Yunsheng Yuan, Feng Li, Lingjie Duan,
• Abstract要約: エージェントのグループは、中央サーバーなしで分散データセットを使用してグローバルモデルを学ぶために協力します。 データは非独立に、同一に配布され、ノイズや毒で汚染されることもある。 本稿では,Shapley値に基づく頑健な分散学習アルゴリズム ROSS を提案する。
• 参考スコア（独自算出の注目度）: 21.376454436691795
• License:
• Abstract: In the paradigm of decentralized learning, a group of agents collaborate to learn a global model using a distributed dataset without a central server; nevertheless, it is severely challenged by the heterogeneity of the data distribution across the agents. For example, the data may be distributed non-independently and identically, and even be noised or poisoned. To address these data challenges, we propose ROSS, a novel robust decentralized stochastic learning algorithm based on Shapley values, in this paper. Specifically, in each round, each agent aggregates the cross-gradient information from its neighbors, i.e., the derivatives of its local model with respect to the datasets of its neighbors, to update its local model in a momentum like manner, while we innovate in weighting the derivatives according to their contributions measured by Shapley values. We perform solid theoretical analysis to reveal the linear convergence speedup of our ROSS algorithm. We also verify the efficacy of our algorithm through extensive experiments on public datasets. Our results demonstrate that, in face of the above variety of data challenges, our ROSS algorithm have oblivious advantages over existing state-of-the-art proposals in terms of both convergence and prediction accuracy.
• Abstract（参考訳）: 分散学習のパラダイムでは、エージェントのグループは、中央サーバーなしで分散データセットを使用してグローバルモデルを学ぶために協力します。 例えば、データは非独立に、同一に配布され、ノイズや毒殺されることもある。 本稿では,これらの課題に対処するために,Shapley値に基づく新しい分散確率学習アルゴリズム ROSS を提案する。 特に各ラウンドにおいて、各エージェントは隣人からの漸進的な情報、すなわちその隣人のデータセットに関する局所モデルの微分を集約し、その局所モデルを運動量的に更新し、一方、Shapley値によって測定された貢献に応じて微分を重み付けする。 我々は, ROSSアルゴリズムの線形収束速度アップを明らかにするために, ソリッド理論解析を行う。 また、公開データセットに対する広範な実験を通じて、アルゴリズムの有効性を検証する。 以上の様々なデータ課題に対して,我々のROSアルゴリズムは,コンバージェンスと予測精度の両面において,既存の最先端提案に対して明らかな優位性を有することを示した。

関連論文リスト

• Vanishing Variance Problem in Fully Decentralized Neural-Network Systems [0.8212195887472242]
  フェデレートラーニングとゴシップラーニングは、データプライバシの懸念を軽減するために考案された方法論だ。 本研究では,分散補正モデル平均化アルゴリズムを提案する。 シミュレーションの結果,Gossip学習は,フェデレート学習に匹敵する収束効率を実現することができることがわかった。
  論文  参考訳（メタデータ） (2024-04-06T12:49:20Z)
• Group Distributionally Robust Dataset Distillation with Risk Minimization [18.07189444450016]
  本稿では,クラスタリングとリスク尺度の最小化を組み合わせ,DDを遂行する損失を最小化するアルゴリズムを提案する。 数値実験により,その有効一般化と部分群間のロバスト性を示す。
  論文  参考訳（メタデータ） (2024-02-07T09:03:04Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Cross-feature Contrastive Loss for Decentralized Deep Learning on Heterogeneous Data [8.946847190099206]
  異種データに基づく分散学習のための新しい手法を提案する。 一対の隣接するエージェントのクロスフィーチャーは、他のエージェントのモデルパラメータに関するエージェントのデータから得られる特徴である。 実験の結果,提案手法は異種データを用いた分散学習手法に比べて性能(テスト精度が0.2～4%向上)が優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-24T14:48:23Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Cross-Gradient Aggregation for Decentralized Learning from Non-IID data [34.23789472226752]
  分散学習により、コラボレーションエージェントのグループは、中央パラメータサーバーを必要とせずに、分散データセットを使用してモデルを学ぶことができる。 本稿では,新たな分散学習アルゴリズムであるクロスグラディエント・アグリゲーション(CGA)を提案する。 既存の最先端の分散学習アルゴリズムよりも優れたCGA学習性能を示す。
  論文  参考訳（メタデータ） (2021-03-02T21:58:12Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。