論文の概要: Probabilistic Inference for Learning from Untrusted Sources

• arxiv url: http://arxiv.org/abs/2101.06171v1
• Date: Fri, 15 Jan 2021 15:30:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-28 15:46:59.203387
• Title: Probabilistic Inference for Learning from Untrusted Sources
• Title（参考訳）: 信頼できない情報源から学ぶ確率的推論
• Authors: Duc Thien Nguyen, Shiau Hoong Lim, Laura Wynter and Desmond Cai
• Abstract要約: フェデレーション学習は、より速い学習、より良いソリューション、異なる当事者からの異種データが多様性を高めると転送するより大きな可能性の潜在的な利点をもたらします。 集約アルゴリズムが非IIDデータや破損した当事者に対して堅牢であることは重要です。 最近の研究では、識別を行うためのtextitreferenceデータセットが利用可能であると仮定している。 このような参照データセットが利用できない設定を検討します。むしろ、パーティの品質と適合性はtextitinferredでなければなりません。 本稿では,パーティの品質に適応したベイズ推論に基づく新しい連合学習集約アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 6.811310452498163
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning brings potential benefits of faster learning, better solutions, and a greater propensity to transfer when heterogeneous data from different parties increases diversity. However, because federated learning tasks tend to be large and complex, and training times non-negligible, it is important for the aggregation algorithm to be robust to non-IID data and corrupted parties. This robustness relies on the ability to identify, and appropriately weight, incompatible parties. Recent work assumes that a \textit{reference dataset} is available through which to perform the identification. We consider settings where no such reference dataset is available; rather, the quality and suitability of the parties needs to be \textit{inferred}. We do so by bringing ideas from crowdsourced predictions and collaborative filtering, where one must infer an unknown ground truth given proposals from participants with unknown quality. We propose novel federated learning aggregation algorithms based on Bayesian inference that adapt to the quality of the parties. Empirically, we show that the algorithms outperform standard and robust aggregation in federated learning on both synthetic and real data.
• Abstract（参考訳）: フェデレーション学習は、より高速な学習、より良いソリューション、そして異なるパーティからの不均一なデータが多様性を増すときの転送の確率を高める。 しかし、連合学習タスクは大規模で複雑であり、訓練時間も無視できないため、集約アルゴリズムは非IIDデータや腐敗した当事者に対して堅牢であることが重要である。 この堅牢性は、互換性のない当事者を識別し、適切に重み付けする能力に依存している。 最近の研究は、識別を実行するために \textit{reference dataset} が利用可能であると仮定している。 このような参照データセットが利用できないような設定を考えるのではなく、パーティの品質と適合性は \textit{inferred} である必要があります。 クラウドソーシングによる予測と協調フィルタリングからアイデアを導き、未知の品質の参加者の提案に対して未知の根拠を推論しなければならない。 本稿では,パーティの品質に適応したベイズ推論に基づく新しい連合学習集約アルゴリズムを提案する。 実験により,合成データと実データの両方における連合学習において,アルゴリズムが標準的かつ頑健なアグリゲーションよりも優れていることを示す。

関連論文リスト

• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• Non-IID data and Continual Learning processes in Federated Learning: A long road ahead [58.720142291102135]
  フェデレートラーニング(Federated Learning)は、複数のデバイスや機関が、データをプライベートに保存しながら、機械学習モデルを協調的にトレーニングすることを可能にする、新しいフレームワークである。 本研究では,データの統計的不均一性を正式に分類し,それに直面することのできる最も顕著な学習戦略をレビューする。 同時に、継続学習のような他の機械学習フレームワークからのアプローチを導入し、データの不均一性にも対処し、フェデレートラーニング設定に容易に適応できるようにします。
  論文  参考訳（メタデータ） (2021-11-26T09:57:11Z)
• On Covariate Shift of Latent Confounders in Imitation and Reinforcement Learning [69.48387059607387]
  模擬・強化学習において,未観測の共同設立者と専門家データを併用することの問題点を考察する。 我々は、外部報酬を伴わずに、確立した専門家データから学ぶことの限界を分析する。 我々は,支援医療とレコメンデーションシステムシミュレーションの課題に挑戦する上で,我々の主張を実証的に検証する。
  論文  参考訳（メタデータ） (2021-10-13T07:31:31Z)
• Weight Divergence Driven Divide-and-Conquer Approach for Optimal Federated Learning from non-IID Data [0.0]
  Federated Learningは、トレーニングデータを集中化することなく、分散デバイスに格納されたデータのトレーニングを可能にする。 本稿では,一般的なFedAvgアグリゲーションアルゴリズムの活用を可能にする,新しいDivide-and-Conquerトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-06-28T09:34:20Z)
• Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
  データセットバイアスは、機械学習における不公平な原因の1つです。 不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。 また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
  論文  参考訳（メタデータ） (2021-04-14T14:20:22Z)
• Robustness and Personalization in Federated Learning: A Unified Approach via Regularization [4.7234844467506605]
  我々は、Fed+と呼ばれる堅牢でパーソナライズされたフェデレーション学習のための一連の方法を提案する。 Fed+の主な利点は、フェデレートトレーニングで見られる現実世界の特徴をよりよく適応することである。 ベンチマークデータセットに関する広範な実験を通じて、Fed+の利点を実証する。
  論文  参考訳（メタデータ） (2020-09-14T10:04:30Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• On the Sample Complexity of Adversarial Multi-Source PAC Learning [46.24794665486056]
  単一ソース設定では、トレーニングデータの一定割合を破損させるパワーを持つ相手がPAC学習を防止できる。 意外なことに、マルチソース設定では、敵が任意にデータソースの固定された部分を破壊することができるため、同じことが当てはまらない。 また, 他者とのデータ共有を協調的に行うことで, 悪意のある参加者でも有益であることが示唆された。
  論文  参考訳（メタデータ） (2020-02-24T17:19:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。