論文の概要: Federated Learning with Nonvacuous Generalisation Bounds

• arxiv url: http://arxiv.org/abs/2310.11203v1
• Date: Tue, 17 Oct 2023 12:29:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 16:12:14.402407
• Title: Federated Learning with Nonvacuous Generalisation Bounds
• Title（参考訳）: 非空在一般化境界を用いた連合学習
• Authors: Pierre Jobic and Maxime Haddouche and Benjamin Guedj
• Abstract要約: ローカルなプライベートな予測器の特性を継承するグローバルなランダム化予測器を構築する。 我々は,本手法がバッチ手法に匹敵する予測性能を達成できることを数値的に示す。
• 参考スコア（独自算出の注目度）: 17.3768252464136
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce a novel strategy to train randomised predictors in federated learning, where each node of the network aims at preserving its privacy by releasing a local predictor but keeping secret its training dataset with respect to the other nodes. We then build a global randomised predictor which inherits the properties of the local private predictors in the sense of a PAC-Bayesian generalisation bound. We consider the synchronous case where all nodes share the same training objective (derived from a generalisation bound), and the asynchronous case where each node may have its own personalised training objective. We show through a series of numerical experiments that our approach achieves a comparable predictive performance to that of the batch approach where all datasets are shared across nodes. Moreover the predictors are supported by numerically nonvacuous generalisation bounds while preserving privacy for each node. We explicitly compute the increment on predictive performance and generalisation bounds between batch and federated settings, highlighting the price to pay to preserve privacy.
• Abstract（参考訳）: ネットワークの各ノードは、ローカルな予測器をリリースしてプライバシを保ちながら、他のノードに対してトレーニングデータセットを秘密にすることで、プライバシを保とうとしている。 次に,pac-ベイズ一般化境界の意味で局所プライベート予測器の特性を継承する大域的ランダム化予測器を構築する。 すべてのノードが同じトレーニング目標(一般化境界から派生した)を共有している同期ケースと、各ノードが独自のトレーニング目標を持つ非同期ケースを考える。 提案手法がノード間ですべてのデータセットを共有するバッチアプローチと同等の予測性能を達成していることを示す数値実験を行った。 さらに、予測子は、各ノードのプライバシーを保持しながら、数値的に空でない一般化境界によってサポートされる。 私たちは、バッチ設定とフェデレーション設定の間の予測パフォーマンスと一般化に関するインクリメントを明示的に計算し、プライバシを維持するための料金を強調します。

関連論文リスト

• Privacy Preserving Semi-Decentralized Mean Estimation over Intermittently-Connected Networks [59.43433767253956]
  信頼できない無線ネットワークの異なるノードに分散するベクトルの平均をプライベートに推定する問題を考える。 半分散的なセットアップでは、ノードは隣人と協力してローカルコンセンサスを計算し、中央サーバにリレーする。 ノード間のデータ共有による協調中継とプライバシー漏洩のトレードオフについて検討する。
  論文  参考訳（メタデータ） (2024-06-06T06:12:15Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• Considerations on the Theory of Training Models with Differential Privacy [13.782477759025344]
  連合学習における協調学習は、各クライアントがそれぞれのローカルトレーニングデータの使用方法をコントロールしたいという一連のクライアントによって行われる。 差分プライバシーは、プライバシー漏洩を制限する方法の1つである。
  論文  参考訳（メタデータ） (2023-03-08T15:56:27Z)
• One-Shot Federated Conformal Prediction [0.0]
  単発フェデレーション学習環境における予測セット構築のための共形予測手法を提案する。 我々は,任意の分布に対して,1ラウンドの通信でのみ,所望のカバレッジで予測セットを出力できることを証明した。
  論文  参考訳（メタデータ） (2023-02-13T12:46:39Z)
• GAP: Differentially Private Graph Neural Networks with Aggregation Perturbation [19.247325210343035]
  グラフニューラルネットワーク(GNN)は、ノード表現を学習するグラフデータ用に設計された強力なモデルである。 近年の研究では、グラフデータが機密情報を含む場合、GNNは重大なプライバシー上の懸念を生じさせることが示されている。 我々は,ノードとエッジのプライバシを保護する,差分的にプライベートなGNNであるGAPを提案する。
  論文  参考訳（メタデータ） (2022-03-02T08:58:07Z)
• Personalization Improves Privacy-Accuracy Tradeoffs in Federated Optimization [57.98426940386627]
  局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。 合成および実世界のデータセットに関する実験により理論的結果について述べる。
  論文  参考訳（メタデータ） (2022-02-10T20:44:44Z)
• Improved Information Theoretic Generalization Bounds for Distributed and Federated Learning [12.939332394024415]
  ネットワーク環境における学習問題に対する予測一般化誤差に対する情報理論的境界について考察する。 この設定では、K$ノードがあり、それぞれ独自の独立したデータセットを持ち、各ノードのモデルを最終集中モデルに集約する必要がある。 ブレグマン発散やリプシッツ連続損失のような様々な問題に対して期待される一般化誤差について上限を与える。
  論文  参考訳（メタデータ） (2022-02-04T22:47:53Z)
• Private Prediction Sets [72.75711776601973]
  機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。 これら2つのデシラタを共同で扱う枠組みを提案する。 本手法を大規模コンピュータビジョンデータセット上で評価する。
  論文  参考訳（メタデータ） (2021-02-11T18:59:11Z)
• Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
  ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。 すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。 本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
  論文  参考訳（メタデータ） (2020-10-23T10:35:35Z)
• Private Weighted Random Walk Stochastic Gradient Descent [21.23973736418492]
  グラフ内のノードに分散したデータを分散する分散学習環境を考える。 本稿では,データの一様サンプリングと重要サンプリングという2種類のランダムウォークに基づく2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-03T16:52:13Z)
• Privacy-preserving Traffic Flow Prediction: A Federated Learning Approach [61.64006416975458]
  本稿では,フェデレート学習に基づくGated Recurrent Unit Neural Network Algorithm (FedGRU) というプライバシ保護機械学習手法を提案する。 FedGRUは、現在の集中学習方法と異なり、安全なパラメータアグリゲーション機構を通じて、普遍的な学習モデルを更新する。 FedGRUの予測精度は、先進的なディープラーニングモデルよりも90.96%高い。
  論文  参考訳（メタデータ） (2020-03-19T13:07:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。