論文の概要: An Information-Theoretic Analysis of The Cost of Decentralization for Learning and Inference Under Privacy Constraints

• arxiv url: http://arxiv.org/abs/2110.05014v1
• Date: Mon, 11 Oct 2021 05:55:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 20:48:48.899593
• Title: An Information-Theoretic Analysis of The Cost of Decentralization for Learning and Inference Under Privacy Constraints
• Title（参考訳）: プライバシー制約下における学習・推論のための分散化コストの情報理論解析
• Authors: Sharu Theresa Jose, Osvaldo Simeone
• Abstract要約: 垂直連合学習では、データサンプルの特徴は複数のエージェントに分散される。 基本的な理論的問題は、学習と/または推論のために分散化のコスト、またはパフォーマンス損失を定量化する方法である。
• 参考スコア（独自算出の注目度）: 44.320945743871285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In vertical federated learning (FL), the features of a data sample are distributed across multiple agents. As such, inter-agent collaboration can be beneficial not only during the learning phase, as is the case for standard horizontal FL, but also during the inference phase. A fundamental theoretical question in this setting is how to quantify the cost, or performance loss, of decentralization for learning and/or inference. In this paper, we consider general supervised learning problems with any number of agents, and provide a novel information-theoretic quantification of the cost of decentralization in the presence of privacy constraints on inter-agent communication within a Bayesian framework. The cost of decentralization for learning and/or inference is shown to be quantified in terms of conditional mutual information terms involving features and label variables.
• Abstract（参考訳）: 垂直連合学習(FL)では、データサンプルの特徴は複数のエージェントに分散される。 したがって、標準的な水平flの場合と同様に、学習フェーズだけでなく、推論フェーズにおいても、エージェント間コラボレーションは有益である。 この設定における基本的な理論的問題は、学習や推論のための分散化のコストやパフォーマンス損失を定量化する方法である。 本稿では,任意のエージェントによる一般的な教師付き学習問題を考察し,ベイズフレームワーク内のエージェント間通信に対するプライバシー制約の存在下での分散化コストの新たな情報理論的定量化を提供する。 学習および/または推論のための分散化のコストは、特徴とラベル変数を含む条件付き相互情報項で定量化される。

関連論文リスト

• Provable Privacy Advantages of Decentralized Federated Learning via Distributed Optimization [16.418338197742287]
  フェデレートラーニング(FL)は、データのソースへの配置を可能にすることによって、データのプライバシを改善するために設計されたパラダイムとして登場した。 最近の知見は、分散FLは、集中型モデルよりも追加のプライバシやセキュリティ上のメリットを経験的に提供していないことを示唆している。 分散最適化をデプロイする際の分散FLは、プライバシー保護の強化を実証する。
  論文  参考訳（メタデータ） (2024-07-12T15:01:09Z)
• Distribution-Free Fair Federated Learning with Small Samples [54.63321245634712]
  FedFaiREEは、分散化された環境で分散のないフェアラーニングのために小さなサンプルで開発された後処理アルゴリズムである。 公正性と精度の両面において厳密な理論的保証を提供し,実験結果により,提案手法の堅牢な実証検証を行う。
  論文  参考訳（メタデータ） (2024-02-25T17:37:53Z)
• Conformal Prediction for Federated Uncertainty Quantification Under Label Shift [57.54977668978613]
  Federated Learning(FL)は、多くのクライアントが協力してモデルをトレーニングする機械学習フレームワークである。 我々は、量子回帰に基づく新しいコンフォメーション予測法を開発し、プライバシー制約を考慮した。
  論文  参考訳（メタデータ） (2023-06-08T11:54:58Z)
• When Decentralized Optimization Meets Federated Learning [41.58479981773202]
  フェデレーション学習は、分散データから知識を抽出するための新しい学習パラダイムである。 既存のフェデレートされた学習アプローチのほとんどは、単一ポイントの障害に対して脆弱な集中的な設定に集中しています。 この問題に対処する別の戦略は、分散化された通信トポロジである。
  論文  参考訳（メタデータ） (2023-06-05T03:51:14Z)
• Feature Correlation-guided Knowledge Transfer for Federated Self-supervised Learning [19.505644178449046]
  特徴相関に基づくアグリゲーション(FedFoA)を用いたフェデレーション型自己教師型学習法を提案する。 私たちの洞察は、機能相関を利用して、特徴マッピングを整列し、ローカルトレーニングプロセス中にクライアント間でローカルモデルの更新を校正することにあります。 我々はFedFoAがモデルに依存しないトレーニングフレームワークであることを証明する。
  論文  参考訳（メタデータ） (2022-11-14T13:59:50Z)
• Quantization for decentralized learning under subspace constraints [61.59416703323886]
  エージェントがサブスペース制約を最小化するために個々のコスト関数を持つ分散最適化問題を考察する。 本稿では,エージェントが確率化量子化器を用いて推定値を圧縮する適応分散型戦略を提案し,検討する。 この分析は、量子化ノイズのいくつかの一般的な条件下では、平均二乗誤差と平均ビットレートの両方で戦略が安定であることを示している。
  論文  参考訳（メタデータ） (2022-09-16T09:38:38Z)
• Secure Distributed/Federated Learning: Prediction-Privacy Trade-Off for Multi-Agent System [4.190359509901197]
  分散学習(DLとFL)フレームワーク内で推論を行うビッグデータ時代において、中央サーバは大量のデータを処理する必要がある。 分散コンピューティングトポロジを考えると、プライバシは第一級の関心事になっている。 本研究では,テキストプライバシを意識したサーバを,エージェントごとの情報処理制約を考慮したマルチエージェント代入問題に適用する。
  論文  参考訳（メタデータ） (2022-04-24T19:19:20Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Consensus Control for Decentralized Deep Learning [72.50487751271069]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上のデバイス上での学習と、大規模計算クラスタへの効率的なスケーリングを可能にする。 理論上、トレーニングコンセンサス距離が重要な量よりも低い場合、分散化されたトレーニングは集中的なトレーニングよりも早く収束することを示す。 私たちの経験的な洞察は、パフォーマンス低下を軽減するために、より分散化されたトレーニングスキームの原則設計を可能にします。
  論文  参考訳（メタデータ） (2021-02-09T13:58:33Z)
• Differential Privacy Meets Federated Learning under Communication Constraints [20.836834724783007]
  本稿では,資源制約型フェデレーションシステムにおける通信コストとトレーニングのばらつきのトレードオフについて検討する。 その結果,実践的なプライバシを意識したフェデレーション学習システムの設計に関する重要な知見が得られた。
  論文  参考訳（メタデータ） (2021-01-28T19:20:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。