論文の概要: Distributed, communication-efficient, and differentially private estimation of KL divergence

• arxiv url: http://arxiv.org/abs/2411.16478v1
• Date: Mon, 25 Nov 2024 15:20:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:18:29.316677
• Title: Distributed, communication-efficient, and differentially private estimation of KL divergence
• Title（参考訳）: KL発散の分散, 通信効率, 微分プライベート推定
• Authors: Mary Scott, Sayan Biswas, Graham Cormode, Carsten Maple,
• Abstract要約: 分散された機密性の高いデータを管理する上で重要なタスクは、分散の変化の度合いを測定することである。 差分プライバシの下で,計算のフェデレーションモデル間でのKL分散を推定するための新しいアルゴリズムアプローチについて述べる。
• 参考スコア（独自算出の注目度）: 15.294136011320433
• License:
• Abstract: A key task in managing distributed, sensitive data is to measure the extent to which a distribution changes. Understanding this drift can effectively support a variety of federated learning and analytics tasks. However, in many practical settings sharing such information can be undesirable (e.g., for privacy concerns) or infeasible (e.g., for high communication costs). In this work, we describe novel algorithmic approaches for estimating the KL divergence of data across federated models of computation, under differential privacy. We analyze their theoretical properties and present an empirical study of their performance. We explore parameter settings that optimize the accuracy of the algorithm catering to each of the settings; these provide sub-variations that are applicable to real-world tasks, addressing different context- and application-specific trust level requirements. Our experimental results confirm that our private estimators achieve accuracy comparable to a baseline algorithm without differential privacy guarantees.
• Abstract（参考訳）: 分散された機密性の高いデータを管理する上で重要なタスクは、分散がどの程度変化するかを測定することである。 このドリフトを理解することは、様々なフェデレーション学習と分析タスクを効果的にサポートする。 しかし、多くの実践的な設定では、そのような情報を共有するのは望ましくない(例えば、プライバシー上の懸念に対して)か、不可能(例えば、通信コストが高い)である。 本稿では,差分プライバシの下で,フェデレートされた計算モデル間のKL分散を推定するための新しいアルゴリズムアプローチについて述べる。 我々は,それらの理論的特性を分析し,その性能に関する実証的研究を行った。 それぞれの設定に合わせてアルゴリズムの精度を最適化するパラメータ設定について検討し、実際のタスクに適用可能なサブ変数を提供し、異なるコンテキストとアプリケーション固有の信頼レベル要件に対処する。 実験の結果,プライバシ保証のないベースラインアルゴリズムに匹敵する精度が得られた。

関連論文リスト

• Optimal Federated Learning for Nonparametric Regression with Heterogeneous Distributed Differential Privacy Constraints [5.3595271893779906]
  本研究では,異なるサーバにまたがる分散サンプルのコンテキストにおける非パラメトリック回帰のためのフェデレーション学習について検討した。 統計の正確さとプライバシーの保護のトレードオフに光を当てている。
  論文  参考訳（メタデータ） (2024-06-10T19:34:07Z)
• Differentially Private Federated Learning: Servers Trustworthiness, Estimation, and Statistical Inference [18.97060758177909]
  本稿では,差分プライバシーの制約下での高次元推定と推測の課題について検討する。 線形回帰モデルに適した新しいフェデレーション推定アルゴリズムを提案する。 また,各パラメータの座標的信頼区間を含む統計的推測手法を提案する。
  論文  参考訳（メタデータ） (2024-04-25T02:14:07Z)
• Personalized Graph Federated Learning with Differential Privacy [6.282767337715445]
  本稿では、分散接続されたサーバとそのエッジデバイスが協調してデバイスやクラスタ固有のモデルを学習する、パーソナライズされたグラフフェデレーション学習(PGFL)フレームワークを提案する。 本稿では、差分プライバシー、特にノイズシーケンスがモデル交換を行うゼロ集中差分プライバシーを利用するPGFL実装の変種について検討する。 分析の結果,このアルゴリズムは,ゼロ集中型差分プライバシーの観点から,全クライアントの局所的な差分プライバシを保証することがわかった。
  論文  参考訳（メタデータ） (2023-06-10T09:52:01Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Private Domain Adaptation from a Public Source [48.83724068578305]
  我々は、公開ラベル付きデータを持つソースドメインから、未ラベル付きプライベートデータを持つターゲットドメインへの適応のための差分プライベート離散性に基づくアルゴリズムを設計する。 我々の解は、Frank-WolfeとMirror-Descentアルゴリズムのプライベートな変種に基づいている。
  論文  参考訳（メタデータ） (2022-08-12T06:52:55Z)
• Assaying Out-Of-Distribution Generalization in Transfer Learning [103.57862972967273]
  私たちは、経験的に対処するメッセージの相違を強調して、以前の作業の統一的なビューを取ります。 私たちは9つの異なるアーキテクチャから、多数の、あるいは少数の設定で31K以上のネットワークを微調整しました。
  論文  参考訳（メタデータ） (2022-07-19T12:52:33Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Sensitivity analysis in differentially private machine learning using hybrid automatic differentiation [54.88777449903538]
  感性分析のための新しいテクスチブリド自動識別システム(AD)を導入する。 これにより、ニューラルネットワークをプライベートデータ上でトレーニングするなど、任意の微分可能な関数合成の感度をモデル化できる。 当社のアプローチは,データ処理の設定において,プライバシ損失に関する原則的推論を可能にする。
  論文  参考訳（メタデータ） (2021-07-09T07:19:23Z)
• Non-parametric Differentially Private Confidence Intervals for the Median [3.205141100055992]
  本稿では,中央値に対する有意な個人的信頼区間を計算するためのいくつかの戦略を提案し,評価する。 また、サンプリングからのエラーと出力の保護からのエラーという2つの不確実性源に対処することが、この不確実性を逐次的に組み込んだ単純なアプローチよりも望ましいことを示す。
  論文  参考訳（メタデータ） (2021-06-18T19:45:37Z)
• A Theoretical Perspective on Differentially Private Federated Multi-task Learning [12.935153199667987]
  プライバシーとユーティリティの両方に関して、協調学習モデルを開発する必要がある。 本稿では,クライアントレベルで保護する効果的なパラメータ転送差分プライバシーのための,新しいフェデレーションマルチタスクを提案する。 このような提案されたアルゴリズムに対して、プライバシユーティリティの両方の保証を提供するのは、当社が初めてです。
  論文  参考訳（メタデータ） (2020-11-14T00:53:16Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。