論文の概要: Transfer Learning In Differential Privacy's Hybrid-Model

• arxiv url: http://arxiv.org/abs/2201.12018v1
• Date: Fri, 28 Jan 2022 09:54:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-31 16:36:42.438764
• Title: Transfer Learning In Differential Privacy's Hybrid-Model
• Title（参考訳）: differential privacyのハイブリッドモデルにおける転送学習
• Authors: Refael Kohen and Or Sheffet
• Abstract要約: 本研究では,キュレーターデータセット内のn個の個人を異なる分布から抽出するハイブリッドモデルにおいて,機械学習の問題点について検討する。 この移行学習問題に対する一般的なスキーム -- Subsample-Test-Reweigh -- を与えます。
• 参考スコア（独自算出の注目度）: 10.584333748643774
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The hybrid-model (Avent et al 2017) in Differential Privacy is a an augmentation of the local-model where in addition to N local-agents we are assisted by one special agent who is in fact a curator holding the sensitive details of n additional individuals. Here we study the problem of machine learning in the hybrid-model where the n individuals in the curators dataset are drawn from a different distribution than the one of the general population (the local-agents). We give a general scheme -- Subsample-Test-Reweigh -- for this transfer learning problem, which reduces any curator-model DP-learner to a hybrid-model learner in this setting using iterative subsampling and reweighing of the n examples held by the curator based on a smooth variation of the Multiplicative-Weights algorithm (introduced by Bun et al, 2020). Our scheme has a sample complexity which relies on the chi-squared divergence between the two distributions. We give worst-case analysis bounds on the sample complexity required for our private reduction. Aiming to reduce said sample complexity, we give two specific instances our sample complexity can be drastically reduced (one instance is analyzed mathematically, while the other - empirically) and pose several directions for follow-up work.
• Abstract（参考訳）: ディファレンシャルプライバシにおけるハイブリッドモデル(avent et al 2017)は、ローカルモデルの拡張であり、n人のローカルエイジェントに加えて、n人の追加的な個人の繊細な詳細を保持するキュレーターである1人の特別エージェントによって支援される。 本稿では,キュレーターデータセットのn個の個体が一般集団(地域エージェント)とは異なる分布から引き出されるハイブリッドモデルにおける機械学習の問題点について考察する。 我々は,このトランスファー学習問題に対して,反復サブサンプリングと乗法重みアルゴリズム(bun et al, 2020)の滑らかな変動に基づいて,キュレーターが保持するn個のサンプルの簡約化を用いて,キュレーターモデルdp-learnerをハイブリッドモデル学習者に還元する一般的なスキームを与える。 提案手法は, 2つの分布間のカイ二乗発散に依存するサンプル複雑性を有する。 プライベートリダクションに必要なサンプルの複雑さに、最悪のケース分析バウンダリを与えます。 上記のサンプルの複雑さを減らすため、2つの特定のインスタンスにサンプルの複雑さを劇的に減らすことができる(1つのインスタンスは数学的に分析され、もう1つのインスタンスは経験的に分析される)。

関連論文リスト

• Training Implicit Generative Models via an Invariant Statistical Loss [3.139474253994318]
  暗黙的な生成モデルは任意の複雑なデータ分布を学習する能力を持つ。 マイナス面として、トレーニングでは、敵対的判別器を使用して人工的に生成されたデータと実際のデータを区別する必要がある。 本研究では,1次元(1次元)生成暗黙的モデルを学習するための判別器フリーな手法を開発した。
  論文  参考訳（メタデータ） (2024-02-26T09:32:28Z)
• Optimal Multi-Distribution Learning [88.3008613028333]
  マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。 本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:06:29Z)
• On-Demand Sampling: Learning Optimally from Multiple Distributions [63.20009081099896]
  社会と現実世界の考察は、マルチディストリビューション学習パラダイムの台頭につながっている。 これらの学習パラダイムの最適なサンプル複雑性を確立し、このサンプル複雑性を満たすアルゴリズムを提供する。 アルゴリズムの設計と解析は,ゼロサムゲーム解決のためのオンライン学習手法の拡張によって実現されている。
  論文  参考訳（メタデータ） (2022-10-22T19:07:26Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Multitask Learning and Bandits via Robust Statistics [3.103098467546532]
  意思決定者は、しばしば多くの関連するが不均一な学習問題に直面している。 本稿では,この構造をサンプル効率良く活用する2段階マルチタスク学習推定器を提案する。 我々の推定器は、一般的な失業推定器と比較して、特徴次元dのサンプル複雑性境界を改善した。
  論文  参考訳（メタデータ） (2021-12-28T17:37:08Z)
• CARMS: Categorical-Antithetic-REINFORCE Multi-Sample Gradient Estimator [60.799183326613395]
  本稿では, 相互に負に相関した複数のサンプルに基づく分類的確率変数の非バイアス推定器を提案する。 CARMSは、ReINFORCEとコプラベースのサンプリングを組み合わせることで、重複サンプルを回避し、その分散を低減し、重要サンプリングを使用して推定器を偏りなく維持する。 我々は、生成的モデリングタスクと構造化された出力予測タスクに基づいて、いくつかのベンチマークデータセット上でCARMSを評価し、強力な自己制御ベースラインを含む競合する手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-26T20:14:30Z)
• GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue [95.23775347605923]
  深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。 情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
  論文  参考訳（メタデータ） (2020-09-24T19:34:37Z)
• The Bures Metric for Generative Adversarial Networks [10.69910379275607]
  GAN(Generative Adversarial Networks)は、高品質なサンプルを生成する高性能な生成手法である。 実バッチの多様性と偽バッチの多様性を一致させることを提案する。 多様性マッチングはモード崩壊を著しく低減し, サンプル品質に肯定的な影響を及ぼす。
  論文  参考訳（メタデータ） (2020-06-16T12:04:41Z)
• Imbalanced Data Learning by Minority Class Augmentation using Capsule Adversarial Networks [31.073558420480964]
  本稿では,2つの同時手法を合体させて,不均衡な画像のバランスを回復する手法を提案する。 我々のモデルでは、生成的および識別的ネットワークは、新しい競争力のあるゲームをする。 カプセルGANの合体は、畳み込みGANと比較して非常に少ないパラメータで重なり合うクラスを認識するのに効果的である。
  論文  参考訳（メタデータ） (2020-04-05T12:36:06Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。