論文の概要: Differential Privacy Mechanisms in Neural Tangent Kernel Regression

• arxiv url: http://arxiv.org/abs/2407.13621v1
• Date: Thu, 18 Jul 2024 15:57:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 14:51:10.994088
• Title: Differential Privacy Mechanisms in Neural Tangent Kernel Regression
• Title（参考訳）: ニューラルタンジェントカーネル回帰における差分プライバシー機構
• Authors: Jiuxiang Gu, Yingyu Liang, Zhizhou Sha, Zhenmei Shi, Zhao Song,
• Abstract要約: ニューラルタンジェントカーネル(NTK)回帰設定における差分プライバシー(DP)について検討する。 NTKレグレッションの差分プライバシとテスト精度の両面で証明可能な保証を示す。 我々の知る限り、NTKレグレッションに対するDP保証を提供する最初の取り組みである。
• 参考スコア（独自算出の注目度）: 29.187250620950927
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training data privacy is a fundamental problem in modern Artificial Intelligence (AI) applications, such as face recognition, recommendation systems, language generation, and many others, as it may contain sensitive user information related to legal issues. To fundamentally understand how privacy mechanisms work in AI applications, we study differential privacy (DP) in the Neural Tangent Kernel (NTK) regression setting, where DP is one of the most powerful tools for measuring privacy under statistical learning, and NTK is one of the most popular analysis frameworks for studying the learning mechanisms of deep neural networks. In our work, we can show provable guarantees for both differential privacy and test accuracy of our NTK regression. Furthermore, we conduct experiments on the basic image classification dataset CIFAR10 to demonstrate that NTK regression can preserve good accuracy under a modest privacy budget, supporting the validity of our analysis. To our knowledge, this is the first work to provide a DP guarantee for NTK regression.
• Abstract（参考訳）: データプライバシのトレーニングは、顔認識、レコメンデーションシステム、言語生成など、現代の人工知能(AI)アプリケーションにおける基本的な問題である。 AIアプリケーションにおけるプライバシメカニズムの動作を根本的に理解するために、我々は、統計学習下でのプライバシを測定する最も強力なツールの1つであるNural Tangent Kernel(NTK)レグレッションセッティングセッティングにおいて、差分プライバシ(DP)を研究する。 我々の研究では、NTK回帰の差分プライバシーとテスト精度の両方の証明可能な保証を示すことができる。 さらに,基本画像分類データセット CIFAR10 を用いて,NTK の回帰が適度なプライバシ予算下で良好な精度を維持し,解析の有効性を実証する実験を行った。 我々の知る限り、NTKレグレッションに対するDP保証を提供する最初の取り組みである。

関連論文リスト

• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• Your Room is not Private: Gradient Inversion Attack on Reinforcement Learning [47.96266341738642]
  プライバシーは、ロボットが実質的な個人情報にアクセスすることによって、具体化されたAIの領域における重要な関心事として浮上する。 本稿では, 状態, 行動, 監視信号の再構成に勾配インバージョンを利用する, 値ベースアルゴリズムと勾配ベースアルゴリズムに対する攻撃を提案する。
  論文  参考訳（メタデータ） (2023-06-15T16:53:26Z)
• Discriminative Adversarial Privacy: Balancing Accuracy and Membership Privacy in Neural Networks [7.0895962209555465]
  DAP(Dariminative Adversarial Privacy)は、モデルの性能、速度、プライバシのバランスを達成するために設計された学習技術である。 DAPは、MIAの誤差を最大化しながら予測誤差を最小化できる新しい損失関数に基づく敵の訓練に依存している。 さらに、パフォーマンスプライバシのトレードオフを捉えるために、AOP(Acuracy Over Privacy)と呼ばれる新しいメトリクスを紹介します。
  論文  参考訳（メタデータ） (2023-06-05T17:25:45Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Self-supervised regression learning using domain knowledge: Applications to improving self-supervised denoising in imaging [27.34785258514146]
  本稿では、入力データのみを用いて回帰ニューラルネットワークの学習を可能にする汎用自己教師付き回帰学習(SSRL)フレームワークを提案する。 低線量トモグラフィデノナイジングとカメラ画像デノナイジングの数値実験により,提案したSSRLはデノナイジング品質を著しく向上することが示された。
  論文  参考訳（メタデータ） (2022-05-10T11:46:10Z)
• Sensitivity analysis in differentially private machine learning using hybrid automatic differentiation [54.88777449903538]
  感性分析のための新しいテクスチブリド自動識別システム(AD)を導入する。 これにより、ニューラルネットワークをプライベートデータ上でトレーニングするなど、任意の微分可能な関数合成の感度をモデル化できる。 当社のアプローチは,データ処理の設定において,プライバシ損失に関する原則的推論を可能にする。
  論文  参考訳（メタデータ） (2021-07-09T07:19:23Z)
• DiPSeN: Differentially Private Self-normalizing Neural Networks For Adversarial Robustness in Federated Learning [6.1448102196124195]
  フェデレーション学習は、プライバシー侵害や情報の漏洩から保護するのに役立ちます。 機械学習モデルを敵のサンプルから防御することがより困難にする新しいリスクベクターを導入している。 DiPSeNは、差分プライバシーノイズの要素と自己正規化技術を組み合わせた差分プライベート自己正規化ニューラルネットワークです。
  論文  参考訳（メタデータ） (2021-01-08T20:49:56Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)
• Tempered Sigmoid Activations for Deep Learning with Differential Privacy [33.574715000662316]
  活性化関数の選択は、プライバシー保護の深層学習の感度を束縛することの中心であることを示す。 我々は,MNIST,FashionMNIST,CIFAR10に対して,学習手順の基礎を変更することなく,新たな最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-07-28T13:19:45Z)
• CryptoSPN: Privacy-preserving Sum-Product Network Inference [84.88362774693914]
  総生産ネットワーク(SPN)のプライバシ保護のためのフレームワークを提案する。 CryptoSPNは、中規模のSPNに対して秒の順序で高効率で正確な推論を行う。
  論文  参考訳（メタデータ） (2020-02-03T14:49:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。