論文の概要: Modeling Neural Networks with Privacy Using Neural Stochastic Differential Equations
- arxiv url: http://arxiv.org/abs/2501.06686v2
- Date: Fri, 20 Jun 2025 22:28:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-24 14:54:00.160566
- Title: Modeling Neural Networks with Privacy Using Neural Stochastic Differential Equations
- Title（参考訳）: ニューラル確率微分方程式を用いたプライバシによるニューラルネットワークのモデル化
- Authors: Sanghyun Hong, Fan Wu, Anthony Gruber, Kookjin Lee,
- Abstract要約: 本研究では,ニューラル常微分方程式(NODE)を用いた固有プライバシー特性を持つシステムのモデル化の可能性について検討する。
NSDEはDPSGDと同等のプライバシー保証を提供するDP学習者であることを示す。
NSDEはメンバーシップ推論攻撃の緩和にも有効であり、DP-SGDで訓練されたプライベートモデルに匹敵するリスクレベルを達成する。
- 参考スコア（独自算出の注目度）: 9.441304891056372
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we study the feasibility of using neural ordinary differential equations (NODEs) to model systems with intrinsic privacy properties. Unlike conventional feedforward neural networks, which have unlimited expressivity and can represent arbitrary mappings between inputs and outputs, NODEs constrain their learning to the solution of a system of differential equations. We first examine whether this constraint reduces memorization and, consequently, the membership inference risks associated with NODEs. We conduct a comprehensive evaluation of NODEs under membership inference attacks and show that they exhibit twice the resistance compared to conventional models such as ResNets. By analyzing the variance in membership risks across different NODE models, we find that their limited expressivity leads to reduced overfitting to the training data. We then demonstrate, both theoretically and empirically, that membership inference risks can be further mitigated by utilizing a stochastic variant of NODEs: neural stochastic differential equations (NSDEs). We show that NSDEs are differentially-private (DP) learners that provide the same provable privacy guarantees as DPSGD, the de-facto mechanism for training private models. NSDEs are also effective in mitigating membership inference attacks, achieving risk levels comparable to private models trained with DP-SGD while offering an improved privacyutility trade-off. Moreover, we propose a drop-in-replacement strategy that efficiently integrates NSDEs into conventional feedforward architectures to enhance their privacy.
- Abstract（参考訳）: 本研究では,ニューラル常微分方程式(NODE)を用いた固有プライバシー特性を持つシステムのモデル化の実現可能性について検討する。
入力と出力の間の任意のマッピングを表現できる、無制限な表現性を持つ従来のフィードフォワードニューラルネットワークとは異なり、NODEは微分方程式系の解に学習を制約する。
まず,この制約が記憶を減少させるかどうかを考察し,NODEに関連する会員推定リスクについて検討する。
我々は,会員推論攻撃によるNODEの包括的評価を行い,ResNetsのような従来のモデルと比較して2倍の耐性を示すことを示す。
異なるNODEモデル間でのメンバシップリスクのばらつきを分析することで、その制限された表現性がトレーニングデータへの過度な適合を減少させることがわかった。
次に,NODEの確率的変種であるニューラル確率微分方程式(NSDE)を利用することにより,会員推定リスクをさらに軽減できることを示す。
NSDE は DPSGD と同じ証明可能なプライバシ保証を提供する差分プライベート(DP)学習者であることを示す。
NSDEはメンバーシップ推論攻撃の緩和にも有効であり、DP-SGDで訓練されたプライベートモデルに匹敵するリスクレベルを達成すると同時に、プライバシーユーティリティのトレードオフの改善も提供する。
さらに,従来のフィードフォワードアーキテクチャにNSDEを効率的に統合し,プライバシを向上させるドロップイン・リプレース戦略を提案する。
関連論文リスト
- Differentially Private Random Feature Model [52.468511541184895]
プライバシを保存するカーネルマシンに対して,差分的にプライベートな特徴モデルを作成する。
本手法は,プライバシを保護し,一般化誤差を導出する。
論文 参考訳（メタデータ） (2024-12-06T05:31:08Z) - How Spurious Features Are Memorized: Precise Analysis for Random and NTK Features [19.261178173399784]
学習課題とは無関係な突発的な特徴について考察する。
それらがどのように2つの異なる用語で記憶されるのかを正確に評価する。
一般化能力の増大に伴い,突発的特徴の記憶が弱まることを示す。
論文 参考訳（メタデータ） (2023-05-20T05:27:41Z) - Learning Neural Constitutive Laws From Motion Observations for
Generalizable PDE Dynamics [97.38308257547186]
多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。
PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。
そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
論文 参考訳（メタデータ） (2023-04-27T17:42:24Z) - Mixed Effects Neural ODE: A Variational Approximation for Analyzing the
Dynamics of Panel Data [50.23363975709122]
パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。
我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。
次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-02-18T22:41:51Z) - Improving Robustness and Uncertainty Modelling in Neural Ordinary
Differential Equations [0.2538209532048866]
本研究では,NODE における不確実性をモデル化するための新しい手法を提案する。
また、各データポイントが終末時間に異なる後続分布を持つことができる適応遅延時間NODE(ALT-NODE)を提案する。
本研究では,合成画像と実世界の画像分類データを用いた実験により,不確実性とロバスト性をモデル化する手法の有効性を実証する。
論文 参考訳（メタデータ） (2021-12-23T16:56:10Z) - PEARL: Data Synthesis via Private Embeddings and Adversarial
Reconstruction Learning [1.8692254863855962]
本稿では, 深層生成モデルを用いたデータ・フレームワークを, 差分的にプライベートな方法で提案する。
当社のフレームワークでは、センシティブなデータは、厳格なプライバシ保証をワンショットで行うことで衛生化されています。
提案手法は理論的に性能が保証され,複数のデータセットに対する経験的評価により,提案手法が適切なプライバシーレベルで他の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2021-06-08T18:00:01Z) - The Influence of Dropout on Membership Inference in Differentially
Private Models [0.0]
異なるプライベートモデルは、モデルがトレーニングしたデータのプライバシ保護を目指している。
我々は、差分プライバシーのないモデルに対する会員推測攻撃を行う。
論文 参考訳（メタデータ） (2021-03-16T12:09:51Z) - Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。
本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文 参考訳（メタデータ） (2020-12-14T18:59:24Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳（メタデータ） (2020-11-24T19:52:38Z) - Robust pricing and hedging via neural SDEs [0.0]
我々は,ニューラルSDEの効率的な利用に必要な新しいアルゴリズムを開発し,分析する。
我々は、関連する市場データを取り入れつつ、デリバティブの価格とそれに対応するヘッジ戦略の堅牢な境界を見出した。
ニューラルSDEはリスクニュートラルと現実世界の両方で一貫したキャリブレーションを可能にする。
論文 参考訳（メタデータ） (2020-07-08T14:33:17Z) - Constrained Neural Ordinary Differential Equations with Stability
Guarantees [1.1086440815804224]
代数的非線形性を持つ離散常微分方程式をディープニューラルネットワークとしてモデル化する方法を示す。
我々は、重みの固有値に課される暗黙の制約に基づいて、ネットワーク層の安定性を保証する。
オープンループシミュレーションを用いて,学習したニューラルネットワークの予測精度を検証した。
論文 参考訳（メタデータ） (2020-04-22T22:07:57Z) - Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。
トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。
しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文 参考訳（メタデータ） (2020-02-22T22:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。