論文の概要: Understanding and Mitigating Membership Inference Risks of Neural Ordinary Differential Equations

• arxiv url: http://arxiv.org/abs/2501.06686v1
• Date: Sun, 12 Jan 2025 02:26:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:25:54.805152
• Title: Understanding and Mitigating Membership Inference Risks of Neural Ordinary Differential Equations
• Title（参考訳）: ニューラル正規微分方程式の会員推定リスクの理解と緩和
• Authors: Sanghyun Hong, Fan Wu, Anthony Gruber, Kookjin Lee,
• Abstract要約: ニューラル常微分方程式(NODE)に関連する会員推定リスクについて検討する。 我々は,従来のフィードフォワードモデルであるResNetsに比べて,NODEはプライバシー攻撃に対して2倍の耐性があることを示す。 次に、理論的にも経験的にも、NODEの変種を利用することにより、メンバシップ推論のリスクをさらに軽減できることを実証する: ニューラル微分方程式(NSDE)。
• 参考スコア（独自算出の注目度）: 9.441304891056372
• License:
• Abstract: Neural ordinary differential equations (NODEs) are an emerging paradigm in scientific computing for modeling dynamical systems. By accurately learning underlying dynamics in data in the form of differential equations, NODEs have been widely adopted in various domains, such as healthcare, finance, computer vision, and language modeling. However, there remains a limited understanding of the privacy implications of these fundamentally different models, particularly with regard to their membership inference risks. In this work, we study the membership inference risks associated with NODEs. We first comprehensively evaluate NODEs against membership inference attacks. We show that NODEs are twice as resistant to these privacy attacks compared to conventional feedforward models such as ResNets. By analyzing the variance in membership risks across different NODE models, we identify the factors that contribute to their lower risks. We then demonstrate, both theoretically and empirically, that membership inference risks can be further mitigated by utilizing a stochastic variant of NODEs: Neural stochastic differential equations (NSDEs). We show that NSDEs are differentially-private (DP) learners that provide the same provable privacy guarantees as DP-SGD, the de-facto mechanism for training private models. NSDEs are also effective in mitigating existing membership inference attacks, demonstrating risks comparable to private models trained with DP-SGD while offering an improved privacy-utility trade-off. Moreover, we propose a drop-in-replacement strategy that efficiently integrates NSDEs into conventional feedforward models to enhance their privacy.
• Abstract（参考訳）: ニューラル常微分方程式(ニューラル常微分方程式、英: Neural ordinary differential equations、NODE)は、力学系をモデル化するための科学計算における新しいパラダイムである。 微分方程式の形でデータの基盤となるダイナミクスを正確に学習することにより、NODEは医療、金融、コンピュータビジョン、言語モデリングといった様々な領域で広く採用されている。 しかしながら、これらの基本的な異なるモデルのプライバシーへの影響について、特にメンバーシップ推論のリスクに関して、限定的な理解が残されている。 本研究では,NODEに関連する会員推定リスクについて検討する。 まず,NODEを会員推定攻撃に対して包括的に評価する。 我々は,従来のフィードフォワードモデルであるResNetsに比べて,NODEはプライバシー攻撃に対して2倍の耐性があることを示す。 異なるNODEモデル間での会員リスクのばらつきを分析することにより、リスクの低さに寄与する要因を同定する。 次に,NODEの確率的変種(Neural stochastic differential equations: NSDEs)を利用することで,会員推定のリスクをさらに軽減できることを示す。 NSDEはDP-SGDと同等のプライバシー保証を提供する差分プライベート(DP)学習者であり,プライベートモデルをトレーニングするためのデファクト機構であることを示す。 NSDEは既存のメンバーシップ推論攻撃の緩和にも有効であり、DP-SGDで訓練されたプライベートモデルに匹敵するリスクを示しながら、プライバシーとユーティリティのトレードオフを改善している。 さらに,従来のフィードフォワードモデルにNSDEを効率的に統合し,プライバシを向上させるドロップイン・リプレース戦略を提案する。

関連論文リスト

• Differentially Private Random Feature Model [52.468511541184895]
  プライバシを保存するカーネルマシンに対して,差分的にプライベートな特徴モデルを作成する。 本手法は,プライバシを保護し,一般化誤差を導出する。
  論文  参考訳（メタデータ） (2024-12-06T05:31:08Z)
• Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics [97.38308257547186]
  多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。 PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。 そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-04-27T17:42:24Z)
• Mixed Effects Neural ODE: A Variational Approximation for Analyzing the Dynamics of Panel Data [50.23363975709122]
  パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。 我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。 次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-18T22:41:51Z)
• Improving Robustness and Uncertainty Modelling in Neural Ordinary Differential Equations [0.2538209532048866]
  本研究では,NODE における不確実性をモデル化するための新しい手法を提案する。 また、各データポイントが終末時間に異なる後続分布を持つことができる適応遅延時間NODE(ALT-NODE)を提案する。 本研究では,合成画像と実世界の画像分類データを用いた実験により,不確実性とロバスト性をモデル化する手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-12-23T16:56:10Z)
• PEARL: Data Synthesis via Private Embeddings and Adversarial Reconstruction Learning [1.8692254863855962]
  本稿では, 深層生成モデルを用いたデータ・フレームワークを, 差分的にプライベートな方法で提案する。 当社のフレームワークでは、センシティブなデータは、厳格なプライバシ保証をワンショットで行うことで衛生化されています。 提案手法は理論的に性能が保証され,複数のデータセットに対する経験的評価により,提案手法が適切なプライバシーレベルで他の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-08T18:00:01Z)
• The Influence of Dropout on Membership Inference in Differentially Private Models [0.0]
  異なるプライベートモデルは、モデルがトレーニングしたデータのプライバシ保護を目指している。 我々は、差分プライバシーのないモデルに対する会員推測攻撃を行う。
  論文  参考訳（メタデータ） (2021-03-16T12:09:51Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Robust pricing and hedging via neural SDEs [0.0]
  我々は,ニューラルSDEの効率的な利用に必要な新しいアルゴリズムを開発し,分析する。 我々は、関連する市場データを取り入れつつ、デリバティブの価格とそれに対応するヘッジ戦略の堅牢な境界を見出した。 ニューラルSDEはリスクニュートラルと現実世界の両方で一貫したキャリブレーションを可能にする。
  論文  参考訳（メタデータ） (2020-07-08T14:33:17Z)
• Constrained Neural Ordinary Differential Equations with Stability Guarantees [1.1086440815804224]
  代数的非線形性を持つ離散常微分方程式をディープニューラルネットワークとしてモデル化する方法を示す。 我々は、重みの固有値に課される暗黙の制約に基づいて、ネットワーク層の安定性を保証する。 オープンループシミュレーションを用いて,学習したニューラルネットワークの予測精度を検証した。
  論文  参考訳（メタデータ） (2020-04-22T22:07:57Z)
• Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
  ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。 トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。 しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
  論文  参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。