論文の概要: Unveiling Privacy, Memorization, and Input Curvature Links

• arxiv url: http://arxiv.org/abs/2402.18726v1
• Date: Wed, 28 Feb 2024 22:02:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-01 16:41:00.410676
• Title: Unveiling Privacy, Memorization, and Input Curvature Links
• Title（参考訳）: プライバシ、メモリ、入力曲率リンクの公開
• Authors: Deepak Ravikumar, Efstathia Soufleri, Abolfazl Hashemi, Kaushik Roy
• Abstract要約: 記憶は一般化、ノイズ学習、プライバシーといったいくつかの概念と密接に関連している。 近年の研究では、入力損失曲率(ロスヘシアン w.r.t 入力の痕跡によって測定される)と記憶とを結びつける証拠が示されている。 解析を拡張して、差分プライバシー、記憶、入力損失曲線の理論的関係を確立する。
• 参考スコア（独自算出の注目度）: 11.290935303784208
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Nets (DNNs) have become a pervasive tool for solving many emerging problems. However, they tend to overfit to and memorize the training set. Memorization is of keen interest since it is closely related to several concepts such as generalization, noisy learning, and privacy. To study memorization, Feldman (2019) proposed a formal score, however its computational requirements limit its practical use. Recent research has shown empirical evidence linking input loss curvature (measured by the trace of the loss Hessian w.r.t inputs) and memorization. It was shown to be ~3 orders of magnitude more efficient than calculating the memorization score. However, there is a lack of theoretical understanding linking memorization with input loss curvature. In this paper, we not only investigate this connection but also extend our analysis to establish theoretical links between differential privacy, memorization, and input loss curvature. First, we derive an upper bound on memorization characterized by both differential privacy and input loss curvature. Second, we present a novel insight showing that input loss curvature is upper-bounded by the differential privacy parameter. Our theoretical findings are further empirically validated using deep models on CIFAR and ImageNet datasets, showing a strong correlation between our theoretical predictions and results observed in practice.
• Abstract（参考訳）: ディープニューラルネット(DNN)は多くの新興問題を解決するための普及ツールとなっている。 しかし、トレーニングセットに過度に適合し記憶する傾向がある。 記憶は、一般化、ノイズ学習、プライバシーといったいくつかの概念と密接に関連しているため、非常に興味深い。 記憶の研究のために、フェルドマン(2019)は正式なスコアを提案したが、計算要件は実用性に制限がある。 近年の研究では、入力損失曲率(ロスヘシアン w.r.t 入力の痕跡によって測定される)と記憶を結びつける経験的証拠が示されている。 記憶スコアの計算よりも約3桁効率的であることが判明した。 しかし、メモリ化と入力損失曲率を結びつける理論的理解が欠如している。 本稿では,この関係を解明するだけでなく,差分プライバシー,記憶,入力損失曲率の理論的関係を確立するために解析を拡張した。 まず、差分プライバシーと入力損失曲率の両方を特徴とする記憶の上限を導出する。 第2に,差分プライバシーパラメータによって入力損失曲率が上界であることを示す新たな知見を示す。 さらに,cifarおよびimagenetデータセットの深層モデルを用いて,理論的な予測と実際に観測された結果との間に強い相関関係を示した。

関連論文リスト

• Curvature Clues: Decoding Deep Learning Privacy with Input Loss Curvature [6.738409533239947]
  入力に対する損失の曲率(所定入力損失曲率)は、入力に関する損失のヘシアンのトレースである。 我々は,プライバシとトレーニングセットのサイズに基づいて,列車試験の識別可能性の上限を導出する理論的枠組みを開発する。 この洞察は、入力損失曲率を利用した新しいブラックボックスメンバーシップ推論攻撃の開発を促進する。
  論文  参考訳（メタデータ） (2024-07-03T01:47:46Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• How to Construct Perfect and Worse-than-Coin-Flip Spoofing Countermeasures: A Word of Warning on Shortcut Learning [20.486639064376014]
  ショートカット学習(英: Shortcut learning、またはClever Hans effect)とは、学習エージェントがデータに存在する急激な相関を学習し、バイアスのあるモデルをもたらす状況を指す。 本研究では, 深層学習に基づくスプーフィング対策(CM)において, ある発話がスプーフィングされているか否かを予測するショートカットの発見に焦点をあてる。
  論文  参考訳（メタデータ） (2023-05-31T15:58:37Z)
• Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
  本稿では,非線形二層型オートエンコーダについて述べる。 本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。 符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
  論文  参考訳（メタデータ） (2022-12-27T12:37:34Z)
• Mathematical Justification of Hard Negative Mining via Isometric Approximation Theorem [18.525368151998386]
  ディープ・メトリック・ラーニングにおいて、トリプルト・ロスは多くのコンピュータビジョンと自然言語処理タスクを学習する一般的な方法として登場した。 Triplet Lossを悩ませている問題のひとつは、ネットワーク崩壊だ。ネットワークがすべてのデータの埋め込みを単一のポイントに投影するという、望ましくない現象だ。 強硬な負の採掘はこれらの戦略の中で最も効果的であるが、既存の定式化は経験的成功に対して強い理論上の正当化を欠いている。
  論文  参考訳（メタデータ） (2022-10-20T11:21:17Z)
• Towards Differential Relational Privacy and its use in Question Answering [109.4452196071872]
  データセット内のエンティティ間の関係の記憶は、トレーニングされた質問応答モデルを使用する場合、プライバシの問題につながる可能性がある。 我々はこの現象を定量化し、微分プライバシー(DPRP)の定義を可能にする。 質問回答のための大規模モデルを用いた実験において,概念を解説する。
  論文  参考訳（メタデータ） (2022-03-30T22:59:24Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Bounding Information Leakage in Machine Learning [26.64770573405079]
  本稿では,情報漏洩の基本的な境界について検討する。 最悪の会員推論攻撃の成功率を特定し、拘束します。 感度の高い属性とモデルパラメータの間の相互情報の境界を導出する。
  論文  参考訳（メタデータ） (2021-05-09T08:49:14Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• Towards Certified Robustness of Distance Metric Learning [53.96113074344632]
  我々は,距離学習アルゴリズムの一般化とロバスト性を改善するために,入力空間に逆のマージンを付与することを提唱する。 アルゴリズム的ロバスト性の理論手法を用いることにより,拡張マージンは一般化能力に有益であることを示す。
  論文  参考訳（メタデータ） (2020-06-10T16:51:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。