Fugu-MT 論文翻訳(概要): Curvature Clues: Decoding Deep Learning Privacy with Input Loss Curvature

論文の概要: Curvature Clues: Decoding Deep Learning Privacy with Input Loss Curvature

arxiv url: http://arxiv.org/abs/2407.02747v1
Date: Wed, 3 Jul 2024 01:47:46 GMT
ステータス: 処理完了
システム内更新日: 2024-07-04 15:54:34.722277
Title: Curvature Clues: Decoding Deep Learning Privacy with Input Loss Curvature
Title（参考訳）: Curvature Clues: 入力損失曲線によるディープラーニングプライバシのデコード
Authors: Deepak Ravikumar, Efstathia Soufleri, Kaushik Roy,
Abstract要約: 入力に対する損失の曲率(所定入力損失曲率)は、入力に関する損失のヘシアンのトレースである。我々は,プライバシとトレーニングセットのサイズに基づいて,列車試験の識別可能性の上限を導出する理論的枠組みを開発する。この洞察は、入力損失曲率を利用した新しいブラックボックスメンバーシップ推論攻撃の開発を促進する。
参考スコア（独自算出の注目度）: 6.738409533239947
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: In this paper, we explore the properties of loss curvature with respect to input data in deep neural networks. Curvature of loss with respect to input (termed input loss curvature) is the trace of the Hessian of the loss with respect to the input. We investigate how input loss curvature varies between train and test sets, and its implications for train-test distinguishability. We develop a theoretical framework that derives an upper bound on the train-test distinguishability based on privacy and the size of the training set. This novel insight fuels the development of a new black box membership inference attack utilizing input loss curvature. We validate our theoretical findings through experiments in computer vision classification tasks, demonstrating that input loss curvature surpasses existing methods in membership inference effectiveness. Our analysis highlights how the performance of membership inference attack (MIA) methods varies with the size of the training set, showing that curvature-based MIA outperforms other methods on sufficiently large datasets. This condition is often met by real datasets, as demonstrated by our results on CIFAR10, CIFAR100, and ImageNet. These findings not only advance our understanding of deep neural network behavior but also improve the ability to test privacy-preserving techniques in machine learning.
Abstract（参考訳）: 本稿では,深層ニューラルネットワークにおける入力データに対する損失曲率の特性について検討する。入力に対する損失の曲率(所定入力損失曲率)は、入力に関する損失のヘシアンのトレースである。列車とテストセット間の入力損失曲率の変化について検討し,それが列車-テストの識別性に与える影響について検討した。我々は,プライバシとトレーニングセットのサイズに基づいて,列車試験の識別可能性の上限を導出する理論的枠組みを開発する。この新たな洞察は、入力損失曲率を利用した新しいブラックボックスメンバーシップ推論攻撃の開発を促進する。我々は,コンピュータビジョンの分類タスクにおける実験を通じて理論的知見を検証し,入力損失曲線が既存の会員推定手法を上回っていることを示す。本分析は,MIA法の性能がトレーニングセットのサイズとどのように異なるかに注目し,曲率に基づくMIA法が十分に大きなデータセット上で他の手法より優れていることを示す。この条件は、CIFAR10、CIFAR100、ImageNetで示されているように、実際のデータセットによって満たされることが多い。これらの発見は、ディープニューラルネットワークの振る舞いに対する理解を深めるだけでなく、機械学習におけるプライバシ保護技術をテストする能力も向上する。

関連論文リスト

Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
論文参考訳（メタデータ） (2024-10-11T03:59:49Z)
Unveiling Privacy, Memorization, and Input Curvature Links [11.290935303784208]
記憶は一般化、ノイズ学習、プライバシーといったいくつかの概念と密接に関連している。近年の研究では、入力損失曲率(ロスヘシアン w.r.t 入力の痕跡によって測定される)と記憶とを結びつける証拠が示されている。解析を拡張して、差分プライバシー、記憶、入力損失曲線の理論的関係を確立する。
論文参考訳（メタデータ） (2024-02-28T22:02:10Z)
Mitigating Privacy Risk in Membership Inference by Convex-Concave Loss [16.399746814823025]
機械学習モデルは、トレーニングセットにサンプルがあるかどうかを推測することを目的とした、メンバシップ推論攻撃(MIA)の影響を受けやすい。既存の作業では、勾配上昇を利用してトレーニングデータの損失分散を拡大し、プライバシリスクを軽減する。本稿では,勾配降下によるトレーニング損失分布の分散化を可能にする新しい手法であるConvex-Concave Lossを提案する。
論文参考訳（メタデータ） (2024-02-08T07:14:17Z)
Class Incremental Learning for Adversarial Robustness [17.06592851567578]
アドリラルトレーニングは、モデルトレーニング中の敵の例を統合して、堅牢性を高める。直感的な対人訓練と漸進的な学習を組み合わせることで、頑健さが失われることが容易に分かる。本稿では, 対向型とクリーン型との出力差を生かしたFPD損失を提案する。
論文参考訳（メタデータ） (2023-12-06T04:38:02Z)
Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文参考訳（メタデータ） (2023-10-02T03:25:32Z)
Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
論文参考訳（メタデータ） (2023-09-29T06:18:15Z)
Delving into Sample Loss Curve to Embrace Noisy and Imbalanced Data [17.7825114228313]
破損したラベルとクラス不均衡は、実際に収集されたトレーニングデータでよく見られる。既存のアプローチは、サンプルの再重み付け戦略を採用することで、これらの問題を緩和します。しかし、ラベルが破損したサンプルと、訓練データに一般的に共存する尾のクラスは偏りがあった。
論文参考訳（メタデータ） (2021-12-30T09:20:07Z)
Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文参考訳（メタデータ） (2020-12-03T10:17:30Z)
Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
論文参考訳（メタデータ） (2020-05-20T16:56:08Z)
Overfitting in adversarially robust deep learning [86.11788847990783]
トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
論文参考訳（メタデータ） (2020-02-26T15:40:50Z)
Identifying and Compensating for Feature Deviation in Imbalanced Deep Learning [59.65752299209042]
このようなシナリオ下でのConvNetの学習について検討する。私たちは、ConvNetがマイナーなクラスにかなり適合していることに気づきました。クラス依存型温度トレーニング(CDT)のConvNetの導入を提案する。
論文参考訳（メタデータ） (2020-01-06T03:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。