論文の概要: Guarantees of confidentiality via Hammersley-Chapman-Robbins bounds

• arxiv url: http://arxiv.org/abs/2404.02866v1
• Date: Wed, 3 Apr 2024 16:58:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 16:50:16.884456
• Title: Guarantees of confidentiality via Hammersley-Chapman-Robbins bounds
• Title（参考訳）: Hammersley-Chapman-Robbins境界による機密性の保証
• Authors: Kamalika Chaudhuri, Chuan Guo, Laurens van der Maaten, Saeed Mahloujifar, Mark Tygert,
• Abstract要約: ノイズは最終分類器や他のタスク固有のレイヤの前に、最後のレイヤのアクティベーションに追加される。 入力の可能な全ての非バイアス推定器のばらつきを低くすることは、そのような付加ノイズから生じる機密性を定量化する。 数値実験により、HCR境界は小さなニューラルネットに対して有効である可能性が示唆された。
• 参考スコア（独自算出の注目度）: 61.50022257278769
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Protecting privacy during inference with deep neural networks is possible by adding noise to the activations in the last layers prior to the final classifiers or other task-specific layers. The activations in such layers are known as "features" (or, less commonly, as "embeddings" or "feature embeddings"). The added noise helps prevent reconstruction of the inputs from the noisy features. Lower bounding the variance of every possible unbiased estimator of the inputs quantifies the confidentiality arising from such added noise. Convenient, computationally tractable bounds are available from classic inequalities of Hammersley and of Chapman and Robbins -- the HCR bounds. Numerical experiments indicate that the HCR bounds are on the precipice of being effectual for small neural nets with the data sets, "MNIST" and "CIFAR-10," which contain 10 classes each for image classification. The HCR bounds appear to be insufficient on their own to guarantee confidentiality of the inputs to inference with standard deep neural nets, "ResNet-18" and "Swin-T," pre-trained on the data set, "ImageNet-1000," which contains 1000 classes. Supplementing the addition of noise to features with other methods for providing confidentiality may be warranted in the case of ImageNet. In all cases, the results reported here limit consideration to amounts of added noise that incur little degradation in the accuracy of classification from the noisy features. Thus, the added noise enhances confidentiality without much reduction in the accuracy on the task of image classification.
• Abstract（参考訳）: ディープニューラルネットワークによる推論中のプライバシ保護は、最終分類器や他のタスク固有のレイヤの前に、最後のレイヤのアクティベーションにノイズを加えることで実現される。 このような層の活性化は、"features"(一般的には"embeddings"や"feature embeddeds"と呼ばれる)として知られている。 ノイズが加わったことで、ノイズのある特徴から入力が復元されるのを防ぐことができる。 入力の可能な全ての非バイアス推定器のばらつきを低くすることは、そのような付加ノイズから生じる機密性を定量化する。 ハマーズリーとチャップマンとロビンズの古典的不等式(HCR境界)から、連続で計算的に計算可能な境界が利用できる。 数値実験により、HCR境界は、画像分類用の10のクラスを含むデータセット "MNIST" と "CIFAR-10" で、小さなニューラルネットに対して有効であることが示唆された。 HCR境界は、標準のディープニューラルネットワークである"ResNet-18"と"Swin-T"を、1000のクラスを含むデータセットである"ImageNet-1000"で事前トレーニングする際の入力の機密性を保証するために、それ自体では不十分であるように見える。 ImageNetの場合、機密性を提供する他の方法による機能へのノイズの追加を補うことは保証される。 いずれの場合も, ノイズによる分類精度の低下がほとんどない付加雑音の量について検討した。 これにより、画像分類作業の精度を大幅に低下させることなく、秘密性を高めることができる。

関連論文リスト

• Optimizing Noise for $f$-Differential Privacy via Anti-Concentration and Stochastic Dominance [7.581259361859479]
  正準雑音分布 (CND) は, 半整数値で反集束境界に一致することを示す。 離散 CND の新たな概念を提案し、離散 CND が常に存在することを証明する。 我々の理論的結果は、$f$DPフレームワークで可能な様々な種類のプライバシー保証に光を当て、パフォーマンスを最適化するより複雑なメカニズムに組み込まれることができます。
  論文  参考訳（メタデータ） (2023-08-16T13:09:27Z)
• Label Noise: Correcting the Forward-Correction [0.0]
  ラベルノイズのあるデータセット上でニューラルネットワーク分類器を訓練することは、ノイズのあるラベルに過度に適合するリスクをもたらす。 ラベルノイズによる過度適合に対処する手法を提案する。 本研究は, オーバーフィッティングを緩和するために, トレーニング損失に低い限界を課すことを提案する。
  論文  参考訳（メタデータ） (2023-07-24T19:41:19Z)
• Noise-Robust Loss Functions: Enhancing Bounded Losses for Large-Scale Noisy Data Learning [0.0]
  大きな注釈付きデータセットには、必然的にノイズのあるラベルが含まれており、ラベルを覚えやすいようにディープニューラルネットワークをトレーニングする上で大きな課題となる。 ノイズ・ロバスト損失関数はこの問題に対処するための重要な戦略として現れてきたが、過度に適合しないロバスト損失関数を作成することは依然として困難である。 本稿では,ロジットバイアス(logit bias)と表される新しい手法を提案し,ロジットに正しいクラスの位置で実数$epsilon$を付加する。
  論文  参考訳（メタデータ） (2023-06-08T18:38:55Z)
• Advancing Unsupervised Low-light Image Enhancement: Noise Estimation, Illumination Interpolation, and Self-Regulation [55.07472635587852]
  低光画像強調(LLIE)技術は、画像の詳細の保存とコントラストの強化に顕著な進歩をもたらした。 これらのアプローチは、動的ノイズを効率的に緩和し、様々な低照度シナリオを収容する上で、永続的な課題に直面する。 まず,低照度画像の雑音レベルを迅速かつ高精度に推定する方法を提案する。 次に、照明と入力の一般的な制約を満たすために、Learningable Illumination Interpolator (LII) を考案する。
  論文  参考訳（メタデータ） (2023-05-17T13:56:48Z)
• Learning Confident Classifiers in the Presence of Label Noise [5.829762367794509]
  本稿では,ノイズ観測のための確率論的モデルを提案し,信頼性の高い分類とセグメンテーションモデルの構築を可能にする。 実験により,本アルゴリズムは,検討された分類問題と分割問題に対して,最先端の解よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-01-02T04:27:25Z)
• NLIP: Noise-robust Language-Image Pre-training [95.13287735264937]
  雑音調和と雑音補完という2つの手法を用いて事前学習の安定化を図るため,NLIPの原理的手法を提案する。 我々のNLIPは、画像テキスト事前学習における一般的なノイズ効果をより効率的に軽減することができる。
  論文  参考訳（メタデータ） (2022-12-14T08:19:30Z)
• Content-Aware Differential Privacy with Conditional Invertible Neural Networks [0.7102341019971402]
  Invertible Neural Networks (INNs) は、正確な精度を定量化しながら、優れた生成性能を示した。 INNの潜在空間に雑音を加えることで、差分プライベートな画像修正が可能になるという仮説を立てる。 利用可能なベンチマークデータセットと専用の医療データセットの実験を行います。
  論文  参考訳（メタデータ） (2022-07-29T11:52:16Z)
• S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
  本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-22T15:49:20Z)
• A Second-Order Approach to Learning with Instance-Dependent Label Noise [58.555527517928596]
  ラベルノイズの存在は、しばしばディープニューラルネットワークのトレーニングを誤解させる。 人間による注釈付きラベルのエラーは、タスクの難易度レベルに依存する可能性が高いことを示しています。
  論文  参考訳（メタデータ） (2020-12-22T06:36:58Z)
• Evading Deepfake-Image Detectors with White- and Black-Box Attacks [75.13740810603686]
  一般的な法医学的アプローチは、ニューラルネットワークを訓練して、実際の合成内容と区別することを示します。 我々は,既存の画像生成装置の約0.95のLOC曲線(AUC)以下の領域を達成できる最先端の分類器に関する5つの攻撃事例研究を開発した。 また、ターゲット分類器にアクセスできないブラックボックス攻撃により、AUCを0.22に削減する。
  論文  参考訳（メタデータ） (2020-04-01T17:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。