論文の概要: Measuring Data Leakage in Machine-Learning Models with Fisher Information

• arxiv url: http://arxiv.org/abs/2102.11673v1
• Date: Tue, 23 Feb 2021 13:02:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-24 13:52:36.665030
• Title: Measuring Data Leakage in Machine-Learning Models with Fisher Information
• Title（参考訳）: フィッシャー情報を用いた機械学習モデルにおけるデータリークの測定
• Authors: Awni Hannun, Chuan Guo, Laurens van der Maaten
• Abstract要約: 機械学習モデルには、トレーニングしたデータに関する情報が含まれている。 この情報はモデル自身あるいはモデルによる予測を通じてリークする。 本稿では,データに関するモデルのフィッシャー情報を用いて,この漏洩を定量化する手法を提案する。
• 参考スコア（独自算出の注目度）: 35.20523017255285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine-learning models contain information about the data they were trained on. This information leaks either through the model itself or through predictions made by the model. Consequently, when the training data contains sensitive attributes, assessing the amount of information leakage is paramount. We propose a method to quantify this leakage using the Fisher information of the model about the data. Unlike the worst-case a priori guarantees of differential privacy, Fisher information loss measures leakage with respect to specific examples, attributes, or sub-populations within the dataset. We motivate Fisher information loss through the Cram\'{e}r-Rao bound and delineate the implied threat model. We provide efficient methods to compute Fisher information loss for output-perturbed generalized linear models. Finally, we empirically validate Fisher information loss as a useful measure of information leakage.
• Abstract（参考訳）: 機械学習モデルには、トレーニングしたデータに関する情報が含まれている。 この情報はモデル自身あるいはモデルによる予測を通じてリークする。 これにより、トレーニングデータがセンシティブな属性を含む場合、情報漏洩の量を評価することが最重要となる。 本稿では,データに関するモデルのフィッシャー情報を用いて,この漏洩を定量化する手法を提案する。 差分プライバシーを保証する最悪のケースとは異なり、Fisher情報損失はデータセット内の特定の例、属性、またはサブ人口に関する漏洩を測定します。 Cram\'{e}r-Rao によるフィッシャー情報の損失を動機付け、暗黙の脅威モデルを説明します。 出力摂動一般化線形モデルに対するフィッシャー情報損失の効率的な計算法を提案する。 最後に,漁獲情報の損失を情報漏洩の有用な指標として実証的に検証する。

関連論文リスト

• FisherMask: Enhancing Neural Network Labeling Efficiency in Image Classification Using Fisher Information [2.762397703396293]
  FisherMaskはFisher情報に基づくアクティブラーニング(AL)アプローチで、主要なネットワークパラメータをマスキングすることで識別する。 実験の結果,FisherMaskは多様なデータセット上で最先端の手法を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-08T18:10:46Z)
• Partially Blinded Unlearning: Class Unlearning for Deep Networks a Bayesian Perspective [4.31734012105466]
  マシン・アンラーニング(英: Machine Unlearning)とは、特定のデータセットやクラスに指定された情報を事前訓練されたモデルから選択的に破棄するプロセスである。 本研究では,事前学習した分類ネットワークから,特定の種類のデータに関連付けられた情報の目的的除去に適した手法を提案する。 本手法は,従来の最先端の未学習手法を超越し,優れた有効性を示す。
  論文  参考訳（メタデータ） (2024-03-24T17:33:22Z)
• Loss-Free Machine Unlearning [51.34904967046097]
  我々は、再学習とラベルなしの両方の機械学習アプローチを提案する。 Retraining-freeアプローチは、損失から派生したFisher情報を利用することが多く、利用できないラベル付きデータを必要とする。 本稿では,モデル出力のl2ノルムの勾配に対して,フィッシャー情報行列の対角線を近似感度に置き換えるSelective Synaptic Dampeningアルゴリズムの拡張を提案する。
  論文  参考訳（メタデータ） (2024-02-29T16:15:34Z)
• Leave-one-out Distinguishability in Machine Learning [23.475469946428717]
  本稿では、機械学習アルゴリズムの出力分布の変化を、トレーニングセットにいくつかのデータポイントを含めると定量化する分析フレームワークを提案する。 これは、データ**記憶*と情報*記憶*と、機械学習におけるデータポイントのトレーニング**影響*とを測る鍵となります。
  論文  参考訳（メタデータ） (2023-09-29T15:08:28Z)
• On the Exploitability of Instruction Tuning [103.8077787502381]
  そこで本研究では,モデルの動作を変えるための命令チューニングを,相手がどのように活用できるかを検討する。 自動データ中毒パイプラインである textitAutoPoison を提案する。 結果から、AutoPoisonは、少数のデータだけを中毒することで、敵がモデルの振る舞いを変えることを可能にする。
  論文  参考訳（メタデータ） (2023-06-28T17:54:04Z)
• Unifying Approaches in Data Subset Selection via Fisher Information and Information-Theoretic Quantities [38.59619544501593]
  我々はフィッシャー情報を再検討し、それを用いて、他のいくつかの異なる方法が情報理論量の近似としてどのように接続されているかを示す。 データサブセットの選択、すなわち、アクティブラーニングとアクティブサンプリングでは、いくつかの最近の研究はフィッシャー情報、ヘッセン、勾配に基づく類似度行列、あるいは単に勾配長を用いてサンプル選択を導いた取得スコアを計算する。
  論文  参考訳（メタデータ） (2022-08-01T00:36:57Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Graph Embedding with Data Uncertainty [113.39838145450007]
  スペクトルベースのサブスペース学習は、多くの機械学習パイプラインにおいて、一般的なデータ前処理ステップである。 ほとんどの部分空間学習法は、不確実性の高いデータにつながる可能性のある測定の不正確さやアーティファクトを考慮していない。
  論文  参考訳（メタデータ） (2020-09-01T15:08:23Z)
• How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
  本稿では,トレーニングデータの密度と制御性能の関係を考察する。 データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。 フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-25T12:13:49Z)
• Modelling and Quantifying Membership Information Leakage in Machine Learning [14.095523601311374]
  我々は、ディープニューラルネットワークのような複雑なモデルが、メンバーシップ推論攻撃の影響を受けやすいことを示す。 本稿では,Gaussian $(epsilon,delta)$-differentially-private additive noiseを使用する場合,メンバシップ情報漏洩の量は$mathcalO(log1/2(delta-1)epsilon-1)$で減少することを示す。
  論文  参考訳（メタデータ） (2020-01-29T00:42:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。