論文の概要: Forgetting Outside the Box: Scrubbing Deep Networks of Information
Accessible from Input-Output Observations
- arxiv url: http://arxiv.org/abs/2003.02960v3
- Date: Thu, 29 Oct 2020 02:23:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 06:14:06.874837
- Title: Forgetting Outside the Box: Scrubbing Deep Networks of Information
Accessible from Input-Output Observations
- Title（参考訳）: 箱から外へ:入力出力観測からアクセス可能な深い情報ネットワークを抽出する
- Authors: Aditya Golatkar, Alessandro Achille, Stefano Soatto
- Abstract要約: 本稿では、訓練された深層ネットワークからトレーニングデータのコホートへの依存を取り除く手順について述べる。
忘れられたコホートについて,クエリ毎にどれだけの情報を取り出すことができるか,という新たな境界を導入する。
我々は,ニューラルタンジェントカーネルにインスパイアされたDNNのアクティベーションとウェイトダイナミクスの接続を利用して,アクティベーションの情報を計算する。
- 参考スコア（独自算出の注目度）: 143.3053365553897
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We describe a procedure for removing dependency on a cohort of training data
from a trained deep network that improves upon and generalizes previous methods
to different readout functions and can be extended to ensure forgetting in the
activations of the network. We introduce a new bound on how much information
can be extracted per query about the forgotten cohort from a black-box network
for which only the input-output behavior is observed. The proposed forgetting
procedure has a deterministic part derived from the differential equations of a
linearized version of the model, and a stochastic part that ensures information
destruction by adding noise tailored to the geometry of the loss landscape. We
exploit the connections between the activation and weight dynamics of a DNN
inspired by Neural Tangent Kernels to compute the information in the
activations.
- Abstract（参考訳）: 本稿では,学習した深層ネットワークからトレーニングデータのコホートへの依存性を除去する手法について述べる。これにより,従来の手法を異なる読み出し関数に改良・一般化し,ネットワークのアクティベーションを忘れないように拡張することができる。
本稿では,入力出力動作のみを観測するブラックボックスネットワークから,忘れられたコホートに関するクエリ毎にどれだけの情報を抽出するかという新たな境界を導入する。
提案手法は,線形化モデルの微分方程式から導出される決定論的部分と,損失景観の幾何学に適応した雑音を加えることで情報破壊を確実にする確率的部分とを有する。
我々は,ニューラルタンジェントカーネルにインスパイアされたDNNのアクティベーションとウェイトダイナミクスの接続を利用して,アクティベーションの情報を計算する。
関連論文リスト
- Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。
注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
論文 参考訳（メタデータ） (2024-09-20T07:41:47Z) - Opening the Black Box: predicting the trainability of deep neural networks with reconstruction entropy [0.0]
本稿では,ディープフィードフォワードニューラルネットワークのパラメータ空間におけるトレーニング可能な状態を予測する手法を提案する。
MNISTとCIFAR10の両方のデータセットに対して、トレーニングの1つのエポックが、ディープフィードフォワードネットワークのトレーニング可能性を予測するのに十分であることを示す。
論文 参考訳（メタデータ） (2024-06-13T18:00:05Z) - Network Inversion of Binarised Neural Nets [3.5571131514746837]
ニューラルネットワークの出力マッピングに対する入力のブラックボックスの性質を解明する上で、ネットワークの反転は重要な役割を担っている。
本稿では,ネットワークの構造をキャプチャするCNF式に符号化することで,訓練されたBNNを逆転させる新しい手法を提案する。
論文 参考訳（メタデータ） (2024-02-19T09:39:54Z) - STEERING: Stein Information Directed Exploration for Model-Based
Reinforcement Learning [111.75423966239092]
遷移モデルの現在の推定値と未知の最適値との間の積分確率距離(IPM)の観点から探索インセンティブを提案する。
KSDに基づく新しいアルゴリズムを開発した。 textbfSTEin information dirtextbfEcted Explor for model-based textbfReinforcement Learntextbfing。
論文 参考訳（メタデータ） (2023-01-28T00:49:28Z) - Robust Explanation Constraints for Neural Networks [33.14373978947437]
ニューラルネットワークの意図で使われるポストホックな説明法は、しばしば彼らの出力を信頼するのに役立つと言われている。
我々のトレーニング方法は、ニューラルネットワークを学習できる唯一の方法であり、6つのテストネットワークでテストされた堅牢性に関する洞察を持つ。
論文 参考訳（メタデータ） (2022-12-16T14:40:25Z) - Information Removal at the bottleneck in Deep Neural Networks [3.1473798197405944]
我々は,ディープニューラルネットワークのボトルネックにおいて情報除去を実現する手法であるIRENEを提案する。
合成データセットとCelebAの実験により,提案手法の有効性が検証された。
論文 参考訳（メタデータ） (2022-09-30T14:20:21Z) - Decomposing neural networks as mappings of correlation functions [57.52754806616669]
本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。
ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
論文 参考訳（メタデータ） (2022-02-10T09:30:31Z) - Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。
そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。
提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
論文 参考訳（メタデータ） (2020-12-24T19:34:56Z) - Distillation of Weighted Automata from Recurrent Neural Networks using a
Spectral Approach [0.0]
本稿では,ディープラーニングと文法推論のギャップを埋める試みである。
言語モデリングのためにトレーニングされたリカレントニューラルネットワークからフォーマルな言語を抽出するアルゴリズムを提供する。
論文 参考訳（メタデータ） (2020-09-28T07:04:15Z) - Focus of Attention Improves Information Transfer in Visual Features [80.22965663534556]
本稿では,真のオンライン環境下での視覚情報伝達のための教師なし学習に焦点を当てた。
エントロピー項の計算は、エントロピー項のオンライン推定を行う時間的プロセスによって行われる。
入力確率分布をよりよく構成するために,人間のような注目モデルを用いる。
論文 参考訳（メタデータ） (2020-06-16T15:07:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。