論文の概要: Information Removal at the bottleneck in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2210.00891v1
• Date: Fri, 30 Sep 2022 14:20:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 13:46:46.632938
• Title: Information Removal at the bottleneck in Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークのボトルネックにおける情報除去
• Authors: Enzo Tartaglione
• Abstract要約: 我々は,ディープニューラルネットワークのボトルネックにおいて情報除去を実現する手法であるIRENEを提案する。 合成データセットとCelebAの実験により,提案手法の有効性が検証された。
• 参考スコア（独自算出の注目度）: 3.1473798197405944
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning models are nowadays broadly deployed to solve an incredibly large variety of tasks. Commonly, leveraging over the availability of "big data", deep neural networks are trained as black-boxes, minimizing an objective function at its output. This however does not allow control over the propagation of some specific features through the model, like gender or race, for solving some an uncorrelated task. This raises issues either in the privacy domain (considering the propagation of unwanted information) and of bias (considering that these features are potentially used to solve the given task). In this work we propose IRENE, a method to achieve information removal at the bottleneck of deep neural networks, which explicitly minimizes the estimated mutual information between the features to be kept ``private'' and the target. Experiments on a synthetic dataset and on CelebA validate the effectiveness of the proposed approach, and open the road towards the development of approaches guaranteeing information removal in deep neural networks.
• Abstract（参考訳）: ディープラーニングモデルは現在、驚くほど多くのタスクを解決するために広くデプロイされています。 一般的には、"ビッグデータ"の可用性を活用することで、ディープニューラルネットワークはブラックボックスとしてトレーニングされ、出力の目的関数を最小化する。 しかしこれは、非相関なタスクを解決するために、性別や人種といったモデルを通じて特定の特徴の伝播を制御できない。 これはプライバシ領域(不要な情報の伝播を考慮)とバイアス(これらの機能が与えられたタスクの解決に潜在的に使用されていることを考慮)のどちらにも問題を引き起こす。 In this work, we propose IRENE, a method to achieve information removal at the scar of Deep Neural Network, which is clearly minimal the estimated mutual information between the role to keep '`private' and the target。 合成データセットとCelebAの実験は、提案手法の有効性を検証し、ディープニューラルネットワークにおける情報除去を保証するアプローチの開発に向けた道を開く。

関連論文リスト

• Feature Selection for Network Intrusion Detection [3.7414804164475983]
  本稿では,ネットワーク侵入を検出する際に,非情報的特徴の排除を容易にする情報理論を提案する。 提案手法は,ニューラルネットワークを用いた関数近似に基づいて,再帰層を組み込んだアプローチのバージョンを実現する。
  論文  参考訳（メタデータ） (2024-11-18T14:25:55Z)
• Perturbation on Feature Coalition: Towards Interpretable Deep Neural Networks [0.1398098625978622]
  ディープニューラルネットワーク(DNN)の“ブラックボックス”という性質は、透明性と信頼性を損なう。 本稿では,ネットワークの深い情報を利用して相関した特徴を抽出する,特徴連立による摂動に基づく解釈を提案する。
  論文  参考訳（メタデータ） (2024-08-23T22:44:21Z)
• Zonotope Domains for Lagrangian Neural Network Verification [102.13346781220383]
  我々は、ディープニューラルネットワークを多くの2層ニューラルネットワークの検証に分解する。 我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方により改善された境界を与える。
  論文  参考訳（メタデータ） (2022-10-14T19:31:39Z)
• Explainable Deep Belief Network based Auto encoder using novel Extended Garson Algorithm [6.228766191647919]
  我々はDeep Belief Network based Auto-Encoder (DBNA) を説明するアルゴリズムを開発した。 DBN内の各入力機能のコントリビューションを決定するために使用される。 この方法によって同定された重要な特徴は、ウォルドチ広場(chi2)で得られたものと比較される。
  論文  参考訳（メタデータ） (2022-07-18T10:44:02Z)
• Efficacy of Bayesian Neural Networks in Active Learning [11.609770399591516]
  ベイズニューラルネットワークは、アンサンブルに基づく不確実性を捕捉する技術よりも効率的であることを示す。 また,近年,モンテカルロのドロップアウトよりも効果的であることが判明したアンサンブル技法の重要な欠点も明らかにした。
  論文  参考訳（メタデータ） (2021-04-02T06:02:11Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Forgetting Outside the Box: Scrubbing Deep Networks of Information Accessible from Input-Output Observations [143.3053365553897]
  本稿では、訓練された深層ネットワークからトレーニングデータのコホートへの依存を取り除く手順について述べる。 忘れられたコホートについて,クエリ毎にどれだけの情報を取り出すことができるか,という新たな境界を導入する。 我々は,ニューラルタンジェントカーネルにインスパイアされたDNNのアクティベーションとウェイトダイナミクスの接続を利用して,アクティベーションの情報を計算する。
  論文  参考訳（メタデータ） (2020-03-05T23:17:35Z)
• Hold me tight! Influence of discriminative features on deep network boundaries [63.627760598441796]
  本稿では,データセットの特徴と,サンプルから決定境界までの距離を関連付ける新しい視点を提案する。 これにより、トレーニングサンプルの位置を慎重に調整し、大規模ビジョンデータセットでトレーニングされたCNNの境界における誘発された変化を測定することができる。
  論文  参考訳（メタデータ） (2020-02-15T09:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。