論文の概要: Targeted Activation Penalties Help CNNs Ignore Spurious Signals

• arxiv url: http://arxiv.org/abs/2311.12813v2
• Date: Sun, 17 Dec 2023 22:12:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 19:34:04.139368
• Title: Targeted Activation Penalties Help CNNs Ignore Spurious Signals
• Title（参考訳）: 違法な信号に注意を喚起するCNN
• Authors: Dekai Zhang, Matthew Williams, Francesca Toni
• Abstract要約: ニューラルネットワーク(NN)は、トレーニングデータ内の刺激的な信号に頼ることを学ぶことができ、一般化が不十分になる。 近年の手法では、これらの信号の接地的アノテーションを付加してNNを訓練することでこの問題に対処している。 深部CNNにおけるスプリアス信号の再帰を制御するために,アクティベーションを解析し,同じ問題に対処する新たな手法であるTargeted Activation Penalty (TAP)を提案する。
• 参考スコア（独自算出の注目度）: 12.563917241684566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks (NNs) can learn to rely on spurious signals in the training data, leading to poor generalisation. Recent methods tackle this problem by training NNs with additional ground-truth annotations of such signals. These methods may, however, let spurious signals re-emerge in deep convolutional NNs (CNNs). We propose Targeted Activation Penalty (TAP), a new method tackling the same problem by penalising activations to control the re-emergence of spurious signals in deep CNNs, while also lowering training times and memory usage. In addition, ground-truth annotations can be expensive to obtain. We show that TAP still works well with annotations generated by pre-trained models as effective substitutes of ground-truth annotations. We demonstrate the power of TAP against two state-of-the-art baselines on the MNIST benchmark and on two clinical image datasets, using four different CNN architectures.
• Abstract（参考訳）: ニューラルネットワーク(nns)は、トレーニングデータ内のスプリアス信号に依存することを学び、一般化を損なう。 近年の手法では、これらの信号の接地的アノテーションを追加してNNを訓練することでこの問題に対処している。 しかし、これらの方法では、深層畳み込みnn(cnns)にスプリアス信号が再出現する可能性がある。 我々は,深部CNNにおける刺激信号の再帰を制御し,トレーニング時間とメモリ使用量を低減し,同じ問題に対処する新たな手法であるTargeted Activation Penalty (TAP)を提案する。 また、地味な注釈を得るのにも費用がかかる。 我々は,TAPがまだ,事前訓練されたモデルによって生成されたアノテーションと相性が良いことを示す。 我々は,4つのCNNアーキテクチャを用いて,MNISTベンチマークと2つの臨床画像データセットに基づく2つの最先端ベースラインに対するTAPのパワーを実証した。

関連論文リスト

• Purification Of Contaminated Convolutional Neural Networks Via Robust Recovery: An Approach with Theoretical Guarantee in One-Hidden-Layer Case [5.440741013576148]
  畳み込みニューラルネットワーク(CNN)は多くの機械学習タスクにおいて優れたパフォーマンスを実現している。 CNNは、自然騒音や、バックドア攻撃のような人工的に注入された騒音によって容易に汚染される。 汚染される可能性のあるCNNからノイズを取り除くための頑健なリカバリ手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T02:43:23Z)
• Dynamics-Aware Loss for Learning with Label Noise [73.75129479936302]
  ディープニューラルネットワーク(DNN)にラベルノイズが深刻な脅威をもたらす 本稿では,この問題を解決するためにDAL(Dynamics-Aware Los)を提案する。 詳細な理論的解析と広範な実験結果の両方が,本手法の優位性を示している。
  論文  参考訳（メタデータ） (2023-03-21T03:05:21Z)
• Unfolding Local Growth Rate Estimates for (Almost) Perfect Adversarial Detection [22.99930028876662]
  畳み込みニューラルネットワーク(CNN)は、多くの知覚的タスクにおける最先端のソリューションを定義する。 現在のCNNアプローチは、システムを騙すために特別に作られた入力の敵の摂動に対して脆弱なままである。 本稿では,ネットワークの局所固有次元(LID)と敵攻撃の関係について,最近の知見を生かした,シンプルで軽量な検出器を提案する。
  論文  参考訳（メタデータ） (2022-12-13T17:51:32Z)
• Semi-supervised Impedance Inversion by Bayesian Neural Network Based on 2-d CNN Pre-training [0.966840768820136]
  我々は2つの側面から半教師付き学習を改善する。 まず、ディープラーニング構造における1次元畳み込みニューラルネットワーク層を2次元CNN層と2次元マックスプール層に置き換えることで、予測精度を向上させる。 第二に、ベイズ推論フレームワークにネットワークを埋め込むことで予測の不確実性を推定することもできる。
  論文  参考訳（メタデータ） (2021-11-20T14:12:05Z)
• BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
  CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。 結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
  論文  参考訳（メタデータ） (2021-03-14T20:43:19Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Exploiting Vulnerability of Pooling in Convolutional Neural Networks by Strict Layer-Output Manipulation for Adversarial Attacks [7.540176446791261]
  畳み込みニューラルネットワーク(CNN)は、インテリジェント車両などの移動ロボットにますます適用されています。 ロボットアプリケーションにおけるCNNのセキュリティは重要な問題であり、CNNに対する潜在的な敵対攻撃は研究に値する。 本稿では,ネットワーク構造の観点から,プールの脆弱性を調査し,活用することで,CNNに対する敵対攻撃を行う。
  論文  参考訳（メタデータ） (2020-12-21T15:18:41Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Cooling-Shrinking Attack: Blinding the Tracker with Imperceptible Noises [87.53808756910452]
  The method is proposed to deceive-of-the-the-art SiameseRPN-based tracker。 本手法は転送性に優れ,DaSiamRPN,DaSiamRPN-UpdateNet,DiMPなどの他のトップパフォーマンストラッカーを騙すことができる。
  論文  参考訳（メタデータ） (2020-03-21T07:13:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。