論文の概要: DDDM: a Brain-Inspired Framework for Robust Classification
- arxiv url: http://arxiv.org/abs/2205.10117v1
- Date: Sun, 1 May 2022 06:49:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-06 09:05:12.351424
- Title: DDDM: a Brain-Inspired Framework for Robust Classification
- Title(参考訳): DDDM:ロバスト分類のためのブレインインスパイアされたフレームワーク
- Authors: Xiyuan Chen, Xingyu Li, Yi Zhou, Tianming Yang
- Abstract要約: 深層人工ニューラルネットワークは入力ノイズ、特に敵の摂動に敏感である。
本稿では,任意のニューラルネットワークのロバスト性を改善するために,テストフェーズドロップアウトとドリフト拡散モデルを組み合わせたDropout-Diffusionモデルを提案する。
- 参考スコア(独自算出の注目度): 8.516472261110117
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite their outstanding performance in a broad spectrum of real-world
tasks, deep artificial neural networks are sensitive to input noises,
particularly adversarial perturbations. On the contrary, human and animal
brains are much less vulnerable. In contrast to the one-shot inference
performed by most deep neural networks, the brain often solves decision-making
with an evidence accumulation mechanism that may trade time for accuracy when
facing noisy inputs. The mechanism is well described by the Drift-Diffusion
Model (DDM). In the DDM, decision-making is modeled as a process in which noisy
evidence is accumulated toward a threshold. Drawing inspiration from the DDM,
we propose the Dropout-based Drift-Diffusion Model (DDDM) that combines
test-phase dropout and the DDM for improving the robustness for arbitrary
neural networks. The dropouts create temporally uncorrelated noises in the
network that counter perturbations, while the evidence accumulation mechanism
guarantees a reasonable decision accuracy. Neural networks enhanced with the
DDDM tested in image, speech, and text classification tasks all significantly
outperform their native counterparts, demonstrating the DDDM as a task-agnostic
defense against adversarial attacks.
- Abstract(参考訳): 現実世界のタスクの幅広い範囲における優れたパフォーマンスにもかかわらず、深層ニューラルネットワークは入力ノイズ、特に敵の摂動に敏感である。
反対に、人間と動物の脳はずっと脆弱です。
ほとんどのディープニューラルネットワークが行うワンショット推論とは対照的に、脳は、ノイズのある入力に直面した時に正確さのために時間を交換するエビデンス蓄積機構を用いて意思決定を解決する。
このメカニズムはドリフト拡散モデル(ddm)によってよく説明されている。
DDMでは、ノイズのある証拠をしきい値に向けて蓄積するプロセスとして意思決定がモデル化される。
ddmからインスピレーションを得て,テストフェーズドロップアウトとddmを組み合わせたドリフト拡散モデル(dddm)を提案し,任意のニューラルネットワークのロバスト性を改善する。
ドロップアウトは、摂動に対抗するネットワーク内の時間的非相関なノイズを生成し、証拠蓄積機構は合理的な決定精度を保証する。
画像、音声、テキスト分類タスクでテストされたDDDMで強化されたニューラルネットワークは、ネイティブタスクよりも大幅に優れており、DDDMは敵攻撃に対するタスク非依存の防御であることを示した。
関連論文リスト
- Fixed Inter-Neuron Covariability Induces Adversarial Robustness [26.878913741674058]
敵対的摂動の脆弱性はディープニューラルネットワーク(DNN)の重大な欠陥である
我々は,各ニューロンが固定された,しかし学習された共変性パターンに従うように,活性化が互いに一致したニューロンからなる自己持続活性化層を開発した。
SCA層を持つモデルは高い精度を達成し、対向的な摂動データでトレーニングされることなく、最先端のAuto-PGD攻撃に対して多層パーセプトロンモデルよりもはるかに堅牢性を示した。
論文 参考訳(メタデータ) (2023-08-07T23:46:14Z) - Beyond Pretrained Features: Noisy Image Modeling Provides Adversarial
Defense [52.66971714830943]
マスク付き画像モデリング(MIM)は、自己教師付き視覚表現学習のフレームワークとして普及している。
本稿では,この強力な自己教師型学習パラダイムが,下流の分類器に対して対角的ロバスト性を提供する方法について検討する。
本稿では,デノナイジングのためのデコーダを用いて,デノナイジングのための対角防御手法を提案する。
論文 参考訳(メタデータ) (2023-02-02T12:37:24Z) - Axonal Delay As a Short-Term Memory for Feed Forward Deep Spiking Neural
Networks [3.985532502580783]
近年の研究では、学習過程において神経細胞の時間遅延が重要な役割を担っていることが判明している。
スパイクの正確なタイミングを設定することは、SNNにおける時間情報の伝達過程を理解し改善するための有望な方向である。
本稿では,教師付き学習に時間遅延を統合することの有効性を検証するとともに,短期記憶による軸索遅延を変調するモジュールを提案する。
論文 参考訳(メタデータ) (2022-04-20T16:56:42Z) - SUMO: Advanced sleep spindle identification with neural networks [0.0]
睡眠時スピンドルを自動的に検出するU-Net型ディープニューラルネットワークモデルを提案する。
我々のモデルの性能は、最先端の検出器とMODAデータセットのほとんどの専門家を上回る。
論文 参考訳(メタデータ) (2022-02-06T11:35:47Z) - Denoised Internal Models: a Brain-Inspired Autoencoder against
Adversarial Attacks [14.369147329131255]
Denoized Internal Models (DIM) は、この課題に取り組むための新しい自動エンコーダベースのモデルである。
脳科学の最近の進歩に触発されて、我々はこの課題に取り組むための新しい生成自己エンコーダベースのモデルであるDIMを提案する。
敵攻撃42回以上のDIMを評価し, DIMは全攻撃に対して効果的に防御し, 総合的堅牢性ではSOTAよりも優れていた。
論文 参考訳(メタデータ) (2021-11-21T15:46:30Z) - Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。
本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。
画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
論文 参考訳(メタデータ) (2021-06-18T16:34:23Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳(メタデータ) (2021-02-23T20:59:30Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳(メタデータ) (2021-02-15T08:19:05Z) - Adversarial Robustness Study of Convolutional Neural Network for Lumbar
Disk Shape Reconstruction from MR images [1.2809525640002362]
本研究では, 腰椎MR画像から腰椎椎間板形状を再構成するための代表的CNNのin-distriion (IND) とout-of-distriion (OOD) の対向性について検討した。
以上の結果から, IND対人訓練は, IND対人攻撃に対するCNNのロバスト性を向上し, より大きなトレーニングデータセットがIND対人攻撃のロバスト性を高める可能性が示唆された。
論文 参考訳(メタデータ) (2021-02-04T20:57:49Z) - Neural Networks with Recurrent Generative Feedback [61.90658210112138]
畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する
実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
論文 参考訳(メタデータ) (2020-07-17T19:32:48Z) - Learn2Perturb: an End-to-end Feature Perturbation Learning to Improve
Adversarial Robustness [79.47619798416194]
Learn2Perturbは、ディープニューラルネットワークの対角的堅牢性を改善するために、エンドツーエンドの機能摂動学習アプローチである。
予測最大化にインスパイアされ、ネットワークと雑音パラメータを連続的にトレーニングするために、交互にバックプロパゲーショントレーニングアルゴリズムが導入された。
論文 参考訳(メタデータ) (2020-03-02T18:27:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。