論文の概要: A Robust Backpropagation-Free Framework for Images

• arxiv url: http://arxiv.org/abs/2206.01820v1
• Date: Fri, 3 Jun 2022 21:14:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 17:38:14.446224
• Title: A Robust Backpropagation-Free Framework for Images
• Title（参考訳）: 画像のロバストなバックプロパゲーションフリーフレームワーク
• Authors: Timothy Zee, Alexander G. Ororbia, Ankur Mali, Ifeoma Nwogu
• Abstract要約: 本稿では, 局所的に導出した誤り伝達カーネルとエラーマップを用いて, 畳み込みニューラルネットワーク(CNN)を訓練するための生物学的に妥当なアプローチを提案する。 我々は,Fashion MNIST, CIFAR-10, SVHNベンチマーク上で視覚認識タスクを行うことにより, EKDAAの有効性を示す。 また,識別不能なアクティベーション関数を用いて訓練したCNNについて報告する。
• 参考スコア（独自算出の注目度）: 64.45011329525778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While current deep learning algorithms have been successful for a wide variety of artificial intelligence (AI) tasks, including those involving structured image data, they present deep neurophysiological conceptual issues due to their reliance on the gradients computed by backpropagation of errors (backprop) to obtain synaptic weight adjustments; hence are biologically implausible. We present a more biologically plausible approach, the error-kernel driven activation alignment (EKDAA) algorithm, to train convolution neural networks (CNNs) using locally derived error transmission kernels and error maps. We demonstrate the efficacy of EKDAA by performing the task of visual-recognition on the Fashion MNIST, CIFAR-10 and SVHN benchmarks as well as conducting blackbox robustness tests on adversarial examples derived from these datasets. Furthermore, we also present results for a CNN trained using a non-differentiable activation function. All recognition results nearly matches that of backprop and exhibit greater adversarial robustness compared to backprop.
• Abstract（参考訳）: 現在のディープラーニングアルゴリズムは、構造化画像データを含む多種多様な人工知能(AI)タスクで成功しているが、それらは、エラー(バックプロップ)のバックプロパゲーションによって計算される勾配に依存しているため、深い神経生理学的概念問題を提示し、シナプス的な重量調整を得る。 より生物学的に妥当なアプローチとして、エラーカーネル駆動型アクティベーションアライメントアライメント(EKDAA)アルゴリズムを提案し、局所的に導出されたエラートランスミッションカーネルとエラーマップを用いて畳み込みニューラルネットワーク(CNN)を訓練する。 我々は,Fashion MNIST, CIFAR-10, SVHNベンチマークにおける視覚認識のタスクを実施, およびこれらのデータセットから得られた敵の例に対するブラックボックスロバストネステストを行うことにより, EKDAAの有効性を実証した。 さらに,非微分アクティベーション関数を用いて訓練したCNNの結果も提示する。 すべての認識結果がバックプロップとほぼ一致し、バックプロップに比べて敵意が強い。

関連論文リスト

• DeltaPhi: Learning Physical Trajectory Residual for PDE Solving [54.13671100638092]
  我々は,物理軌道残差学習(DeltaPhi)を提案し,定式化する。 既存のニューラル演算子ネットワークに基づく残差演算子マッピングのサロゲートモデルについて学習する。 直接学習と比較して,PDEの解法には物理残差学習が望ましいと結論づける。
  論文  参考訳（メタデータ） (2024-06-14T07:45:07Z)
• ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
  離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。 このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。 ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
  論文  参考訳（メタデータ） (2023-07-02T21:46:30Z)
• ASU-CNN: An Efficient Deep Architecture for Image Classification and Feature Visualizations [0.0]
  活性化関数はディープニューラルネットワークの能力を決定する上で決定的な役割を果たす。 本稿では,ASU-CNNと呼ばれる畳み込みニューラルネットワークモデルを提案する。 ネットワークは、CIFAR-10の分類のためのトレーニングデータとテストデータの両方において有望な結果を得た。
  論文  参考訳（メタデータ） (2023-05-28T16:52:25Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Learning Discriminative Shrinkage Deep Networks for Image Deconvolution [122.79108159874426]
  本稿では,これらの用語を暗黙的にモデル化する識別的縮小関数を学習することで,効果的に非盲検デコンボリューション手法を提案する。 実験結果から,提案手法は最先端の手法に対して,効率と精度の点で好適に動作することがわかった。
  論文  参考訳（メタデータ） (2021-11-27T12:12:57Z)
• A simple normative network approximates local non-Hebbian learning in the cortex [12.940770779756482]
  神経科学実験は、皮質ニューロンによる感覚入力の処理は、指示信号によって変調されることを示した。 ここでは、規範的なアプローチを採用し、フィードフォワードデータの投影を導く監督的な入力として、これらの命令信号をモデル化する。 オンラインアルゴリズムは、シナプス学習規則が大脳皮質で観察されるカルシウムプラトー電位依存的な可塑性に類似しているニューラルネットワークによって実装することができる。
  論文  参考訳（メタデータ） (2020-10-23T20:49:44Z)
• Self-Organized Operational Neural Networks for Severe Image Restoration Problems [25.838282412957675]
  畳み込みニューラルネットワーク(CNN)に基づく離散学習は、ノイズとクリーンのイメージペアのトレーニング例から学習することで、画像復元を行うことを目的としている。 これは畳み込みに基づく変換の本質的な線形性によるものであり、深刻な復元問題に対処するには不十分である。 画像復元のための自己組織型ONN(Self-ONN)を提案する。
  論文  参考訳（メタデータ） (2020-08-29T02:19:41Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。