論文の概要: A Robust Backpropagation-Free Framework for Images

• arxiv url: http://arxiv.org/abs/2206.01820v2
• Date: Sun, 5 Nov 2023 18:59:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 01:54:18.555036
• Title: A Robust Backpropagation-Free Framework for Images
• Title（参考訳）: 画像のロバストなバックプロパゲーションフリーフレームワーク
• Authors: Timothy Zee, Alexander G. Ororbia, Ankur Mali, Ifeoma Nwogu
• Abstract要約: 画像データに対するエラーカーネル駆動型アクティベーションアライメントアルゴリズムを提案する。 EKDAAは、ローカルに派生したエラー送信カーネルとエラーマップを導入することで達成される。 結果は、識別不能なアクティベーション機能を利用するEKDAAトレーニングCNNに対して提示される。
• 参考スコア（独自算出の注目度）: 47.97322346441165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While current deep learning algorithms have been successful for a wide variety of artificial intelligence (AI) tasks, including those involving structured image data, they present deep neurophysiological conceptual issues due to their reliance on the gradients that are computed by backpropagation of errors (backprop). Gradients are required to obtain synaptic weight adjustments but require knowledge of feed-forward activities in order to conduct backward propagation, a biologically implausible process. This is known as the "weight transport problem". Therefore, in this work, we present a more biologically plausible approach towards solving the weight transport problem for image data. This approach, which we name the error kernel driven activation alignment (EKDAA) algorithm, accomplishes through the introduction of locally derived error transmission kernels and error maps. Like standard deep learning networks, EKDAA performs the standard forward process via weights and activation functions; however, its backward error computation involves adaptive error kernels that propagate local error signals through the network. The efficacy of EKDAA is demonstrated by performing visual-recognition tasks on the Fashion MNIST, CIFAR-10 and SVHN benchmarks, along with demonstrating its ability to extract visual features from natural color images. Furthermore, in order to demonstrate its non-reliance on gradient computations, results are presented for an EKDAA trained CNN that employs a non-differentiable activation function.
• Abstract（参考訳）: 現在のディープラーニングアルゴリズムは、構造化画像データを含むさまざまな人工知能(AI)タスクで成功しているが、それらは、エラーのバックプロパゲーション(backprop)によって計算される勾配に依存するため、深い神経生理学的概念の問題を提示している。 勾配はシナプスの重量調整を得るために必要であるが、生物学的に有望なプロセスである後方伝播を行うためにフィードフォワード活性の知識を必要とする。 これは「重量輸送問題」として知られている。 そこで本研究では,画像データの重量輸送問題に対する生物学的に妥当なアプローチを提案する。 提案手法は,エラーカーネル駆動型アクティベーションアライメントアライメント(EKDAA)アルゴリズムと呼ばれ,局所的に派生したエラー伝送カーネルとエラーマップの導入によって実現される。 標準的なディープラーニングネットワークと同様に、EKDAAは重み付けとアクティベーション機能を通じて標準的なフォワード処理を実行するが、その後方エラー計算は、ネットワークを介してローカルエラー信号を伝播する適応エラーカーネルを含む。 EKDAAの有効性は、Fashion MNIST、CIFAR-10、SVHNベンチマークで視覚認識タスクを実行し、自然色画像から視覚的特徴を抽出する能力を示すことで実証される。 さらに、勾配計算の非依存性を示すために、非微分アクティベーション関数を用いたEKDAA訓練CNNについて結果を示す。

関連論文リスト

• DeltaPhi: Learning Physical Trajectory Residual for PDE Solving [54.13671100638092]
  我々は,物理軌道残差学習(DeltaPhi)を提案し,定式化する。 既存のニューラル演算子ネットワークに基づく残差演算子マッピングのサロゲートモデルについて学習する。 直接学習と比較して,PDEの解法には物理残差学習が望ましいと結論づける。
  論文  参考訳（メタデータ） (2024-06-14T07:45:07Z)
• ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
  離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。 このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。 ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
  論文  参考訳（メタデータ） (2023-07-02T21:46:30Z)
• ASU-CNN: An Efficient Deep Architecture for Image Classification and Feature Visualizations [0.0]
  活性化関数はディープニューラルネットワークの能力を決定する上で決定的な役割を果たす。 本稿では,ASU-CNNと呼ばれる畳み込みニューラルネットワークモデルを提案する。 ネットワークは、CIFAR-10の分類のためのトレーニングデータとテストデータの両方において有望な結果を得た。
  論文  参考訳（メタデータ） (2023-05-28T16:52:25Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Learning Discriminative Shrinkage Deep Networks for Image Deconvolution [122.79108159874426]
  本稿では,これらの用語を暗黙的にモデル化する識別的縮小関数を学習することで,効果的に非盲検デコンボリューション手法を提案する。 実験結果から,提案手法は最先端の手法に対して,効率と精度の点で好適に動作することがわかった。
  論文  参考訳（メタデータ） (2021-11-27T12:12:57Z)
• A simple normative network approximates local non-Hebbian learning in the cortex [12.940770779756482]
  神経科学実験は、皮質ニューロンによる感覚入力の処理は、指示信号によって変調されることを示した。 ここでは、規範的なアプローチを採用し、フィードフォワードデータの投影を導く監督的な入力として、これらの命令信号をモデル化する。 オンラインアルゴリズムは、シナプス学習規則が大脳皮質で観察されるカルシウムプラトー電位依存的な可塑性に類似しているニューラルネットワークによって実装することができる。
  論文  参考訳（メタデータ） (2020-10-23T20:49:44Z)
• Self-Organized Operational Neural Networks for Severe Image Restoration Problems [25.838282412957675]
  畳み込みニューラルネットワーク(CNN)に基づく離散学習は、ノイズとクリーンのイメージペアのトレーニング例から学習することで、画像復元を行うことを目的としている。 これは畳み込みに基づく変換の本質的な線形性によるものであり、深刻な復元問題に対処するには不十分である。 画像復元のための自己組織型ONN(Self-ONN)を提案する。
  論文  参考訳（メタデータ） (2020-08-29T02:19:41Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。