論文の概要: Using a novel fractional-order gradient method for CNN back-propagation
- arxiv url: http://arxiv.org/abs/2205.00581v1
- Date: Sun, 1 May 2022 23:38:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-04 00:34:31.340975
- Title: Using a novel fractional-order gradient method for CNN back-propagation
- Title（参考訳）: CNNバックプロパゲーションのための新しい分数次勾配法
- Authors: Mundher Mohammed Taresh, Ningbo Zhu, Talal Ahmed Ali Ali, Mohammed
Alghaili and Weihua Guo
- Abstract要約: 研究者たちは、新しいディープラーニングモデルを提案し、それを新型コロナウイルスの診断に適用する。
モデルは分数計算のツールを使用し、勾配法の性能を向上させる可能性がある。
- 参考スコア（独自算出の注目度）: 1.6679382332181059
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Computer-aided diagnosis tools have experienced rapid growth and development
in recent years. Among all, deep learning is the most sophisticated and popular
tool. In this paper, researchers propose a novel deep learning model and apply
it to COVID-19 diagnosis. Our model uses the tool of fractional calculus, which
has the potential to improve the performance of gradient methods. To this end,
the researcher proposes a fractional-order gradient method for the
back-propagation of convolutional neural networks based on the Caputo
definition. However, if only the first term of the infinite series of the
Caputo definition is used to approximate the fractional-order derivative, the
length of the memory is truncated. Therefore, the fractional-order gradient
(FGD) method with a fixed memory step and an adjustable number of terms is used
to update the weights of the layers. Experiments were performed on the COVIDx
dataset to demonstrate fast convergence, good accuracy, and the ability to
bypass the local optimal point. We also compared the performance of the
developed fractional-order neural networks and Integer-order neural networks.
The results confirmed the effectiveness of our proposed model in the diagnosis
of COVID-19.
- Abstract（参考訳）: 近年,コンピュータ支援診断ツールの開発が急速に進んでいる。
中でもディープラーニングが最も洗練され、人気のあるツールです。
本稿では,新しい深層学習モデルを提案し,それを新型コロナウイルスの診断に応用する。
本モデルは,勾配法の性能向上の可能性を秘めた分数計算ツールを用いている。
そこで本研究では,caputo定義に基づく畳み込みニューラルネットワークのバックプロパゲーションのための分数次勾配法を提案する。
しかし、カプト定義の無限級数の最初の項が分数次微分を近似するためにのみ使われる場合、メモリの長さは縮まる。
したがって、固定メモリステップと調整可能な項数を有する分数次勾配(FGD)法を用いて、各層の重みを更新する。
COVIDxデータセット上で、高速収束、良好な精度、局所最適点をバイパスする能力を示す実験が行われた。
また,開発した分数次ニューラルネットワークと整数次ニューラルネットワークの性能を比較検討した。
その結果,新型コロナウイルスの診断における提案モデルの有効性が確認された。
関連論文リスト
- Fractional-order spike-timing-dependent gradient descent for multi-layer spiking neural networks [18.142378139047977]
本稿では,数次スパイクタイピング依存勾配勾配(FOSTDGD)学習モデルを提案する。
TheNISTとDVS128 Gestureデータセットでテストし、その精度を異なるネットワーク構造と分数順序で分析する。
論文 参考訳（メタデータ） (2024-10-20T05:31:34Z) - An Explainable Deep Learning-Based Method For Schizophrenia Diagnosis Using Generative Data-Augmentation [0.3222802562733786]
脳波記録を用いた統合失調症の自動診断にディープラーニングを用いた手法を応用した。
このアプローチは、診断の精度を高める強力な手法である生成データ拡張を利用する。
論文 参考訳（メタデータ） (2023-10-25T12:55:16Z) - Low-rank extended Kalman filtering for online learning of neural
networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。
この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。
変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文 参考訳（メタデータ） (2023-05-31T03:48:49Z) - A Bootstrap Algorithm for Fast Supervised Learning [0.0]
ニューラルネットワーク(NN)のトレーニングは通常、勾配降下(および勾配降下(SGD))、ADADELTA、ADAM、制限メモリアルゴリズムなど、ある種の曲線追従手法に依存する。
これらのアルゴリズムの収束は通常、高いレベルの精度を達成するために大量の観測にアクセスできることに依存しており、特定の種類の関数で、これらのアルゴリズムはキャッチするデータポイントの複数のエポックを取ることができる。
ここでは、収束速度が劇的に向上する可能性を秘めている別の手法を探求する: カーブフォローではなく、隠れた層を「疎結合」することなどに依存する。
論文 参考訳（メタデータ） (2023-05-04T18:28:18Z) - Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳（メタデータ） (2022-10-13T15:09:54Z) - Deep Manifold Learning with Graph Mining [80.84145791017968]
グラフマイニングのための非段階的決定層を持つ新しいグラフ深層モデルを提案する。
提案モデルでは,現行モデルと比較して最先端性能を実現している。
論文 参考訳（メタデータ） (2022-07-18T04:34:08Z) - Invariance Learning in Deep Neural Networks with Differentiable Laplace
Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。
我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文 参考訳（メタデータ） (2022-02-22T02:51:11Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳（メタデータ） (2021-12-04T18:07:47Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T06:39:13Z) - Research of Damped Newton Stochastic Gradient Descent Method for Neural
Network Training [6.231508838034926]
勾配降下(SGD)のような一階法は、最近ディープニューラルネットワーク(DNN)を訓練するための一般的な最適化方法です。
本稿では、平均二乗誤差(MSE)の回帰問題とクロスエントロピー損失(CEL)の分類問題に対するDNNの訓練方法として、DN-SGD(Damped Newton Descent)とGGD-DN(Gradient Descent Damped Newton)を提案する。
提案手法はパラメータのごく一部を正確に計算し,計算コストを大幅に削減し,sgdよりも高速かつ高精度な学習プロセスを実現する。
論文 参考訳（メタデータ） (2021-03-31T02:07:18Z) - COVID-CLNet: COVID-19 Detection with Compressive Deep Learning
Approaches [0.0]
本稿ではCTスキャン画像を用いたコンピュータ支援検出システムを提案する。
この強化されたディープラーニングネットワーク(CLNet)は、ディープラーニング(DL)ネットワークの実装に基づいている。
異なる圧縮方法で行われた実験は、新型コロナウイルス検出の有望な結果を示している。
論文 参考訳（メタデータ） (2020-12-03T19:56:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。