論文の概要: Comprehensive Survey of Complex-Valued Neural Networks: Insights into Backpropagation and Activation Functions
- arxiv url: http://arxiv.org/abs/2407.19258v1
- Date: Sat, 27 Jul 2024 13:47:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-30 19:11:23.386081
- Title: Comprehensive Survey of Complex-Valued Neural Networks: Insights into Backpropagation and Activation Functions
- Title（参考訳）: 複合価値ニューラルネットワークの包括的調査:バックプロパゲーションとアクティベーション機能の考察
- Authors: M. M. Hammad,
- Abstract要約: 現在のANNフレームワークにおける実数実装の普及にもかかわらず、複素数を利用するANNの開発への関心が高まっている。
本稿では,複雑評価ニューラルネットワーク(CVNN)の最近の進歩について述べる。
複雑な入力、重み、AF、出力を含むニューラルネットワークのトレーニングを可能にする、バックプロパゲーションアルゴリズムの複雑な領域への拡張を探索する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Artificial neural networks (ANNs), particularly those employing deep learning models, have found widespread application in fields such as computer vision, signal processing, and wireless communications, where complex numbers are crucial. Despite the prevailing use of real-number implementations in current ANN frameworks, there is a growing interest in developing ANNs that utilize complex numbers. This paper presents a comprehensive survey of recent advancements in complex-valued neural networks (CVNNs), focusing on their activation functions (AFs) and learning algorithms. We delve into the extension of the backpropagation algorithm to the complex domain, which enables the training of neural networks with complex-valued inputs, weights, AFs, and outputs. This survey considers three complex backpropagation algorithms: the complex derivative approach, the partial derivatives approach, and algorithms incorporating the Cauchy-Riemann equations. A significant challenge in CVNN design is the identification of suitable nonlinear Complex Valued Activation Functions (CVAFs), due to the conflict between boundedness and differentiability over the entire complex plane as stated by Liouville theorem. We examine both fully complex AFs, which strive for boundedness and differentiability, and split AFs, which offer a practical compromise despite not preserving analyticity. This review provides an in-depth analysis of various CVAFs essential for constructing effective CVNNs. Moreover, this survey not only offers a comprehensive overview of the current state of CVNNs but also contributes to ongoing research and development by introducing a new set of CVAFs (fully complex, split and complex amplitude-phase AFs).
- Abstract（参考訳）: 人工知能ニューラルネットワーク(ANN)、特にディープラーニングモデルを採用するものは、複雑な数値が不可欠であるコンピュータビジョン、信号処理、無線通信などの分野に広く応用されている。
現在のANNフレームワークにおける実数実装の普及にもかかわらず、複素数を利用するANNの開発への関心が高まっている。
本稿では,複雑評価ニューラルネットワーク(CVNN)の最近の進歩を包括的に調査し,その活性化機能(AF)と学習アルゴリズムに着目した。
複雑な入力、重み、AF、出力を含むニューラルネットワークのトレーニングを可能にする、バックプロパゲーションアルゴリズムの複雑な領域への拡張を探索する。
この調査では、複素微分法、偏微分法、コーシー・リーマン方程式を取り入れたアルゴリズムの3つの複雑なバックプロパゲーションアルゴリズムを考察した。
CVNN設計における重要な課題は、リウヴィルの定理で述べられているような複素平面全体に対する有界性と微分可能性の相違による、適切な非線形複素値活性化関数(CVAF)の同定である。
本研究では,有界性と微分可能性を求める完全複雑AFと,解析性を保たないにもかかわらず現実的な妥協を提供する分割AFについて検討する。
本総説では, CVNN構築に不可欠な各種CVAFの詳細な分析を行う。
さらに,本調査はCVNNの現状を概観するだけでなく,新たなCVAF(完全複雑・分裂・複雑振幅相AF)の導入による研究・開発にも貢献する。
関連論文リスト
- Optimizing cnn-Bigru performance: Mish activation and comparative analysis with Relu [0.0]
アクティベーション関数(AF)はニューラルネットワークの基本コンポーネントであり、データ内の複雑なパターンや関係をキャプチャすることができる。
本研究は, 侵入検知システムの性能向上におけるAFの有効性を照らすものである。
論文 参考訳（メタデータ） (2024-05-30T21:48:56Z) - Complex-valued Neural Networks -- Theory and Analysis [0.0]
この研究はCVNNの異なる構造と分類に対処する。
複素アクティベーション関数の背景にある理論、複素微分可能性に関する意味、CVNN出力層に対する特別なアクティベーションについて述べる。
本研究の目的は,CVNNのダイナミクスと最近の発展を理解することである。
論文 参考訳（メタデータ） (2023-12-11T03:24:26Z) - On the Computational Complexities of Complex-valued Neural Networks [0.0]
複素数値ニューラルネットワーク(CVNN)は、複素領域データのデジタル信号処理に使用される非線形フィルタである。
本稿では,CVNNの量的および計算的複雑さについて述べる。
論文 参考訳（メタデータ） (2023-10-19T18:14:04Z) - Theory and Implementation of Complex-Valued Neural Networks [9.6556424340252]
この研究は複雑価値ニューラルネットワーク(CVNN)の背後にある理論を詳細に説明している。
Wirtinger計算、複雑なバックプロパゲーション、複雑な層のような基本的なモジュールが含まれる。
また、実数値データ上でシミュレーションを行い、ヒルベルト変換を用いて複素領域にキャストし、非複素データに対してもCVNNの可能性を検証する。
論文 参考訳（メタデータ） (2023-02-16T13:31:10Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳（メタデータ） (2022-04-21T05:27:09Z) - Spectral Complexity-scaled Generalization Bound of Complex-valued Neural
Networks [78.64167379726163]
本論文は,複素数値ニューラルネットワークの一般化を証明した最初の論文である。
複雑な値の畳み込みニューラルネットワークを異なるデータセット上でトレーニングして実験を行う。
論文 参考訳（メタデータ） (2021-12-07T03:25:25Z) - A Survey of Complex-Valued Neural Networks [4.211128681972148]
人工知能ニューラルネットワーク(ANN)ベースの機械学習モデルは、コンピュータビジョン、信号処理、無線通信など多くの分野に広く応用されている。
ANNや機械学習フレームワークの現在の実装のほとんどは、複素数ではなく実数を使っている。
複雑な数値を使用してANNを構築することへの関心が高まっており、実際の価値を持つニューラルネットワークよりも、いわゆるCVNN(complex-valued Neural Network)の潜在的なアドバンテージを探っている。
論文 参考訳（メタデータ） (2021-01-28T19:40:50Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳（メタデータ） (2020-11-09T18:32:22Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳（メタデータ） (2020-06-16T07:38:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。