論文の概要: A Novel Paradigm for Neural Computation: X-Net with Learnable Neurons
and Adaptable Structure
- arxiv url: http://arxiv.org/abs/2401.01772v1
- Date: Wed, 3 Jan 2024 14:52:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-04 13:44:26.284200
- Title: A Novel Paradigm for Neural Computation: X-Net with Learnable Neurons
and Adaptable Structure
- Title(参考訳): ニューラル計算の新しいパラダイム:学習可能なニューロンと適応可能な構造を持つx-net
- Authors: Yanjie Li, Weijun Li, Lina Yu, Min Wu, Jinyi Liu, Wenqiang Li, Meilan
Hao
- Abstract要約: 本研究では,X-Netと呼ばれる新しいニューラルネットワークを提案する。
設計した代替バックプロパゲーション機構を利用することで、X-Netは適切なアクティベーション関数を動的に選択する。
モデルサイズを削減し、表現力を向上させるという点で、X-Netの2つの利点を実証する。
- 参考スコア(独自算出の注目度): 14.030230296834382
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial neural networks (ANNs) have permeated various disciplinary
domains, ranging from bioinformatics to financial analytics, where their
application has become an indispensable facet of contemporary scientific
research endeavors. However, the inherent limitations of traditional neural
networks arise due to their relatively fixed network structures and activation
functions. 1, The type of activation function is single and relatively fixed,
which leads to poor "unit representation ability" of the network, and it is
often used to solve simple problems with very complex networks; 2, the network
structure is not adaptive, it is easy to cause network structure redundant or
insufficient. To address the aforementioned issues, this study proposes a novel
neural network called X-Net. By utilizing our designed Alternating
Backpropagation mechanism, X-Net dynamically selects appropriate activation
functions based on derivative information during training to enhance the
network's representation capability for specific tasks. Simultaneously, it
accurately adjusts the network structure at the neuron level to accommodate
tasks of varying complexities and reduce computational costs. Through a series
of experiments, we demonstrate the dual advantages of X-Net in terms of
reducing model size and improving representation power. Specifically, in terms
of the number of parameters, X-Net is only 3$\%$ of baselines on average, and
only 1.4$\%$ under some tasks. In terms of representation ability, X-Net can
achieve an average $R^2$=0.985 on the fitting task by only optimizing the
activation function without introducing any parameters. Finally, we also tested
the ability of X-Net to help scientific discovery on data from multiple
disciplines such as society, energy, environment, and aerospace, and achieved
concise and good results.
- Abstract(参考訳): 人工ニューラルネットワーク(ANN)は、バイオインフォマティクスから金融分析まで、様々な分野に浸透し、現代の科学研究の取り組みにとって欠かせない側面となっている。
しかしながら、従来のニューラルネットワークの固有の制限は、比較的固定されたネットワーク構造とアクティベーション関数によって生じる。
1 アクティベーション関数のタイプは単一であり、比較的固定されており、ネットワークの「単位表現能力」が不十分であり、非常に複雑なネットワークで単純な問題を解決するためによく用いられる。
上記の問題に対処するため,本研究では,X-Netと呼ばれる新しいニューラルネットワークを提案する。
設計した交互バックプロパゲーション機構を利用することで,学習中のデリバティブ情報に基づく適切なアクティベーション関数を動的に選択し,特定のタスクに対するネットワークの表現能力を向上する。
同時に、ニューロンレベルでネットワーク構造を正確に調整し、様々な複雑さのタスクに対応し、計算コストを削減する。
実験により,モデルサイズの削減と表現力の向上の観点から,X-Netの2つの利点を実証した。
具体的には、パラメータの数に関して、X-Net は平均で 3$\%$ のベースラインしか持たず、あるタスクでは 1.4$\%$ しか持たない。
表現能力の面では、X-Netはパラメータを導入せずにアクティベーション関数を最適化することで、フィッティングタスクで平均$R^2$=0.985を達成することができる。
最後に, 社会, エネルギー, 環境, 航空宇宙などの複数の分野のデータから科学的な発見を支援するためのX-Netの能力についても検証し, 簡潔で良好な結果を得た。
関連論文リスト
- Linear Neural Network Layers Promote Learning Single- and Multiple-Index
Models [9.984696742463628]
我々のフレームワークは、すべて同じキャパシティを持つが、暗黙的に定義された表現コストを持つ、様々な深さのネットワーク群を考察する。
この結果から,ReLUネットワークに線形層を追加することで,低ランク線形演算子で近似可能な関数を求める表現コストが得られることがわかった。
論文 参考訳(メタデータ) (2023-05-24T22:10:12Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳(メタデータ) (2022-08-08T03:13:24Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳(メタデータ) (2022-06-22T23:33:39Z) - Functional Network: A Novel Framework for Interpretability of Deep
Neural Networks [2.641939670320645]
本稿では,深層ニューラルネットワーク,すなわち関数型ネットワークの解釈可能性に関する新しい枠組みを提案する。
本実験では, バッチ正規化とドロップアウトという正則化手法のメカニズムを明らかにした。
論文 参考訳(メタデータ) (2022-05-24T01:17:36Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳(メタデータ) (2022-01-11T20:53:15Z) - It's Hard for Neural Networks To Learn the Game of Life [4.061135251278187]
最近の研究では、ニューラルネットワークは、ソリューションに迅速に収束する"ロテリチケット"のラッキーな初期重みに依存していることが示唆されている。
本研究では,2次元セル・オートマトン・コンウェイのゲーム・オブ・ライフのn段階を予測するために訓練された小さな畳み込みネットワークについて検討する。
このタスクでトレーニングされたこのアーキテクチャのネットワークは、ほとんど収束しない。
論文 参考訳(メタデータ) (2020-09-03T00:47:08Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - Graph Neural Networks for Scalable Radio Resource Management:
Architecture Design and Theoretical Analysis [31.372548374969387]
本稿では,大規模無線資源管理問題にグラフニューラルネットワーク(GNN)を適用することを提案する。
提案手法はスケーラビリティが高く,1つのGPU上で1,000ドルのトランシーバペアを6ミリ秒以内で行う干渉チャネルにおけるビームフォーミング問題を解くことができる。
論文 参考訳(メタデータ) (2020-07-15T11:43:32Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - ReActNet: Towards Precise Binary Neural Network with Generalized
Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。
まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。
提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文 参考訳(メタデータ) (2020-03-07T02:12:02Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳(メタデータ) (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。