論文の概要: A Novel Paradigm for Neural Computation: X-Net with Learnable Neurons and Adaptable Structure

• arxiv url: http://arxiv.org/abs/2401.01772v1
• Date: Wed, 3 Jan 2024 14:52:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-04 13:44:26.284200
• Title: A Novel Paradigm for Neural Computation: X-Net with Learnable Neurons and Adaptable Structure
• Title（参考訳）: ニューラル計算の新しいパラダイム:学習可能なニューロンと適応可能な構造を持つx-net
• Authors: Yanjie Li, Weijun Li, Lina Yu, Min Wu, Jinyi Liu, Wenqiang Li, Meilan Hao
• Abstract要約: 本研究では,X-Netと呼ばれる新しいニューラルネットワークを提案する。 設計した代替バックプロパゲーション機構を利用することで、X-Netは適切なアクティベーション関数を動的に選択する。 モデルサイズを削減し、表現力を向上させるという点で、X-Netの2つの利点を実証する。
• 参考スコア（独自算出の注目度）: 14.030230296834382
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial neural networks (ANNs) have permeated various disciplinary domains, ranging from bioinformatics to financial analytics, where their application has become an indispensable facet of contemporary scientific research endeavors. However, the inherent limitations of traditional neural networks arise due to their relatively fixed network structures and activation functions. 1, The type of activation function is single and relatively fixed, which leads to poor "unit representation ability" of the network, and it is often used to solve simple problems with very complex networks; 2, the network structure is not adaptive, it is easy to cause network structure redundant or insufficient. To address the aforementioned issues, this study proposes a novel neural network called X-Net. By utilizing our designed Alternating Backpropagation mechanism, X-Net dynamically selects appropriate activation functions based on derivative information during training to enhance the network's representation capability for specific tasks. Simultaneously, it accurately adjusts the network structure at the neuron level to accommodate tasks of varying complexities and reduce computational costs. Through a series of experiments, we demonstrate the dual advantages of X-Net in terms of reducing model size and improving representation power. Specifically, in terms of the number of parameters, X-Net is only 3$\%$ of baselines on average, and only 1.4$\%$ under some tasks. In terms of representation ability, X-Net can achieve an average $R^2$=0.985 on the fitting task by only optimizing the activation function without introducing any parameters. Finally, we also tested the ability of X-Net to help scientific discovery on data from multiple disciplines such as society, energy, environment, and aerospace, and achieved concise and good results.
• Abstract（参考訳）: 人工ニューラルネットワーク(ANN)は、バイオインフォマティクスから金融分析まで、様々な分野に浸透し、現代の科学研究の取り組みにとって欠かせない側面となっている。 しかしながら、従来のニューラルネットワークの固有の制限は、比較的固定されたネットワーク構造とアクティベーション関数によって生じる。 1 アクティベーション関数のタイプは単一であり、比較的固定されており、ネットワークの「単位表現能力」が不十分であり、非常に複雑なネットワークで単純な問題を解決するためによく用いられる。 上記の問題に対処するため,本研究では,X-Netと呼ばれる新しいニューラルネットワークを提案する。 設計した交互バックプロパゲーション機構を利用することで,学習中のデリバティブ情報に基づく適切なアクティベーション関数を動的に選択し,特定のタスクに対するネットワークの表現能力を向上する。 同時に、ニューロンレベルでネットワーク構造を正確に調整し、様々な複雑さのタスクに対応し、計算コストを削減する。 実験により,モデルサイズの削減と表現力の向上の観点から,X-Netの2つの利点を実証した。 具体的には、パラメータの数に関して、X-Net は平均で 3$\%$ のベースラインしか持たず、あるタスクでは 1.4$\%$ しか持たない。 表現能力の面では、X-Netはパラメータを導入せずにアクティベーション関数を最適化することで、フィッティングタスクで平均$R^2$=0.985を達成することができる。 最後に, 社会, エネルギー, 環境, 航空宇宙などの複数の分野のデータから科学的な発見を支援するためのX-Netの能力についても検証し, 簡潔で良好な結果を得た。

関連論文リスト

• Cauchy activation function and XNet [3.9426000822656224]
  我々はCauchy Activation Functionと呼ばれる新しいアクティベーション関数を開発した。 この関数は複素解析においてコーシー積分定理から導かれ、特に高精度を必要とする問題に向いている。 このイノベーションは、私たちが(Comple)XNet、あるいは単にXNetと呼ぶ、新しいタイプのニューラルネットワークを生み出しました。
  論文  参考訳（メタデータ） (2024-09-28T03:25:33Z)
• How Feature Learning Can Improve Neural Scaling Laws [86.9540615081759]
  我々は,カーネル限界を超えたニューラルスケーリング法則の解法モデルを開発する。 モデルのサイズ、トレーニング時間、利用可能なデータの総量によるパフォーマンスのスケールアップ方法を示す。
  論文  参考訳（メタデータ） (2024-09-26T14:05:32Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Graph Metanetworks for Processing Diverse Neural Architectures [33.686728709734105]
  Graph Metanetworks(GMN)は、競合するメソッドが苦労するニューラルネットワークに一般化する。 GMNは,入力ニューラルネットワーク関数を残したパラメータ置換対称性と等価であることを示す。
  論文  参考訳（メタデータ） (2023-12-07T18:21:52Z)
• MetaSymNet: A Dynamic Symbolic Regression Network Capable of Evolving into Arbitrary Formulations [12.808600853706709]
  そこで我々はMetaSymNetを提案する。MetaSymNetは,その構造をリアルタイムで調整し,拡張と収縮の両立を可能にするニューラルネットワークである。 我々は,MetaSymNetの性能を,10以上の公開データセットにわたる4つの最先端のシンボル回帰アルゴリズムと比較した。
  論文  参考訳（メタデータ） (2023-11-13T13:27:59Z)
• Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
  ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
  論文  参考訳（メタデータ） (2021-10-18T06:14:28Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• It's Hard for Neural Networks To Learn the Game of Life [4.061135251278187]
  最近の研究では、ニューラルネットワークは、ソリューションに迅速に収束する"ロテリチケット"のラッキーな初期重みに依存していることが示唆されている。 本研究では,2次元セル・オートマトン・コンウェイのゲーム・オブ・ライフのn段階を予測するために訓練された小さな畳み込みネットワークについて検討する。 このタスクでトレーニングされたこのアーキテクチャのネットワークは、ほとんど収束しない。
  論文  参考訳（メタデータ） (2020-09-03T00:47:08Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。