論文の概要: A Novel Paradigm for Neural Computation: X-Net with Learnable Neurons and Adaptable Structure

• arxiv url: http://arxiv.org/abs/2401.01772v2
• Date: Fri, 12 Jul 2024 09:21:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 05:27:26.315489
• Title: A Novel Paradigm for Neural Computation: X-Net with Learnable Neurons and Adaptable Structure
• Title（参考訳）: ニューラル計算のための新しいパラダイム:学習可能なニューロンと適応可能な構造を持つXネット
• Authors: Yanjie Li, Weijun Li, Lina Yu, Min Wu, Jinyi Liu, Wenqiang Li, Meilan Hao, Shu Wei, Yusong Deng, Liping Zhang, Xiaoli Dong, Hong Qin, Xin Ning, Yugui Zhang, Baoli Lu, Jian Xu, Shuang Li,
• Abstract要約: X-Netは、回帰タスクや分類タスクにおいて、ニューロンよりも同等またはそれ以上の性能を達成できることを示す。 X-Netは、科学者が数学や物理学の新しい法則を発見するのを助けることが示されている。
• 参考スコア（独自算出の注目度）: 29.11456970277094
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilayer perception (MLP) has permeated various disciplinary domains, ranging from bioinformatics to financial analytics, where their application has become an indispensable facet of contemporary scientific research endeavors. However, MLP has obvious drawbacks. 1), The type of activation function is single and relatively fixed, which leads to poor `representation ability' of the network, and it is often to solve simple problems with complex networks; 2), the network structure is not adaptive, it is easy to cause network structure redundant or insufficient. In this work, we propose a novel neural network paradigm X-Net promising to replace MLPs. X-Net can dynamically learn activation functions individually based on derivative information during training to improve the network's representational ability for specific tasks. At the same time, X-Net can precisely adjust the network structure at the neuron level to accommodate tasks of varying complexity and reduce computational costs. We show that X-Net outperforms MLPs in terms of representational capability. X-Net can achieve comparable or even better performance than MLP with much smaller parameters on regression and classification tasks. Specifically, in terms of the number of parameters, X-Net is only 3% of MLP on average and only 1.1% under some tasks. We also demonstrate X-Net's ability to perform scientific discovery on data from various disciplines such as energy, environment, and aerospace, where X-Net is shown to help scientists discover new laws of mathematics or physics.
• Abstract（参考訳）: 多層認識(MLP)は、バイオインフォマティクスから金融分析まで、様々な分野に浸透し、現代の科学研究の課題に欠かせない存在となっている。 しかし、MLPには明らかな欠点がある。 1) アクティベーション関数のタイプは単一かつ比較的固定的であり,ネットワークの「表現能力」が低下し,ネットワーク構造が適応的でなく,ネットワーク構造が冗長あるいは不十分である場合が多い。 本研究では,MLPを置き換えることを約束する新しいニューラルネットワークパラダイムX-Netを提案する。 X-Netは、訓練中のデリバティブ情報に基づいて個別にアクティベーション関数を動的に学習し、特定のタスクに対するネットワークの表現能力を改善する。 同時に、X-Netはニューロンレベルでネットワーク構造を正確に調整し、様々な複雑さのタスクに対応し、計算コストを削減できる。 X-Net は表現能力において MLP よりも優れていることを示す。 X-Netは、回帰や分類タスクのパラメータをはるかに小さくして、MPPと同等またはそれ以上の性能を達成することができる。 具体的には、パラメータの数に関して言えば、X-Netは平均でMLPの3%しかなく、一部のタスクでは1.1%しか持たない。 我々はまた、X-Netがエネルギー、環境、航空宇宙といった様々な分野のデータに対して科学的発見を行う能力を示し、X-Netは科学者が新しい数学や物理学の法則を発見する手助けをする。

関連論文リスト

• Cauchy activation function and XNet [3.9426000822656224]
  我々はCauchy Activation Functionと呼ばれる新しいアクティベーション関数を開発した。 この関数は複素解析においてコーシー積分定理から導かれ、特に高精度を必要とする問題に向いている。 このイノベーションは、私たちが(Comple)XNet、あるいは単にXNetと呼ぶ、新しいタイプのニューラルネットワークを生み出しました。
  論文  参考訳（メタデータ） (2024-09-28T03:25:33Z)
• How Feature Learning Can Improve Neural Scaling Laws [86.9540615081759]
  我々は,カーネル限界を超えたニューラルスケーリング法則の解法モデルを開発する。 モデルのサイズ、トレーニング時間、利用可能なデータの総量によるパフォーマンスのスケールアップ方法を示す。
  論文  参考訳（メタデータ） (2024-09-26T14:05:32Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Graph Metanetworks for Processing Diverse Neural Architectures [33.686728709734105]
  Graph Metanetworks(GMN)は、競合するメソッドが苦労するニューラルネットワークに一般化する。 GMNは,入力ニューラルネットワーク関数を残したパラメータ置換対称性と等価であることを示す。
  論文  参考訳（メタデータ） (2023-12-07T18:21:52Z)
• MetaSymNet: A Dynamic Symbolic Regression Network Capable of Evolving into Arbitrary Formulations [12.808600853706709]
  そこで我々はMetaSymNetを提案する。MetaSymNetは,その構造をリアルタイムで調整し,拡張と収縮の両立を可能にするニューラルネットワークである。 我々は,MetaSymNetの性能を,10以上の公開データセットにわたる4つの最先端のシンボル回帰アルゴリズムと比較した。
  論文  参考訳（メタデータ） (2023-11-13T13:27:59Z)
• Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
  ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
  論文  参考訳（メタデータ） (2021-10-18T06:14:28Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• It's Hard for Neural Networks To Learn the Game of Life [4.061135251278187]
  最近の研究では、ニューラルネットワークは、ソリューションに迅速に収束する"ロテリチケット"のラッキーな初期重みに依存していることが示唆されている。 本研究では,2次元セル・オートマトン・コンウェイのゲーム・オブ・ライフのn段階を予測するために訓練された小さな畳み込みネットワークについて検討する。 このタスクでトレーニングされたこのアーキテクチャのネットワークは、ほとんど収束しない。
  論文  参考訳（メタデータ） (2020-09-03T00:47:08Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。