論文の概要: MetaSymNet: A Dynamic Symbolic Regression Network Capable of Evolving
into Arbitrary Formulations
- arxiv url: http://arxiv.org/abs/2311.07326v1
- Date: Mon, 13 Nov 2023 13:27:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 14:10:57.460956
- Title: MetaSymNet: A Dynamic Symbolic Regression Network Capable of Evolving
into Arbitrary Formulations
- Title(参考訳): MetaSymNet:任意の定式化に進化可能な動的シンボリック回帰ネットワーク
- Authors: Yanjie Li, Weijun Li, Lina Yu, Min Wu, Jinyi Liu, Wenqiang Li, Meilan
Hao, Shu Wei, Yusong Deng
- Abstract要約: そこで我々はMetaSymNetを提案する。MetaSymNetは,その構造をリアルタイムで調整し,拡張と収縮の両立を可能にするニューラルネットワークである。
我々は,MetaSymNetの性能を,10以上の公開データセットにわたる4つの最先端のシンボル回帰アルゴリズムと比較した。
- 参考スコア(独自算出の注目度): 12.808600853706709
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mathematical formulas serve as the means of communication between humans and
nature, encapsulating the operational laws governing natural phenomena. The
concise formulation of these laws is a crucial objective in scientific research
and an important challenge for artificial intelligence (AI). While traditional
artificial neural networks (MLP) excel at data fitting, they often yield
uninterpretable black box results that hinder our understanding of the
relationship between variables x and predicted values y. Moreover, the fixed
network architecture in MLP often gives rise to redundancy in both network
structure and parameters. To address these issues, we propose MetaSymNet, a
novel neural network that dynamically adjusts its structure in real-time,
allowing for both expansion and contraction. This adaptive network employs the
PANGU meta function as its activation function, which is a unique type capable
of evolving into various basic functions during training to compose
mathematical formulas tailored to specific needs. We then evolve the neural
network into a concise, interpretable mathematical expression. To evaluate
MetaSymNet's performance, we compare it with four state-of-the-art symbolic
regression algorithms across more than 10 public datasets comprising 222
formulas. Our experimental results demonstrate that our algorithm outperforms
others consistently regardless of noise presence or absence. Furthermore, we
assess MetaSymNet against MLP and SVM regarding their fitting ability and
extrapolation capability, these are two essential aspects of machine learning
algorithms. The findings reveal that our algorithm excels in both areas.
Finally, we compared MetaSymNet with MLP using iterative pruning in network
structure complexity. The results show that MetaSymNet's network structure
complexity is obviously less than MLP under the same goodness of fit.
- Abstract(参考訳): 数学的公式は人間と自然の間のコミュニケーションの手段となり、自然現象を支配する操作則をカプセル化する。
これらの法律の簡潔な定式化は科学研究において重要な目標であり、人工知能(AI)にとって重要な課題である。
従来の人工ニューラルネットワーク(MLP)はデータ適合性が優れているが、解釈不能なブラックボックスの結果が得られ、変数 x と予測値 y の関係の理解を妨げることがしばしばある。
さらに、MLPの固定ネットワークアーキテクチャは、しばしばネットワーク構造とパラメータの両方に冗長性をもたらす。
これらの問題に対処するために,我々は,その構造を動的に動的に調整し,拡張と縮小を両立する新しいニューラルネットワークであるmetasymnetを提案する。
この適応ネットワークは、パングメタ関数を活性化関数として使用しており、トレーニング中に様々な基本的な機能へと進化し、特定のニーズに合わせて数学的公式を構成することができる。
その後、ニューラルネットワークを簡潔で解釈可能な数学的表現へと進化させます。
metasymnetのパフォーマンスを評価するために、222の式からなる10以上の公開データセットにわたる4つの最先端のシンボリック回帰アルゴリズムと比較する。
実験の結果, ノイズの有無にかかわらず, アルゴリズムは他よりも常に優れていた。
さらに,mlpとsvmに対するメタシンベネットの適合性と補間能力について評価し,これら2つの機械学習アルゴリズムの本質的側面について述べる。
その結果,アルゴリズムは両領域で優れていることがわかった。
最後に,ネットワーク構造の複雑度を反復プラニングを用いてメタシンベネットとmlpを比較した。
その結果,MetaSymNetのネットワーク構造の複雑性は,同一の良さでMLPよりも明らかに低いことがわかった。
関連論文リスト
- A foundation for exact binarized morphological neural networks [2.8925699537310137]
ディープニューラルネットワーク(NN)のトレーニングと実行は、多くの計算とエネルギー集約的な特別なハードウェアを必要とすることが多い。
計算量と消費電力を減らす方法の1つは二重NNを使うことであるが、これは符号関数が非滑らかな勾配を持つため訓練が困難である。
本研究では,特定の条件下での性能を損なうことなく,ConvNetを二項化できる数学的形態(MM)に基づくモデルを提案する。
論文 参考訳(メタデータ) (2024-01-08T11:37:44Z) - An Algorithm to Train Unrestricted Sequential Discrete Morphological
Neural Networks [0.0]
本稿では,一般W-演算子の構成によりアーキテクチャが与えられる非制限順序DMNNを学習するアルゴリズムを提案する。
このアルゴリズムを実例で説明する。
論文 参考訳(メタデータ) (2023-10-06T20:55:05Z) - Do deep neural networks have an inbuilt Occam's razor? [1.1470070927586016]
構造データとOccam's razor-likeインダクティブバイアスが組み合わさった単純な関数に対する構造データは、複雑さを伴う関数の指数的成長に反することを示す。
この分析により、構造データと(コルモゴロフ)単純関数に対するOccam's razor-likeインダクティブバイアスが組み合わさって、複雑さを伴う関数の指数的成長に対抗できるほど強いことがDNNの成功の鍵であることが明らかになった。
論文 参考訳(メタデータ) (2023-04-13T16:58:21Z) - Smooth Mathematical Function from Compact Neural Networks [0.0]
NNは、非常に正確で、非常にスムーズな関数を生成します。
新しいアクティベーション関数,メタバッチ法,数値データの特徴,メタパラメータを用いたメタ拡張について述べる。
論文 参考訳(メタデータ) (2022-12-31T11:33:24Z) - Seeking Interpretability and Explainability in Binary Activated Neural
Networks [3.341112547288814]
本稿では、回帰タスクの文脈において、解釈可能かつ説明可能な予測子としてバイナリ活性化ニューラルネットワークを用いることについて検討する。
本稿では,特徴量,隠れニューロン,さらには重みの相対的重要性を定量化するために,SHAP値の効率的な計算法を提案する。
論文 参考訳(メタデータ) (2022-09-07T20:11:17Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳(メタデータ) (2022-05-11T17:43:54Z) - Mitigating Performance Saturation in Neural Marked Point Processes:
Architectures and Loss Functions [50.674773358075015]
本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。
我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
論文 参考訳(メタデータ) (2021-07-07T16:59:14Z) - Connecting Weighted Automata, Tensor Networks and Recurrent Neural
Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。
本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-10-19T15:28:00Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳(メタデータ) (2020-09-24T17:48:59Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳(メタデータ) (2020-05-13T13:25:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。