論文の概要: MetaSymNet: A Tree-like Symbol Network with Adaptive Architecture and Activation Functions

• arxiv url: http://arxiv.org/abs/2311.07326v2
• Date: Thu, 19 Dec 2024 11:41:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:28:21.388288
• Title: MetaSymNet: A Tree-like Symbol Network with Adaptive Architecture and Activation Functions
• Title（参考訳）: MetaSymNet: 適応型アーキテクチャとアクティベーション機能を備えた木のようなシンボルネットワーク
• Authors: Yanjie Li, Weijun Li, Lina Yu, Min Wu, Jinyi Liu, Wenqiang Li, Meilan Hao, Shu Wei, Yusong Deng,
• Abstract要約: そこで我々はMetaSymNetを提案する。MetaSymNetは,その構造をリアルタイムで調整し,拡張と収縮の両立を可能にするニューラルネットワークである。 我々は,MetaSymNetの性能を,10以上の公開データセットにわたる4つの最先端のシンボル回帰アルゴリズムと比較した。
• 参考スコア（独自算出の注目度）: 12.344379563265395
• License:
• Abstract: Mathematical formulas serve as the means of communication between humans and nature, encapsulating the operational laws governing natural phenomena. The concise formulation of these laws is a crucial objective in scientific research and an important challenge for artificial intelligence (AI). While traditional artificial neural networks (MLP) excel at data fitting, they often yield uninterpretable black box results that hinder our understanding of the relationship between variables x and predicted values y. Moreover, the fixed network architecture in MLP often gives rise to redundancy in both network structure and parameters. To address these issues, we propose MetaSymNet, a novel neural network that dynamically adjusts its structure in real-time, allowing for both expansion and contraction. This adaptive network employs the PANGU meta function as its activation function, which is a unique type capable of evolving into various basic functions during training to compose mathematical formulas tailored to specific needs. We then evolve the neural network into a concise, interpretable mathematical expression. To evaluate MetaSymNet's performance, we compare it with four state-of-the-art symbolic regression algorithms across more than 10 public datasets comprising 222 formulas. Our experimental results demonstrate that our algorithm outperforms others consistently regardless of noise presence or absence. Furthermore, we assess MetaSymNet against MLP and SVM regarding their fitting ability and extrapolation capability, these are two essential aspects of machine learning algorithms. The findings reveal that our algorithm excels in both areas. Finally, we compared MetaSymNet with MLP using iterative pruning in network structure complexity. The results show that MetaSymNet's network structure complexity is obviously less than MLP under the same goodness of fit.
• Abstract（参考訳）: 数学的公式は人間と自然のコミュニケーション手段として機能し、自然現象を規定する運用法則をカプセル化している。 これらの法律の簡潔な定式化は科学研究において重要な目標であり、人工知能(AI)にとって重要な課題である。 従来の人工ニューラルネットワーク(MLP)はデータ適合性が優れているが、解釈不能なブラックボックスの結果が得られ、変数 x と予測値 y の関係の理解を妨げることがしばしばある。 さらに、MLPの固定ネットワークアーキテクチャは、しばしばネットワーク構造とパラメータの両方に冗長性をもたらす。 これらの問題に対処するために、我々はMetaSymNetを提案する。MetaSymNetは、その構造を動的にリアルタイムで調整し、拡張と収縮の両方を可能にするニューラルネットワークである。 この適応的ネットワークは、PANGUメタ関数をアクティベーション関数として採用しており、これは訓練中に様々な基本関数に進化し、特定のニーズに合わせて数学的公式を構成することができるユニークなタイプである。 次に、ニューラルネットワークを簡潔で解釈可能な数学的表現へと進化させます。 MetaSymNetの性能を評価するために、222の式からなる10以上の公開データセットに対して、最先端のシンボル回帰アルゴリズムを4つ比較した。 実験の結果, ノイズの有無に関わらず, アルゴリズムが他のアルゴリズムよりも優れていたことが確認された。 さらに,MLPとSVMに対してMetaSymNetの適合性と外挿能力を評価する。 その結果,アルゴリズムは両領域で優れていることがわかった。 最後に,MetaSymNet と MLP を比較した。 その結果,MetaSymNetのネットワーク構造の複雑性は,同一の良さでMLPよりも明らかに低いことがわかった。

関連論文リスト

• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• A foundation for exact binarized morphological neural networks [2.8925699537310137]
  ディープニューラルネットワーク(NN)のトレーニングと実行は、多くの計算とエネルギー集約的な特別なハードウェアを必要とすることが多い。 計算量と消費電力を減らす方法の1つは二重NNを使うことであるが、これは符号関数が非滑らかな勾配を持つため訓練が困難である。 本研究では,特定の条件下での性能を損なうことなく,ConvNetを二項化できる数学的形態(MM)に基づくモデルを提案する。
  論文  参考訳（メタデータ） (2024-01-08T11:37:44Z)
• A Novel Paradigm for Neural Computation: X-Net with Learnable Neurons and Adaptable Structure [29.11456970277094]
  X-Netは、回帰タスクや分類タスクにおいて、ニューロンよりも同等またはそれ以上の性能を達成できることを示す。 X-Netは、科学者が数学や物理学の新しい法則を発見するのを助けることが示されている。
  論文  参考訳（メタデータ） (2024-01-03T14:52:18Z)
• An Algorithm to Train Unrestricted Sequential Discrete Morphological Neural Networks [0.0]
  本稿では,一般W-演算子の構成によりアーキテクチャが与えられる非制限順序DMNNを学習するアルゴリズムを提案する。 このアルゴリズムを実例で説明する。
  論文  参考訳（メタデータ） (2023-10-06T20:55:05Z)
• Smooth Mathematical Function from Compact Neural Networks [0.0]
  NNは、非常に正確で、非常にスムーズな関数を生成します。 新しいアクティベーション関数,メタバッチ法,数値データの特徴,メタパラメータを用いたメタ拡張について述べる。
  論文  参考訳（メタデータ） (2022-12-31T11:33:24Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• AI without networks [0.0]
  我々は、生成モデリングを取り入れたAIのためのネットワークフリーフレームワークを開発する。 我々は、この枠組みを、民族学、制御理論、数学の3つの異なる分野の例で示す。 また、生成AIによる倫理的法的課題に対処するために、この枠組みに基づいて容易に計算された信用割当手法を提案する。
  論文  参考訳（メタデータ） (2021-06-07T05:50:02Z)
• Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
  我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。 本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:28:00Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。