論文の概要: A Neural-Guided Dynamic Symbolic Network for Exploring Mathematical
Expressions from Data
- arxiv url: http://arxiv.org/abs/2309.13705v1
- Date: Sun, 24 Sep 2023 17:37:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-26 18:04:03.234057
- Title: A Neural-Guided Dynamic Symbolic Network for Exploring Mathematical
Expressions from Data
- Title(参考訳): データから数式を探索するニューラルネットワークによる動的シンボリックネットワーク
- Authors: Wenqiang Li, Weijun Li, Lina Yu, Min Wu, Jingyi Liu, Yanjie Li
- Abstract要約: 記号回帰は観測データから基礎となる数学的表現を発見するための強力な手法である。
SRのための新しいニューラルネットワークであるDySymNetを提案する。
- 参考スコア(独自算出の注目度): 15.247247514141314
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Symbolic regression (SR) is a powerful technique for discovering the
underlying mathematical expressions from observed data. Inspired by the success
of deep learning, recent efforts have focused on two categories for SR methods.
One is using a neural network or genetic programming to search the expression
tree directly. Although this has shown promising results, the large search
space poses difficulties in learning constant factors and processing
high-dimensional problems. Another approach is leveraging a transformer-based
model training on synthetic data and offers advantages in inference speed.
However, this method is limited to fixed small numbers of dimensions and may
encounter inference problems when given data is out-of-distribution compared to
the synthetic data. In this work, we propose DySymNet, a novel neural-guided
Dynamic Symbolic Network for SR. Instead of searching for expressions within a
large search space, we explore DySymNet with various structures and optimize
them to identify expressions that better-fitting the data. With a topology
structure like neural networks, DySymNet not only tackles the challenge of
high-dimensional problems but also proves effective in optimizing constants.
Based on extensive numerical experiments using low-dimensional public standard
benchmarks and the well-known SRBench with more variables, our method achieves
state-of-the-art performance in terms of fitting accuracy and robustness to
noise.
- Abstract(参考訳): 記号回帰 (sr) は観測データから基礎となる数学的表現を発見する強力な手法である。
ディープラーニングの成功に触発された近年の取り組みは、SR手法の2つのカテゴリに焦点を当てている。
ひとつは、ニューラルネットワークや遺伝的プログラミングを使って表現木を直接検索することである。
これは有望な結果を示しているが、大きな探索空間は一定要素の学習と高次元問題の処理に困難をもたらす。
別のアプローチは、トランスフォーマーベースのモデルトレーニングを合成データに活用し、推論速度の利点を提供する。
しかし、この方法は固定された少数の次元に限られており、与えられたデータが合成データと比較して分布外である場合に推論問題に遭遇する可能性がある。
本研究では,SRのためのニューラル誘導型動的記号ネットワークDySymNetを提案する。
大規模な検索空間内で表現を探す代わりに,様々な構造を持つDySymNetを探索し,データに適した表現を識別する。
ニューラルネットワークのようなトポロジー構造では、DySymNetは高次元問題の課題に取り組むだけでなく、定数の最適化にも有効である。
低次元の標準ベンチマークと多くの変数を持つよく知られたSRBenchを用いた広範な数値実験に基づいて,本手法は適応精度と雑音に対する堅牢性の観点から最先端の性能を実現する。
関連論文リスト
- Testing RadiX-Nets: Advances in Viable Sparse Topologies [0.9555447998395205]
ハイパーパラメタライズドディープニューラルネットワーク(DNN)のスパシフィケーションは、複雑なデータのより単純な表現を生成する。
DNNのサブグループであるRadiX-Netsは、ニューラルネットワークの欠如に対処するランタイムを維持している。
本稿では,スケーラブルモデルにおけるRadiX-Netsのテストスイートを提案する。
論文 参考訳(メタデータ) (2023-11-06T23:27:28Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳(メタデータ) (2023-10-17T01:05:28Z) - Deep Generative Symbolic Regression with Monte-Carlo-Tree-Search [29.392036559507755]
記号回帰は数値データから記号表現を学習する問題である。
手続き的に生成した合成データセットに基づいてトレーニングされたディープニューラルモデルは、競合性能を示した。
そこで本研究では,モンテカルロ木探索手法に基づいて,両世界の長所を提供する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-02-22T09:10:20Z) - Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural
Networks [89.28881869440433]
本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。
解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
論文 参考訳(メタデータ) (2023-02-06T16:54:20Z) - SHRIMP: Sparser Random Feature Models via Iterative Magnitude Pruning [3.775565013663731]
IMP (ShRIMP) を用いたスペーサーランダム特徴モデル(スペーサーランダム特徴モデル)を提案する。
提案手法は,2層密集ネットワークにおける疎く宝くじを作成・発見するための複合的なプロセスとみなすことができる。
論文 参考訳(メタデータ) (2021-12-07T21:32:28Z) - Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for
sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。
我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。
提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文 参考訳(メタデータ) (2021-10-20T06:15:45Z) - SpikeMS: Deep Spiking Neural Network for Motion Segmentation [7.491944503744111]
textitSpikeMSは、モーションセグメンテーションの大規模な問題に対する最初のディープエンコーダデコーダSNNアーキテクチャである。
textitSpikeMSは,テキストインクリメンタルな予測や,より少ない量のテストデータからの予測を行うことができることを示す。
論文 参考訳(メタデータ) (2021-05-13T21:34:55Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳(メタデータ) (2021-04-11T16:37:32Z) - Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。
解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文 参考訳(メタデータ) (2021-03-15T17:26:34Z) - A Local Similarity-Preserving Framework for Nonlinear Dimensionality
Reduction with Neural Networks [56.068488417457935]
本稿では,Vec2vecという新しい局所非線形手法を提案する。
ニューラルネットワークを訓練するために、マトリックスの近傍類似度グラフを構築し、データポイントのコンテキストを定義します。
8つの実データセットにおけるデータ分類とクラスタリングの実験により、Vec2vecは統計仮説テストにおける古典的な次元削減法よりも優れていることが示された。
論文 参考訳(メタデータ) (2021-03-10T23:10:47Z) - A study of traits that affect learnability in GANs [0.0]
Generative Adversarial Networks GANは、2つのニューラルネットワークを使用するアルゴリズムアーキテクチャである。
本稿では,パラメータ化合成データセットを用いて実験実験を行い,学習性に影響を与える特性について検討する。
論文 参考訳(メタデータ) (2020-11-27T13:31:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。