論文の概要: PruneSymNet: A Symbolic Neural Network and Pruning Algorithm for Symbolic Regression

• arxiv url: http://arxiv.org/abs/2401.15103v1
• Date: Thu, 25 Jan 2024 11:53:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 20:02:53.282874
• Title: PruneSymNet: A Symbolic Neural Network and Pruning Algorithm for Symbolic Regression
• Title（参考訳）: prunesymnet:シンボリックニューラルネットワークおよびシンボリック回帰のためのプルーニングアルゴリズム
• Authors: Min Wu, Weijun Li, Lina Yu, Wenqiang Li, Jingyi Liu, Yanjie Li, Meilan Hao
• Abstract要約: 記号回帰は、データの理解と解釈をより良くするために、データから解釈可能な記号表現を導出することを目的としている。 本研究では,記号回帰のためにPruneSymNetと呼ばれるシンボルネットワークを提案する。 データフィッティングの精度を確保しつつ,ネットワークをサブネットワークにプルークするグリーディープルーニングアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 14.38941096136575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Symbolic regression aims to derive interpretable symbolic expressions from data in order to better understand and interpret data. %which plays an important role in knowledge discovery and interpretable machine learning. In this study, a symbolic network called PruneSymNet is proposed for symbolic regression. This is a novel neural network whose activation function consists of common elementary functions and operators. The whole network is differentiable and can be trained by gradient descent method. Each subnetwork in the network corresponds to an expression, and our goal is to extract such subnetworks to get the desired symbolic expression. Therefore, a greedy pruning algorithm is proposed to prune the network into a subnetwork while ensuring the accuracy of data fitting. The proposed greedy pruning algorithm preserves the edge with the least loss in each pruning, but greedy algorithm often can not get the optimal solution. In order to alleviate this problem, we combine beam search during pruning to obtain multiple candidate expressions each time, and finally select the expression with the smallest loss as the final result. It was tested on the public data set and compared with the current popular algorithms. The results showed that the proposed algorithm had better accuracy.
• Abstract（参考訳）: 記号回帰は、データの理解と解釈をより良くするために、データから解釈可能な記号表現を導出することを目的としている。 %は知識発見と解釈可能な機械学習において重要な役割を担っている。 本研究では,記号回帰のためにPruneSymNetと呼ばれるシンボルネットワークを提案する。 これは、アクティベーション関数が共通の基本機能と演算子からなる新しいニューラルネットワークである。 ネットワーク全体は微分可能であり、勾配降下法で訓練することができる。 ネットワーク内の各サブネットワークは式に対応しており、我々の目標はそのようなサブネットワークを抽出して所望のシンボル表現を得ることである。 そのため,データフィッティングの精度を確保しつつ,ネットワークをサブネットワークにプルーピングするために,欲深いプルーニングアルゴリズムが提案されている。 提案したグリージープルーニングアルゴリズムは,各プルーニングにおいて最小損失のエッジを保持するが,グリージーアルゴリズムは最適解を得ることができないことが多い。 この問題を軽減するために,プルーニング中のビーム探索を組み合わせることで,複数の候補表現をそれぞれ取得し,最終結果として最小の損失で表現を選択する。 公開データセット上でテストされ、現在の一般的なアルゴリズムと比較された。 その結果,提案アルゴリズムの精度は向上した。

関連論文リスト

• Graph Convolutional Branch and Bound [1.8966938152549224]
  本稿では,最適化パイプラインにおけるディープラーニングモデルの有効性を示す。 この文脈では、ニューラルネットワークを利用して、価値ある情報を素早く取得することができる。
  論文  参考訳（メタデータ） (2024-06-05T09:42:43Z)
• Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
  本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。 次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
  論文  参考訳（メタデータ） (2023-03-09T10:08:34Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Alleviate Exposure Bias in Sequence Prediction \\ with Recurrent Neural Networks [47.52214243454995]
  繰り返しニューラルネットワーク(RNN)を訓練する一般的な戦略は、各ステップで入力として地上の真実を取ることです。 本稿では,RNNの長期的依存関係をよりよく把握するための,完全微分可能なトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-22T06:15:22Z)
• Rotation Averaging with Attention Graph Neural Networks [4.408728798697341]
  大規模多重回転平均化のためのリアルタイム・ロバストな解法を提案する。 本手法では,ネットワーク設計における重み付け平均化とアテンション機構を用いて,すべての観測結果を用いて,異常値の影響を抑える。 その結果、より速く、より堅牢なネットワークとなり、以前のニューラルアプローチよりも少ないサンプルでトレーニングできる。
  論文  参考訳（メタデータ） (2020-10-14T02:07:19Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Pruning neural networks without any data by iteratively conserving synaptic flow [27.849332212178847]
  ディープニューラルネットワークのパラメータを抽出することは、時間、記憶、エネルギーの潜在的な節約によって、大きな関心を集めている。 近年の研究では、高価なトレーニングとプルーニングサイクルを通じて、当選した宝くじやスパーストレーナーブルワークスの存在が特定されている。 我々は、理論駆動型アルゴリズム設計を通じて、この問題に対する肯定的な回答を提供する。
  論文  参考訳（メタデータ） (2020-06-09T19:21:57Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。