論文の概要: SymbolNet: Neural Symbolic Regression with Adaptive Dynamic Pruning
- arxiv url: http://arxiv.org/abs/2401.09949v2
- Date: Wed, 14 Aug 2024 03:45:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-15 18:16:52.872427
- Title: SymbolNet: Neural Symbolic Regression with Adaptive Dynamic Pruning
- Title（参考訳）: SymbolNet:適応型動的プルーニングを用いたニューラルシンボリック回帰
- Authors: Ho Fung Tsoi, Vladimir Loncar, Sridhara Dasu, Philip Harris,
- Abstract要約: モデル重み,入力特徴,数学的演算子を1つのトレーニングプロセスで動的に刈り取ることができる新しいフレームワークにおいて,記号回帰に対するニューラルネットワークアプローチを提案する。
提案手法は,計算資源制約の厳しい環境下での高次元データセットに対して,FPGA上でのナノ秒スケールレイテンシによる高速な推論を実現する。
- 参考スコア（独自算出の注目度）: 1.0356366043809717
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contrary to genetic programming, the neural network approach to symbolic regression can efficiently handle high-dimensional inputs and leverage gradient methods for faster equation searching. Common ways of constraining expression complexity often involve multistage pruning with fine-tuning, which can result in significant performance loss. In this work, we propose $\tt{SymbolNet}$, a neural network approach to symbolic regression in a novel framework that allows dynamic pruning of model weights, input features, and mathematical operators in a single training process, where both training loss and expression complexity are optimized simultaneously. We introduce a sparsity regularization term for each pruning type, which can adaptively adjust its strength, leading to convergence at a target sparsity ratio. Unlike most existing symbolic regression methods that struggle with datasets containing more than $\mathcal{O}(10)$ inputs, we demonstrate the effectiveness of our model on the LHC jet tagging task (16 inputs), MNIST (784 inputs), and SVHN (3072 inputs). Our approach enables symbolic regression to achieve fast inference with nanosecond-scale latency on FPGAs for high-dimensional datasets in environments with stringent computational resource constraints, such as the high-energy physics experiments at the LHC.
- Abstract（参考訳）: 遺伝的プログラミングとは対照的に、記号回帰に対するニューラルネットワークアプローチは、高次元入力を効率的に処理し、より高速な方程式探索に勾配法を利用することができる。
表現の複雑さを制約する一般的な方法は、微調整によるマルチステージプルーニングを伴い、性能が著しく低下する可能性がある。
本研究では,モデル重み,入力特徴,数学的演算子の動的プルーニングを単一トレーニングプロセスで実現し,学習損失と表現複雑性を同時に最適化する,新しいフレームワークにおける記号回帰に対するニューラルネットワークアプローチである$\tt{SymbolNet}$を提案する。
本研究では,各プルーニング型に対して,その強度を適応的に調整し,目標のスペーシティ比で収束するスペーシティ正規化項を導入する。
LHCジェットタグタスク(16入力)、MNIST(784入力)、SVHN(3072入力)において、$\mathcal{O}(10)$入力を含むデータセットと競合する既存のシンボリック回帰法とは異なり、我々のモデルの有効性を実証する。
提案手法は,LHCにおける高エネルギー物理実験などの厳密な計算資源制約のある環境下で,FPGAのナノ秒スケール遅延による高速推論を実現する。
関連論文リスト
- An Efficient Approach to Regression Problems with Tensor Neural Networks [5.345144592056051]
本稿では、非パラメトリック回帰問題に対処するテンソルニューラルネットワーク(TNN)を提案する。
TNNは従来のFeed-Forward Networks (FFN) や Radial Basis Function Networks (RBN) よりも優れた性能を示している。
このアプローチにおける重要な革新は、統計回帰とTNNフレームワーク内の数値積分の統合である。
論文 参考訳（メタデータ） (2024-06-14T03:38:40Z) - Distributed Representations Enable Robust Multi-Timescale Symbolic Computation in Neuromorphic Hardware [3.961418890143814]
本稿では,ロバストなマルチスケールダイナミックスをアトラクタベースRSNNに組み込むシングルショット重み学習方式について述べる。
対称自己解離重み行列を重畳することにより、有限状態機械をRSNN力学に組み込む。
この研究は、リカレントダイナミクスによる堅牢な記号計算をニューロモルフィックハードウェアに組み込むスケーラブルなアプローチを導入している。
論文 参考訳（メタデータ） (2024-05-02T14:11:50Z) - Deep Generative Symbolic Regression [83.04219479605801]
記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。
既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。
本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
論文 参考訳（メタデータ） (2023-12-30T17:05:31Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z) - RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。
モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2023-05-22T13:57:41Z) - Return of the RNN: Residual Recurrent Networks for Invertible Sentence
Embeddings [0.0]
本研究では、教師なし符号化タスクで訓練された残効再帰ネットワークを用いて、非可逆文埋め込みのための新しいモデルを提案する。
ニューラルネットワーク翻訳モデルに共通する確率的出力ではなく、回帰に基づく出力層を用いて入力シーケンスのワードベクトルを再構成する。
RNNはLSTMや2次最適化法などのメモリユニットを必要とすることを考えると、このモデルはADAMによる高精度かつ高速なトレーニングを実現している。
論文 参考訳（メタデータ） (2023-03-23T15:59:06Z) - Transformer-based Planning for Symbolic Regression [18.90700817248397]
シンボリック・レグレッションのためのトランスフォーマーに基づく計画戦略であるTPSRを提案する。
従来の復号法とは異なり、TPSRは精度や複雑さなど、微分不可能なフィードバックの統合を可能にする。
我々の手法は最先端の手法より優れており、モデルの適合・複雑性トレードオフ、象徴的能力、騒音に対する堅牢性を高めている。
論文 参考訳（メタデータ） (2023-03-13T03:29:58Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Symplectically Integrated Symbolic Regression of Hamiltonian Dynamical
Systems [11.39873640706974]
シンプレクティック統合シンボリック回帰(SISR)は、データから物理支配方程式を学ぶための新しいテクニックである。
SISRは多層LSTM-RNNを用いて、確率的にハミルトン記号表現をサンプリングする。
論文 参考訳（メタデータ） (2022-09-04T03:17:40Z) - Mitigating Performance Saturation in Neural Marked Point Processes:
Architectures and Loss Functions [50.674773358075015]
本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。
我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
論文 参考訳（メタデータ） (2021-07-07T16:59:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。