論文の概要: UniSymNet: A Unified Symbolic Network Guided by Transformer
- arxiv url: http://arxiv.org/abs/2505.06091v1
- Date: Fri, 09 May 2025 14:38:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-12 20:40:10.299949
- Title: UniSymNet: A Unified Symbolic Network Guided by Transformer
- Title（参考訳）: UniSymNet: トランスフォーマーによってガイドされた統一シンボリックネットワーク
- Authors: Xinxin Li, Juan Zhang, Da Li, Xingyu Liu, Jin Xu, Junping Yin,
- Abstract要約: 非線形バイナリ演算子をネストしたユニタリ演算子に統一する統一記号ネットワークを提案する。
UniSymNetは、高い適合精度、優れたシンボリックソリューションレート、比較的低い表現複雑性を示す。
- 参考スコア（独自算出の注目度）: 21.207141107201775
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Symbolic Regression (SR) is a powerful technique for automatically discovering mathematical expressions from input data. Mainstream SR algorithms search for the optimal symbolic tree in a vast function space, but the increasing complexity of the tree structure limits their performance. Inspired by neural networks, symbolic networks have emerged as a promising new paradigm. However, most existing symbolic networks still face certain challenges: binary nonlinear operators $\{\times, \div\}$ cannot be naturally extended to multivariate operators, and training with fixed architecture often leads to higher complexity and overfitting. In this work, we propose a Unified Symbolic Network that unifies nonlinear binary operators into nested unary operators and define the conditions under which UniSymNet can reduce complexity. Moreover, we pre-train a Transformer model with a novel label encoding method to guide structural selection, and adopt objective-specific optimization strategies to learn the parameters of the symbolic network. UniSymNet shows high fitting accuracy, excellent symbolic solution rate, and relatively low expression complexity, achieving competitive performance on low-dimensional Standard Benchmarks and high-dimensional SRBench.
- Abstract（参考訳）: 記号回帰(SR)は入力データから数式を自動的に検出する強力な手法である。
メインストリームSRアルゴリズムは、広大な関数空間における最適なシンボル木を探索するが、木構造が複雑化するにつれて、その性能が制限される。
ニューラルネットワークにインスパイアされたシンボリックネットワークは、有望な新しいパラダイムとして登場した。
バイナリ非線形演算子$\{\times, \div\}$は自然に多変量演算子に拡張することはできない。
本研究では,非線形バイナリ演算子をネストしたユニタリ演算子に統一し,UniSymNetが複雑性を低減できる条件を定義する統一記号ネットワークを提案する。
さらに,新しいラベル符号化手法を用いてトランスフォーマーモデルを事前学習し,シンボルネットワークのパラメータを学習するための目的固有の最適化手法を採用する。
UniSymNetは、高い適合精度、優れた記号解率、比較的低い表現複雑性を示し、低次元標準ベンチマークと高次元SRBench上での競合性能を達成する。
関連論文リスト
- Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳（メタデータ） (2024-05-22T17:23:15Z) - SymbolNet: Neural Symbolic Regression with Adaptive Dynamic Pruning for Compression [1.0356366043809717]
モデル圧縮技術として特別に設計された記号回帰に対するニューラルネットワークアプローチである$ttSymbolNet$を提案する。
このフレームワークは、単一のトレーニングプロセスにおいてモデルウェイト、入力特徴、数学的演算子の動的プルーニングを可能にする。
論文 参考訳（メタデータ） (2024-01-18T12:51:38Z) - A Neural-Guided Dynamic Symbolic Network for Exploring Mathematical Expressions from Data [12.964942755481585]
記号回帰は観測データから基礎となる数学的表現を発見するための強力な手法である。
近年の深部生成SR法は有望な結果を示したが,高次元問題処理の難しさに直面している。
SRのためのニューラル誘導型動的シンボルネットワークDySymNetを提案する。
論文 参考訳（メタデータ） (2023-09-24T17:37:45Z) - Differentiable Tree Operations Promote Compositional Generalization [106.59434079287661]
微分可能ツリーマシン(DTM)アーキテクチャは、インタプリタと外部メモリとエージェントを統合し、ツリー操作をシーケンシャルに選択することを学ぶ。
DTMは100%、Transformer、Tree Transformer、LSTM、Tree2Tree LSTMといった既存のベースラインは30%以下である。
論文 参考訳（メタデータ） (2023-06-01T14:46:34Z) - Factorizers for Distributed Sparse Block Codes [45.29870215671697]
分散ブロック符号(SBC)を高速かつ高精度に分解する手法を提案する。
我々の反復分解器は、しきい値に基づく非線形活性化、条件付きランダムサンプリング、および $ell_infty$-based similarity metricを導入している。
CIFAR-100, ImageNet-1K, RAVENデータセット上での4つの深層CNNアーキテクチャの実現可能性を示す。
論文 参考訳（メタデータ） (2023-03-24T12:31:48Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳（メタデータ） (2023-03-16T21:06:13Z) - Symbolic Synthesis of Neural Networks [0.0]
グラフベース合成ニューラルネットワーク(GSSNN)について
GSSNNは、トポロジとパラメータがシンボルプログラムの出力によって通知されるニューラルネットワークの一種である。
人口レベルでシンボリック抽象化を開発することで、局所的特徴や離散的特徴を含む少数のデータを用いて、改良された一般化の信頼性の高いパターンを導出できることを実証する。
論文 参考訳（メタデータ） (2023-03-06T18:13:14Z) - Symbolic Distillation for Learned TCP Congestion Control [70.27367981153299]
TCP渋滞制御は、深層強化学習(RL)アプローチで大きな成功を収めた。
ブラックボックスポリシーは解釈可能性と信頼性に欠けており、しばしば従来のTCPデータパスの外で運用する必要がある。
本稿では,まず深部RLエージェントを訓練し,次にNNポリシーをホワイトボックスの軽量なルールに蒸留する,両世界の長所を達成するための新しい2段階のソリューションを提案する。
論文 参考訳（メタデータ） (2022-10-24T00:58:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。