論文の概要: A Transformer Model for Symbolic Regression towards Scientific Discovery
- arxiv url: http://arxiv.org/abs/2312.04070v2
- Date: Wed, 13 Dec 2023 22:20:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-16 03:21:06.048325
- Title: A Transformer Model for Symbolic Regression towards Scientific Discovery
- Title(参考訳): 科学発見へのシンボリック回帰のためのトランスフォーマーモデル
- Authors: Florian Lalande, Yoshitomo Matsubara, Naoya Chiba, Tatsunori Taniai,
Ryo Igarashi, Yoshitaka Ushiku
- Abstract要約: 記号回帰(SR)は、数値データセットを最もよく記述する数学的表現を探索する。
本稿では, シンボリック回帰に着目した新しいトランスフォーマーモデルを提案する。
我々は、正規化ツリーベース編集距離を用いて、最先端の結果を出力するSRSDデータセットにベストモデルを適用した。
- 参考スコア(独自算出の注目度): 11.827358526480323
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Symbolic Regression (SR) searches for mathematical expressions which best
describe numerical datasets. This allows to circumvent interpretation issues
inherent to artificial neural networks, but SR algorithms are often
computationally expensive. This work proposes a new Transformer model aiming at
Symbolic Regression particularly focused on its application for Scientific
Discovery. We propose three encoder architectures with increasing flexibility
but at the cost of column-permutation equivariance violation. Training results
indicate that the most flexible architecture is required to prevent from
overfitting. Once trained, we apply our best model to the SRSD datasets
(Symbolic Regression for Scientific Discovery datasets) which yields
state-of-the-art results using the normalized tree-based edit distance, at no
extra computational cost.
- Abstract(参考訳): 記号回帰(SR)は、数値データセットを最もよく記述する数学的表現を探索する。
これにより、人工ニューラルネットワーク固有の解釈問題を回避できるが、SRアルゴリズムはしばしば計算コストがかかる。
本研究は,特に科学的発見に焦点を絞った記号回帰を目的とした新しい変圧器モデルを提案する。
本研究では, 柔軟性を増すが, カラム置換等分散違反のコストがかかる3つのエンコーダアーキテクチャを提案する。
トレーニング結果は、過度な適合を防ぐために最も柔軟なアーキテクチャが必要であることを示している。
トレーニングが完了すると、最高のモデルをSRSDデータセット(Symbolic Regression for Scientific Discoveryデータセット)に適用し、正規化ツリーベースの編集距離を使用して最先端の結果を出力し、余分な計算コストを伴わない。
関連論文リスト
- Deep Generative Symbolic Regression [83.04219479605801]
記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。
既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。
本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
論文 参考訳(メタデータ) (2023-12-30T17:05:31Z) - Discovering Interpretable Physical Models using Symbolic Regression and
Discrete Exterior Calculus [55.2480439325792]
本稿では,記号回帰(SR)と離散指数計算(DEC)を組み合わせて物理モデルの自動発見を行うフレームワークを提案する。
DECは、SRの物理問題への最先端の応用を越えている、場の理論の離散的な類似に対して、ビルディングブロックを提供する。
実験データから連続体物理の3つのモデルを再発見し,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2023-10-10T13:23:05Z) - A Neural-Guided Dynamic Symbolic Network for Exploring Mathematical
Expressions from Data [15.247247514141314]
記号回帰は観測データから基礎となる数学的表現を発見するための強力な手法である。
SRのための新しいニューラルネットワークであるDySymNetを提案する。
論文 参考訳(メタデータ) (2023-09-24T17:37:45Z) - Neural Symbolic Regression using Control Variables [7.5797917007431]
SRCVは,制御変数を利用して精度とスケーラビリティを両立させるニューラルシンボリック回帰法である。
まず、ディープニューラルネットワーク(DNN)を用いて観測データからデータジェネレータを学習する。
実験結果から,SRCVは複数の変数を持つ数学的表現の発見において,最先端のベースラインを著しく上回ることがわかった。
論文 参考訳(メタデータ) (2023-06-07T18:30:25Z) - Understanding Augmentation-based Self-Supervised Representation Learning
via RKHS Approximation and Regression [53.15502562048627]
最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。
この研究は、増強に基づく事前訓練の統計的分析に発展する。
論文 参考訳(メタデータ) (2023-06-01T15:18:55Z) - Transformer-based Planning for Symbolic Regression [18.90700817248397]
シンボリック・レグレッションのためのトランスフォーマーに基づく計画戦略であるTPSRを提案する。
従来の復号法とは異なり、TPSRは精度や複雑さなど、微分不可能なフィードバックの統合を可能にする。
我々の手法は最先端の手法より優れており、モデルの適合・複雑性トレードオフ、象徴的能力、騒音に対する堅牢性を高めている。
論文 参考訳(メタデータ) (2023-03-13T03:29:58Z) - A Hybrid Framework for Sequential Data Prediction with End-to-End
Optimization [0.0]
オンライン環境での非線形予測について検討し,手作業による特徴や手作業によるモデル選択の問題を効果的に緩和するハイブリッドモデルを提案する。
逐次データからの適応的特徴抽出にはLSTM(Recurrent Neural Network)、効果的な教師付き回帰には勾配強化機構(soft GBDT)を用いる。
本稿では, 合成データに対するアルゴリズムの学習挙動と, 各種実生活データセットに対する従来の手法による性能改善について述べる。
論文 参考訳(メタデータ) (2022-03-25T17:13:08Z) - Neural Symbolic Regression that Scales [58.45115548924735]
本稿では,大規模事前学習を利用した最初の記号回帰手法を提案する。
我々は,非有界な方程式の集合を手続き的に生成し,同時にインプット・アウトプット・ペアの集合からシンボル方程式を予測するためにトランスフォーマーを事前訓練する。
論文 参考訳(メタデータ) (2021-06-11T14:35:22Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳(メタデータ) (2021-04-11T16:37:32Z) - A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。
ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。
シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
論文 参考訳(メタデータ) (2020-11-30T21:47:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。