論文の概要: End-to-end symbolic regression with transformers
- arxiv url: http://arxiv.org/abs/2204.10532v1
- Date: Fri, 22 Apr 2022 06:55:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-25 14:27:22.578340
- Title: End-to-end symbolic regression with transformers
- Title(参考訳): 変圧器を用いた終端記号回帰
- Authors: Pierre-Alexandre Kamienny, St\'ephane d'Ascoli, Guillaume Lample,
Fran\c{c}ois Charton
- Abstract要約: シンボリック・マグニチュード・レグレッションは、通常、2段階の手順を高速に予測する難しいタスクである。
本稿では,本モデルが情報変換器としてニューラル・ザ・定数にアプローチしていることを示す。
- 参考スコア(独自算出の注目度): 20.172752966322214
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Symbolic regression, the task of predicting the mathematical expression of a
function from the observation of its values, is a difficult task which usually
involves a two-step procedure: predicting the "skeleton" of the expression up
to the choice of numerical constants, then fitting the constants by optimizing
a non-convex loss function. The dominant approach is genetic programming, which
evolves candidates by iterating this subroutine a large number of times. Neural
networks have recently been tasked to predict the correct skeleton in a single
try, but remain much less powerful. In this paper, we challenge this two-step
procedure, and task a Transformer to directly predict the full mathematical
expression, constants included. One can subsequently refine the predicted
constants by feeding them to the non-convex optimizer as an informed
initialization. We present ablations to show that this end-to-end approach
yields better results, sometimes even without the refinement step. We evaluate
our model on problems from the SRBench benchmark and show that our model
approaches the performance of state-of-the-art genetic programming with several
orders of magnitude faster inference.
- Abstract(参考訳): シンボリック回帰(シンボリックレグレッション、英: symbolic regression)とは、関数の数学的表現をその値の観測から予測するタスクであり、通常2段階の手続きを伴う難しいタスクである: 数値定数の選択までの表現の「骨格」を予測し、非凸損失関数を最適化して定数を適合させる。
主要なアプローチは遺伝的プログラミングであり、このサブルーチンを何度も繰り返して候補を進化させる。
ニューラルネットワークは最近、正しい骨格を1回の試行で予測するように指示されているが、まだ強力ではない。
本稿では,この2段階の手順に挑戦し,定数を含む数学式を直接予測するトランスフォーマーをタスクする。
その後、情報初期化として非凸オプティマイザに供給することで予測定数を洗練することができる。
我々は、このエンドツーエンドアプローチが、時には改善ステップなしでも、より良い結果をもたらすことを示す。
SRBenchベンチマークから得られた問題をモデルとして評価し,数桁の高速推論で最先端の遺伝的プログラムの性能にアプローチすることを示す。
関連論文リスト
- Series of Hessian-Vector Products for Tractable Saddle-Free Newton
Optimisation of Neural Networks [1.3654846342364308]
絶対値固有値を持つ正逆 Hessian を,一階乗算可能な最適化アルゴリズムで効率的に利用できることを示す。
この級数のt-runは、他の1階と2階の最適化手法に匹敵する新しい最適化を提供する。
論文 参考訳(メタデータ) (2023-10-23T13:11:30Z) - Mutual Exclusivity Training and Primitive Augmentation to Induce
Compositionality [84.94877848357896]
最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。
本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。
広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
論文 参考訳(メタデータ) (2022-11-28T17:36:41Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳(メタデータ) (2022-03-30T11:39:00Z) - Symbolic Regression via Neural-Guided Genetic Programming Population
Seeding [6.9501458586819505]
シンボリック回帰(英: Symbolic regression)は、NPハードであると一般に信じられている離散最適化問題である。
この問題を解決するための従来のアプローチには、ニューラルガイド付き検索と遺伝的プログラミングがある。
本稿では、ランダムに再起動する遺伝的プログラミングコンポーネントの開始集団をシードする神経誘導成分を提案する。
論文 参考訳(メタデータ) (2021-10-29T19:26:41Z) - A Two-Time-Scale Stochastic Optimization Framework with Applications in
Control and Reinforcement Learning [22.07834608976826]
本研究では, 時間変化勾配から試料が生成する問題を解くための2段階勾配法について検討した。
我々は$mathcal(k-2/3O)$の収束が達成されていることを示す。
論文 参考訳(メタデータ) (2021-09-29T23:15:23Z) - On Stochastic Moving-Average Estimators for Non-Convex Optimization [105.22760323075008]
本稿では,移動平均(SEMA)問題に基づく広く利用されている推定器のパワーを実証する。
これらすべてのアートな結果に対して、これらのアートな問題に対する結果も提示します。
論文 参考訳(メタデータ) (2021-04-30T08:50:24Z) - Recognizing and Verifying Mathematical Equations using Multiplicative
Differential Neural Units [86.9207811656179]
メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。
本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
論文 参考訳(メタデータ) (2021-04-07T03:50:11Z) - Shape-constrained Symbolic Regression -- Improving Extrapolation with
Prior Knowledge [0.0]
目的は、期待される振る舞いに適合し、能力を改善したモデルを見つけることである。
アルゴリズムは19の合成問題と4つの現実世界の回帰問題でテストされる。
形状制約レグレッションは、テストセットに最適な結果をもたらすが、さらに大きなモデルも生成する。
論文 参考訳(メタデータ) (2021-03-29T14:04:18Z) - Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence
Lip-Reading [96.48553941812366]
唇読解は唇運動系列から音声内容を推測することを目的としている。
seq2seqモデルの伝統的な学習プロセスには2つの問題がある。
本稿では,これら2つの問題に対処するために,PCPGに基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2020-03-09T09:12:26Z) - Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。
分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
論文 参考訳(メタデータ) (2020-02-21T14:03:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。