論文の概要: End-to-end symbolic regression with transformers

• arxiv url: http://arxiv.org/abs/2204.10532v1
• Date: Fri, 22 Apr 2022 06:55:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-25 14:27:22.578340
• Title: End-to-end symbolic regression with transformers
• Title（参考訳）: 変圧器を用いた終端記号回帰
• Authors: Pierre-Alexandre Kamienny, St\'ephane d'Ascoli, Guillaume Lample, Fran\c{c}ois Charton
• Abstract要約: シンボリック・マグニチュード・レグレッションは、通常、2段階の手順を高速に予測する難しいタスクである。 本稿では,本モデルが情報変換器としてニューラル・ザ・定数にアプローチしていることを示す。
• 参考スコア（独自算出の注目度）: 20.172752966322214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Symbolic regression, the task of predicting the mathematical expression of a function from the observation of its values, is a difficult task which usually involves a two-step procedure: predicting the "skeleton" of the expression up to the choice of numerical constants, then fitting the constants by optimizing a non-convex loss function. The dominant approach is genetic programming, which evolves candidates by iterating this subroutine a large number of times. Neural networks have recently been tasked to predict the correct skeleton in a single try, but remain much less powerful. In this paper, we challenge this two-step procedure, and task a Transformer to directly predict the full mathematical expression, constants included. One can subsequently refine the predicted constants by feeding them to the non-convex optimizer as an informed initialization. We present ablations to show that this end-to-end approach yields better results, sometimes even without the refinement step. We evaluate our model on problems from the SRBench benchmark and show that our model approaches the performance of state-of-the-art genetic programming with several orders of magnitude faster inference.
• Abstract（参考訳）: シンボリック回帰(シンボリックレグレッション、英: symbolic regression)とは、関数の数学的表現をその値の観測から予測するタスクであり、通常2段階の手続きを伴う難しいタスクである: 数値定数の選択までの表現の「骨格」を予測し、非凸損失関数を最適化して定数を適合させる。 主要なアプローチは遺伝的プログラミングであり、このサブルーチンを何度も繰り返して候補を進化させる。 ニューラルネットワークは最近、正しい骨格を1回の試行で予測するように指示されているが、まだ強力ではない。 本稿では,この2段階の手順に挑戦し,定数を含む数学式を直接予測するトランスフォーマーをタスクする。 その後、情報初期化として非凸オプティマイザに供給することで予測定数を洗練することができる。 我々は、このエンドツーエンドアプローチが、時には改善ステップなしでも、より良い結果をもたらすことを示す。 SRBenchベンチマークから得られた問題をモデルとして評価し,数桁の高速推論で最先端の遺伝的プログラムの性能にアプローチすることを示す。

関連論文リスト

• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Series of Hessian-Vector Products for Tractable Saddle-Free Newton Optimisation of Neural Networks [1.3654846342364308]
  絶対値固有値を持つ正逆 Hessian を,一階乗算可能な最適化アルゴリズムで効率的に利用できることを示す。 この級数のt-runは、他の1階と2階の最適化手法に匹敵する新しい最適化を提供する。
  論文  参考訳（メタデータ） (2023-10-23T13:11:30Z)
• Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
  いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。 我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。 本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
  論文  参考訳（メタデータ） (2023-09-11T22:42:50Z)
• Alternating minimization for generalized rank one matrix sensing: Sharp predictions from a random initialization [5.900674344455754]
  ランクランダム行列の特性をdで推定する手法を示す。 鋭い収束は、単一のステップで正確な回復を保証する。 我々の分析は、この問題の他のいくつかの特性も明らかにしている。
  論文  参考訳（メタデータ） (2022-07-20T05:31:05Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Symbolic Regression via Neural-Guided Genetic Programming Population Seeding [6.9501458586819505]
  シンボリック回帰(英: Symbolic regression)は、NPハードであると一般に信じられている離散最適化問題である。 この問題を解決するための従来のアプローチには、ニューラルガイド付き検索と遺伝的プログラミングがある。 本稿では、ランダムに再起動する遺伝的プログラミングコンポーネントの開始集団をシードする神経誘導成分を提案する。
  論文  参考訳（メタデータ） (2021-10-29T19:26:41Z)
• Recognizing and Verifying Mathematical Equations using Multiplicative Differential Neural Units [86.9207811656179]
  メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。 本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
  論文  参考訳（メタデータ） (2021-04-07T03:50:11Z)
• Shape-constrained Symbolic Regression -- Improving Extrapolation with Prior Knowledge [0.0]
  目的は、期待される振る舞いに適合し、能力を改善したモデルを見つけることである。 アルゴリズムは19の合成問題と4つの現実世界の回帰問題でテストされる。 形状制約レグレッションは、テストセットに最適な結果をもたらすが、さらに大きなモデルも生成する。
  論文  参考訳（メタデータ） (2021-03-29T14:04:18Z)
• Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence Lip-Reading [96.48553941812366]
  唇読解は唇運動系列から音声内容を推測することを目的としている。 seq2seqモデルの伝統的な学習プロセスには2つの問題がある。 本稿では,これら2つの問題に対処するために,PCPGに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T09:12:26Z)
• Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
  高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。 分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
  論文  参考訳（メタデータ） (2020-02-21T14:03:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。