論文の概要: SymFormer: End-to-end symbolic regression using transformer-based architecture

• arxiv url: http://arxiv.org/abs/2205.15764v2
• Date: Wed, 1 Jun 2022 10:46:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-02 11:57:43.962109
• Title: SymFormer: End-to-end symbolic regression using transformer-based architecture
• Title（参考訳）: SymFormer: Transformer-based Architecture を用いたエンドツーエンドのシンボリックレグレッション
• Authors: Martin Vastl, Jon\'a\v{s} Kulh\'anek, Ji\v{r}\'i Kubal\'ik, Erik Derner, Robert Babu\v{s}ka
• Abstract要約: そこで我々はSymFormerという変圧器に基づく手法を提案し,各シンボルと対応する定数を同時に出力することで式を予測する。 我々は,SymFormerが2つの最先端メソッドを高速な推論で上回り,その性能をベンチマークで示す。
• 参考スコア（独自算出の注目度）: 2.2049183478692584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many real-world problems can be naturally described by mathematical formulas. The task of finding formulas from a set of observed inputs and outputs is called symbolic regression. Recently, neural networks have been applied to symbolic regression, among which the transformer-based ones seem to be the most promising. After training the transformer on a large number of formulas (in the order of days), the actual inference, i.e., finding a formula for new, unseen data, is very fast (in the order of seconds). This is considerably faster than state-of-the-art evolutionary methods. The main drawback of transformers is that they generate formulas without numerical constants, which have to be optimized separately, so yielding suboptimal results. We propose a transformer-based approach called SymFormer, which predicts the formula by outputting the individual symbols and the corresponding constants simultaneously. This leads to better performance in terms of fitting the available data. In addition, the constants provided by SymFormer serve as a good starting point for subsequent tuning via gradient descent to further improve the performance. We show on a set of benchmarks that SymFormer outperforms two state-of-the-art methods while having faster inference.
• Abstract（参考訳）: 多くの実世界の問題は数学的公式によって自然に記述できる。 観測された入力と出力の集合から公式を見つけるタスクは記号回帰と呼ばれる。 近年,シンボリック回帰にニューラルネットワークが適用され,トランスフォーマーベースが最も有望と思われる。 変圧器を多数の式(日の順)で訓練した後、実際の推論、すなわち新しい、目に見えないデータの式を見つけることは、非常に高速(秒順)である。 これは最先端の進化法よりもかなり速い。 変圧器の主な欠点は、数値定数を持たない式を生成することである。 我々はSymFormerと呼ばれる変圧器に基づく手法を提案し、個々のシンボルと対応する定数を同時に出力することで式を予測する。 これにより、利用可能なデータに適合するという点でパフォーマンスが向上する。 さらに、SymFormerが提供する定数は、さらにパフォーマンスを向上させるために勾配降下による後続のチューニングの出発点として機能する。 我々は,SymFormerが2つの最先端メソッドを高速な推論で上回るベンチマークを示す。

関連論文リスト

• Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
  そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。 出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-06-16T17:24:14Z)
• Temporal Latent Bottleneck: Synthesis of Fast and Slow Processing Mechanisms in Sequence Learning [85.95599675484341]
  リカレントニューラルネットワークは、時間的に圧縮された表現の学習に対して強い誘導バイアスを持つ。 変換器は時間的に圧縮された表現を学習する際の帰納的バイアスがほとんどない。
  論文  参考訳（メタデータ） (2022-05-30T00:12:33Z)
• End-to-end symbolic regression with transformers [20.172752966322214]
  シンボリック・マグニチュード・レグレッションは、通常、2段階の手順を高速に予測する難しいタスクである。 本稿では,本モデルが情報変換器としてニューラル・ザ・定数にアプローチしていることを示す。
  論文  参考訳（メタデータ） (2022-04-22T06:55:43Z)
• Iterative Decoding for Compositional Generalization in Transformers [5.269770493488338]
  シーケンシャル・ツー・シークエンス・ラーニングでは、トランスフォーマーは極端に長い例に対して正しい出力を予測できないことが多い。 本稿では,Seq2seq学習に代わる反復復号法を提案する。 反復復号により訓練されたトランスフォーマーはPCFGデータセット上でセq2seqよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-08T14:52:25Z)
• nnFormer: Interleaved Transformer for Volumetric Segmentation [50.10441845967601]
  本稿では,自己意図と畳み込みを実証的に組み合わせた,インターリーブアーキテクチャを備えた強力なセグメンテーションモデルであるnnFormerを紹介する。 nnFormerは、SynapseとACDCの2つの一般的なデータセットで、以前のTransformerベースのメソッドよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2021-09-07T17:08:24Z)
• Neural Symbolic Regression that Scales [58.45115548924735]
  本稿では,大規模事前学習を利用した最初の記号回帰手法を提案する。 我々は,非有界な方程式の集合を手続き的に生成し,同時にインプット・アウトプット・ペアの集合からシンボル方程式を予測するためにトランスフォーマーを事前訓練する。
  論文  参考訳（メタデータ） (2021-06-11T14:35:22Z)
• High-performance symbolic-numerics via multiple dispatch [52.77024349608834]
  Symbolics.jlは拡張可能なシンボルシステムで、動的多重ディスパッチを使用してドメインのニーズに応じて振る舞いを変更する。 実装に依存しないアクションでジェネリックapiを形式化することで、システムに最適化されたデータ構造を遡及的に追加できることを示します。 従来の用語書き換えシンプリファイアと電子グラフベースの用語書き換えシンプリファイアをスワップする機能を実証する。
  論文  参考訳（メタデータ） (2021-05-09T14:22:43Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)
• AI Feynman 2.0: Pareto-optimal symbolic regression exploiting graph modularity [8.594811303203581]
  本稿では,Pareto-Optimal式にデータを適合させようとする記号回帰法の改良について述べる。 これは、通常、ノイズや悪いデータに対して、桁違いに堅牢であることによって、過去の最先端を改善する。 ニューラルネットワークの勾配特性から一般化対称性を発見する手法を開発した。
  論文  参考訳（メタデータ） (2020-06-18T18:01:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。