論文の概要: Transformer-based Planning for Symbolic Regression
- arxiv url: http://arxiv.org/abs/2303.06833v1
- Date: Mon, 13 Mar 2023 03:29:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 16:42:49.778790
- Title: Transformer-based Planning for Symbolic Regression
- Title(参考訳): 変圧器を用いたシンボリック回帰計画
- Authors: Parshin Shojaee, Kazem Meidani, Amir Barati Farimani, Chandan K. Reddy
- Abstract要約: シンボリック回帰のためのトランスフォーマーに基づく計画戦略を提案する。
この戦略は、モンテカルロ木探索をトランスフォーマーデコーディングプロセスに組み込む。
我々の手法は最先端の手法よりも優れていることを示す。
- 参考スコア(独自算出の注目度): 8.085533911328577
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Symbolic regression (SR) is a challenging task in machine learning that
involves finding a mathematical expression for a function based on its values.
Recent advancements in SR have demonstrated the efficacy of pretrained
transformer-based models for generating equations as sequences, which benefit
from large-scale pretraining on synthetic datasets and offer considerable
advantages over GP-based methods in terms of inference time. However, these
models focus on supervised pretraining goals borrowed from text generation and
ignore equation-specific objectives like accuracy and complexity. To address
this, we propose TPSR, a Transformer-based Planning strategy for Symbolic
Regression that incorporates Monte Carlo Tree Search into the transformer
decoding process. TPSR, as opposed to conventional decoding strategies, allows
for the integration of non-differentiable feedback, such as fitting accuracy
and complexity, as external sources of knowledge into the equation generation
process. Extensive experiments on various datasets show that our approach
outperforms state-of-the-art methods, enhancing the model's fitting-complexity
trade-off, extrapolation abilities, and robustness to noise. We also
demonstrate that the utilization of various caching mechanisms can further
enhance the efficiency of TPSR.
- Abstract(参考訳): 記号回帰(SR)は、その値に基づいて関数の数学的表現を見つけることを含む機械学習における挑戦的なタスクである。
SRの最近の進歩は、合成データセットの大規模事前学習の恩恵を受け、推論時間の観点からGPベースの手法よりもかなりの利点がある、配列として方程式を生成するための事前訓練されたトランスフォーマーベースのモデルの有効性を実証している。
しかし、これらのモデルはテキスト生成から借りた教師付き事前学習目標に焦点を当て、精度や複雑さといった方程式固有の目的を無視している。
そこで本研究では,モンテカルロ木探索をトランスフォーマ復号処理に組み込んだ,トランスフォーマに基づくシンボリック回帰計画戦略TPSRを提案する。
TPSRは、従来の復号法とは対照的に、方程式生成プロセスに外部の知識源として、精度や複雑さなどの非微分可能なフィードバックを統合することができる。
様々なデータセットに対する大規模な実験により、我々のアプローチは最先端の手法よりも優れており、モデルの適合・複雑度トレードオフ、外挿能力、ノイズに対する堅牢性を高めている。
また,様々なキャッシング機構の活用により,tpsrの効率がさらに向上することを示す。
関連論文リスト
- SymbolNet: Neural Symbolic Regression with Adaptive Dynamic Pruning [1.1313585906598267]
モデル重み,入力特徴,数学的演算子を1つのトレーニングで動的に刈り取ることができる新しいフレームワークにおいて,記号回帰に対するニューラルネットワークアプローチを提案する。
LHCジェットタグ処理におけるモデルの有効性を実証するため,O$以上の入力を持つデータセットを効率的に処理できない既存のシンボリックレグレッション手法のほとんどとは対照的に,本モデルの有効性を実証する。
論文 参考訳(メタデータ) (2024-01-18T12:51:38Z) - Deep Generative Symbolic Regression [83.04219479605801]
記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。
既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。
本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
論文 参考訳(メタデータ) (2023-12-30T17:05:31Z) - Recurrent neural networks and transfer learning for elasto-plasticity in
woven composites [0.0]
本稿では, 織物のメソスケールシミュレーションの代用として, リカレントニューラルネットワーク(RNN)モデルを提案する。
平均場モデルは、弾塑性挙動を表す包括的データセットを生成する。
シミュレーションでは、任意の6次元ひずみヒストリーを用いて、ランダムウォーキング時の応力を原課題として、循環荷重条件を目標課題として予測する。
論文 参考訳(メタデータ) (2023-11-22T14:47:54Z) - Transformers as Statisticians: Provable In-Context Learning with
In-Context Algorithm Selection [88.23337313766353]
この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。
コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。
エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
論文 参考訳(メタデータ) (2023-06-07T17:59:31Z) - Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。
単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文 参考訳(メタデータ) (2023-05-26T00:43:02Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳(メタデータ) (2023-05-25T10:58:46Z) - Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。
状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。
特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-12-17T00:26:31Z) - SymbolicGPT: A Generative Transformer Model for Symbolic Regression [3.685455441300801]
シンボル回帰のための新しいトランスフォーマーベース言語モデルであるSybolicGPTを提案する。
本モデルでは,精度,実行時間,データ効率に関して,競合モデルと比較して高い性能を示す。
論文 参考訳(メタデータ) (2021-06-27T03:26:35Z) - Deep Transformer Networks for Time Series Classification: The NPP Safety
Case [59.20947681019466]
時間依存nppシミュレーションデータをモデル化するために、教師付き学習方法でトランスフォーマと呼ばれる高度なテンポラルニューラルネットワークを使用する。
トランスはシーケンシャルデータの特性を学習し、テストデータセット上で約99%の分類精度で有望な性能が得られる。
論文 参考訳(メタデータ) (2021-04-09T14:26:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。