論文の概要: Transformer-based Planning for Symbolic Regression

• arxiv url: http://arxiv.org/abs/2303.06833v2
• Date: Thu, 16 Mar 2023 04:19:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 11:29:50.324465
• Title: Transformer-based Planning for Symbolic Regression
• Title（参考訳）: 変圧器を用いたシンボリック回帰計画
• Authors: Parshin Shojaee, Kazem Meidani, Amir Barati Farimani, Chandan K. Reddy
• Abstract要約: シンボリック回帰のためのトランスフォーマーに基づく計画戦略を提案する。 この戦略は、モンテカルロ木探索をトランスフォーマーデコーディングプロセスに組み込む。 我々の手法は最先端の手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 8.085533911328577
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Symbolic regression (SR) is a challenging task in machine learning that involves finding a mathematical expression for a function based on its values. Recent advancements in SR have demonstrated the efficacy of pretrained transformer-based models for generating equations as sequences, which benefit from large-scale pretraining on synthetic datasets and offer considerable advantages over GP-based methods in terms of inference time. However, these models focus on supervised pretraining goals borrowed from text generation and ignore equation-specific objectives like accuracy and complexity. To address this, we propose TPSR, a Transformer-based Planning strategy for Symbolic Regression that incorporates Monte Carlo Tree Search into the transformer decoding process. TPSR, as opposed to conventional decoding strategies, allows for the integration of non-differentiable feedback, such as fitting accuracy and complexity, as external sources of knowledge into the equation generation process. Extensive experiments on various datasets show that our approach outperforms state-of-the-art methods, enhancing the model's fitting-complexity trade-off, extrapolation abilities, and robustness to noise. We also demonstrate that the utilization of various caching mechanisms can further enhance the efficiency of TPSR.
• Abstract（参考訳）: 記号回帰(SR)は、その値に基づいて関数の数学的表現を見つけることを含む機械学習における挑戦的なタスクである。 SRの最近の進歩は、合成データセットの大規模事前学習の恩恵を受け、推論時間の観点からGPベースの手法よりもかなりの利点がある、配列として方程式を生成するための事前訓練されたトランスフォーマーベースのモデルの有効性を実証している。 しかし、これらのモデルはテキスト生成から借りた教師付き事前学習目標に焦点を当て、精度や複雑さといった方程式固有の目的を無視している。 そこで本研究では,モンテカルロ木探索をトランスフォーマ復号処理に組み込んだ,トランスフォーマに基づくシンボリック回帰計画戦略TPSRを提案する。 TPSRは、従来の復号法とは対照的に、方程式生成プロセスに外部の知識源として、精度や複雑さなどの非微分可能なフィードバックを統合することができる。 様々なデータセットに対する大規模な実験により、我々のアプローチは最先端の手法よりも優れており、モデルの適合・複雑度トレードオフ、外挿能力、ノイズに対する堅牢性を高めている。 また,様々なキャッシング機構の活用により,tpsrの効率がさらに向上することを示す。

関連論文リスト

• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• GSR: A Generalized Symbolic Regression Approach [13.606672419862047]
  本論文では, 一般化記号回帰について述べる。 GSR法は、よく知られたシンボリック回帰ベンチマーク問題セットにおいて、最先端のいくつかの手法よりも優れていることを示す。 既存のベンチマークと比較して、より困難な新しいSRベンチマークセットであるSymSetを導入することで、GSRの強みを強調します。
  論文  参考訳（メタデータ） (2022-05-31T07:20:17Z)
• A Hybrid Framework for Sequential Data Prediction with End-to-End Optimization [0.0]
  オンライン環境での非線形予測について検討し,手作業による特徴や手作業によるモデル選択の問題を効果的に緩和するハイブリッドモデルを提案する。 逐次データからの適応的特徴抽出にはLSTM(Recurrent Neural Network)、効果的な教師付き回帰には勾配強化機構(soft GBDT)を用いる。 本稿では, 合成データに対するアルゴリズムの学習挙動と, 各種実生活データセットに対する従来の手法による性能改善について述べる。
  論文  参考訳（メタデータ） (2022-03-25T17:13:08Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Harnessing Heterogeneity: Learning from Decomposed Feedback in Bayesian Modeling [68.69431580852535]
  サブグループフィードバックを取り入れた新しいGPレグレッションを導入する。 我々の修正された回帰は、以前のアプローチと比べて、明らかにばらつきを減らし、したがってより正確な後続を減らした。 我々は2つの異なる社会問題に対してアルゴリズムを実行する。
  論文  参考訳（メタデータ） (2021-07-07T03:57:22Z)
• SymbolicGPT: A Generative Transformer Model for Symbolic Regression [3.685455441300801]
  シンボル回帰のための新しいトランスフォーマーベース言語モデルであるSybolicGPTを提案する。 本モデルでは,精度,実行時間,データ効率に関して,競合モデルと比較して高い性能を示す。
  論文  参考訳（メタデータ） (2021-06-27T03:26:35Z)
• Deep Transformer Networks for Time Series Classification: The NPP Safety Case [59.20947681019466]
  時間依存nppシミュレーションデータをモデル化するために、教師付き学習方法でトランスフォーマと呼ばれる高度なテンポラルニューラルネットワークを使用する。 トランスはシーケンシャルデータの特性を学習し、テストデータセット上で約99%の分類精度で有望な性能が得られる。
  論文  参考訳（メタデータ） (2021-04-09T14:26:25Z)
• Learning to Reweight Imaginary Transitions for Model-Based Reinforcement Learning [58.66067369294337]
  モデルが不正確または偏りがある場合、虚構軌跡はアクション値とポリシー関数を訓練するために欠落する可能性がある。 虚構遷移を適応的に再重み付けし, 未生成軌跡の負の効果を低減させる。 提案手法は,複数のタスクにおいて,最先端のモデルベースおよびモデルフリーなRLアルゴリズムより優れる。
  論文  参考訳（メタデータ） (2021-04-09T03:13:35Z)
• A Variational Infinite Mixture for Probabilistic Inverse Dynamics Learning [34.90240171916858]
  確率的局所モデルの無限混合に対する効率的な変分ベイズ推論手法を開発した。 我々は、データ駆動適応、高速予測、不連続関数とヘテロセダスティックノイズに対処する能力の組み合わせにおけるモデルのパワーを強調した。 学習したモデルを用いてBarrett-WAMマニピュレータのオンライン動的制御を行い、軌道追跡性能を大幅に改善した。
  論文  参考訳（メタデータ） (2020-11-10T16:15:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。