論文の概要: Transformer-based Planning for Symbolic Regression

• arxiv url: http://arxiv.org/abs/2303.06833v4
• Date: Sun, 11 Jun 2023 23:06:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 00:50:34.824570
• Title: Transformer-based Planning for Symbolic Regression
• Title（参考訳）: 変圧器を用いたシンボリック回帰計画
• Authors: Parshin Shojaee, Kazem Meidani, Amir Barati Farimani, Chandan K. Reddy
• Abstract要約: 記号回帰は、その値に基づいて関数の数学的表現を見つけることを伴う。 SRの最近の進歩は、列として方程式を生成するための事前訓練されたトランスフォーマーモデルの有効性を実証している。 我々は,モンテカルロ木探索をトランスフォーマーデコーディングプロセスに組み込んだ,トランスフォーマーに基づく回帰計画戦略であるTPSRを提案する。
• 参考スコア（独自算出の注目度）: 8.085533911328577
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Symbolic regression (SR) is a challenging task in machine learning that involves finding a mathematical expression for a function based on its values. Recent advancements in SR have demonstrated the effectiveness of pretrained transformer-based models in generating equations as sequences, leveraging large-scale pretraining on synthetic datasets and offering notable advantages in terms of inference time over GP-based methods. However, these models primarily rely on supervised pretraining goals borrowed from text generation and overlook equation-specific objectives like accuracy and complexity. To address this, we propose TPSR, a Transformer-based Planning strategy for Symbolic Regression that incorporates Monte Carlo Tree Search into the transformer decoding process. Unlike conventional decoding strategies, TPSR enables the integration of non-differentiable feedback, such as fitting accuracy and complexity, as external sources of knowledge into the transformer-based equation generation process. Extensive experiments on various datasets show that our approach outperforms state-of-the-art methods, enhancing the model's fitting-complexity trade-off, extrapolation abilities, and robustness to noise
• Abstract（参考訳）: 記号回帰(SR)は、その値に基づいて関数の数学的表現を見つけることを含む機械学習における挑戦的なタスクである。 最近のsrの進歩は、方程式を列として生成することにおける事前訓練されたトランスフォーマーモデルの有効性を実証し、合成データセットの大規模事前トレーニングを活用し、gp法よりも推論時間に関して顕著な利点を提供している。 しかし、これらのモデルは主にテキスト生成から借りた教師付き事前学習の目標と、精度や複雑さといった方程式固有の目的に依存している。 そこで本研究では,モンテカルロ木探索をトランスフォーマ復号処理に組み込んだ,トランスフォーマに基づくシンボリック回帰計画戦略TPSRを提案する。 従来の復号法とは異なり、TPSRは知識の外部源として精度や複雑さなどの非微分可能なフィードバックを変換器ベースの方程式生成プロセスに統合することができる。 様々なデータセットに対する大規模な実験により、我々のアプローチは最先端の手法より優れており、モデルの適合・複雑度トレードオフ、外挿能力、騒音に対する堅牢性を高めていることが示された。

関連論文リスト

• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Complexity-Aware Deep Symbolic Regression with Robust Risk-Seeking Policy Gradients [20.941908494137806]
  本稿では,データ駆動型数式発見の堅牢性と解釈可能性を高めるための,新しい記号回帰手法を提案する。 DSRは最先端の手法であるDSRの成功にもかかわらず、リカレントニューラルネットワーク上に構築されており、純粋にデータ適合性によってガイドされている。 学習性能を向上させるために,トランスフォーマーとブロードスファーストサーチを併用した。
  論文  参考訳（メタデータ） (2024-06-10T19:29:10Z)
• SymbolNet: Neural Symbolic Regression with Adaptive Dynamic Pruning [1.0356366043809717]
  モデル重み,入力特徴,数学的演算子を1つのトレーニングプロセスで動的に刈り取ることができる新しいフレームワークにおいて,記号回帰に対するニューラルネットワークアプローチを提案する。 提案手法は,計算資源制約の厳しい環境下での高次元データセットに対して,FPGA上でのナノ秒スケールレイテンシによる高速な推論を実現する。
  論文  参考訳（メタデータ） (2024-01-18T12:51:38Z)
• Deep Generative Symbolic Regression [83.04219479605801]
  記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。 既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。 本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:05:31Z)
• Recurrent neural networks and transfer learning for elasto-plasticity in woven composites [0.0]
  本稿では, 織物のメソスケールシミュレーションの代用として, リカレントニューラルネットワーク(RNN)モデルを提案する。 平均場モデルは、弾塑性挙動を表す包括的データセットを生成する。 シミュレーションでは、任意の6次元ひずみヒストリーを用いて、ランダムウォーキング時の応力を原課題として、循環荷重条件を目標課題として予測する。
  論文  参考訳（メタデータ） (2023-11-22T14:47:54Z)
• Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
  いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。 我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。 本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
  論文  参考訳（メタデータ） (2023-09-11T22:42:50Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• SymbolicGPT: A Generative Transformer Model for Symbolic Regression [3.685455441300801]
  シンボル回帰のための新しいトランスフォーマーベース言語モデルであるSybolicGPTを提案する。 本モデルでは,精度,実行時間,データ効率に関して,競合モデルと比較して高い性能を示す。
  論文  参考訳（メタデータ） (2021-06-27T03:26:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。