論文の概要: Generative Pre-Trained Transformer for Symbolic Regression Base In-Context Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2404.06330v1
- Date: Tue, 9 Apr 2024 14:08:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 14:30:51.127850
- Title: Generative Pre-Trained Transformer for Symbolic Regression Base In-Context Reinforcement Learning
- Title（参考訳）: シンボリック回帰ベースインコンテクスト強化学習のための生成事前学習変換器
- Authors: Yanjie Li, Weijun Li, Lina Yu, Min Wu, Jingyi Liu, Wenqiang Li, Meilan Hao, Shu Wei, Yusong Deng,
- Abstract要約: 観測データから数学的公式を見つけることは、科学研究の大きな要求である。
フォーミュラGPTは4つのベースラインと比較して適合性において最先端の性能を達成する。
- 参考スコア（独自算出の注目度）: 12.660401635672967
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The mathematical formula is the human language to describe nature and is the essence of scientific research. Finding mathematical formulas from observational data is a major demand of scientific research and a major challenge of artificial intelligence. This area is called symbolic regression. Originally symbolic regression was often formulated as a combinatorial optimization problem and solved using GP or reinforcement learning algorithms. These two kinds of algorithms have strong noise robustness ability and good Versatility. However, inference time usually takes a long time, so the search efficiency is relatively low. Later, based on large-scale pre-training data proposed, such methods use a large number of synthetic data points and expression pairs to train a Generative Pre-Trained Transformer(GPT). Then this GPT can only need to perform one forward propagation to obtain the results, the advantage is that the inference speed is very fast. However, its performance is very dependent on the training data and performs poorly on data outside the training set, which leads to poor noise robustness and Versatility of such methods. So, can we combine the advantages of the above two categories of SR algorithms? In this paper, we propose \textbf{FormulaGPT}, which trains a GPT using massive sparse reward learning histories of reinforcement learning-based SR algorithms as training data. After training, the SR algorithm based on reinforcement learning is distilled into a Transformer. When new test data comes, FormulaGPT can directly generate a "reinforcement learning process" and automatically update the learning policy in context. Tested on more than ten datasets including SRBench, formulaGPT achieves the state-of-the-art performance in fitting ability compared with four baselines. In addition, it achieves satisfactory results in noise robustness, versatility, and inference efficiency.
- Abstract（参考訳）: 数学的公式は自然を記述する人間の言語であり、科学研究の本質である。
観測データから数学的公式を見つけることは、科学研究の大きな需要であり、人工知能の大きな課題である。
この領域は記号回帰と呼ばれる。
当初、記号回帰は組合せ最適化問題として定式化され、GPアルゴリズムや強化学習アルゴリズムを用いて解かれた。
これらの2種類のアルゴリズムは、強いノイズ堅牢性と優れたVersatilityを持つ。
しかし、推論には通常長い時間がかかるため、探索効率は比較的低い。
その後、大規模な事前学習データに基づいて、生成事前学習変換器(GPT)を訓練するために、多数の合成データポイントと式ペアを使用する。
そして、このGPTは結果を得るためには1つの前方伝播のみを実行する必要があり、その利点は推論速度が非常に速いことである。
しかし、その性能はトレーニングデータに非常に依存しており、トレーニングセット外のデータにはあまり依存しないため、そのような手法のノイズ堅牢性やVersatilityが低下する。
では、上記の2つのカテゴリのSRアルゴリズムの利点を組み合わせてみましょうか。
本稿では,強化学習に基づくSRアルゴリズムの巨額の報酬学習履歴をトレーニングデータとして,GPTをトレーニングする \textbf{FormulaGPT} を提案する。
訓練後、強化学習に基づくSRアルゴリズムを変換器に蒸留する。
新しいテストデータがやってくると、フォーミュラGPTは直接「強化学習プロセス」を生成し、文脈で学習ポリシーを自動的に更新する。
SRBenchを含む10以上のデータセットでテストした結果、フォーミュラGPTは4つのベースラインと比較して、適合性の最先端のパフォーマンスを実現している。
さらに、ノイズ堅牢性、汎用性、推論効率の良好な結果が得られる。
関連論文リスト
- Discovering symbolic expressions with parallelized tree search [59.92040079807524]
記号回帰は、データから簡潔で解釈可能な数学的表現を発見する能力のおかげで、科学研究において重要な役割を果たす。
既存のアルゴリズムは、複雑性の問題に対処する際の精度と効率の重要なボトルネックに直面してきた。
本稿では,限定データから汎用数学的表現を効率的に抽出する並列木探索(PTS)モデルを提案する。
論文 参考訳（メタデータ） (2024-07-05T10:41:15Z) - MMSR: Symbolic Regression is a Multimodal Task [12.660401635672967]
記号回帰は、もともと最適化問題として定式化され、GPと強化学習アルゴリズムがそれを解決するために用いられた。
この問題を解決するために、研究者はデータから表現へのマッピングを翻訳問題として扱う。
本稿では,複数の主流データセット上で最も高度な結果が得られるMMSRを提案する。
論文 参考訳（メタデータ） (2024-02-28T08:29:42Z) - Discovering Mathematical Formulas from Data via GPT-guided Monte Carlo
Tree Search [13.136507215114722]
シンボル回帰のための新しいアルゴリズムSR-GPTを紹介する。
モンテカルロ木探索(MCTS)とGPT(Generative Pre-Trained Transformer)を統合している。
論文 参考訳（メタデータ） (2024-01-24T07:47:04Z) - Efficient Grammatical Error Correction Via Multi-Task Training and
Optimized Training Schedule [55.08778142798106]
原文と修正文のアライメントを利用する補助タスクを提案する。
我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。
トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
論文 参考訳（メタデータ） (2023-11-20T14:50:12Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-08T05:44:06Z) - Deep Generative Symbolic Regression with Monte-Carlo-Tree-Search [29.392036559507755]
記号回帰は数値データから記号表現を学習する問題である。
手続き的に生成した合成データセットに基づいてトレーニングされたディープニューラルモデルは、競合性能を示した。
そこで本研究では,モンテカルロ木探索手法に基づいて,両世界の長所を提供する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-02-22T09:10:20Z) - Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。
データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。
この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
論文 参考訳（メタデータ） (2022-09-29T18:11:01Z) - An Empirical Analysis of Recurrent Learning Algorithms In Neural Lossy
Image Compression Systems [73.48927855855219]
近年のディープラーニングの進歩により、JPEGとJPEG 2000を標準のKodakベンチマークで上回る画像圧縮アルゴリズムが実現している。
本稿では,最近の最先端ハイブリッドニューラル圧縮アルゴリズムの大規模比較を行う。
論文 参考訳（メタデータ） (2022-01-27T19:47:51Z) - Learning Fast Sample Re-weighting Without Reward Data [41.92662851886547]
本稿では,新たな報酬データを必要としない学習ベース高速サンプル再重み付け手法を提案する。
実験により,提案手法は,ラベルノイズや長い尾の認識に関する芸術的状況と比較して,競争力のある結果が得られることを示した。
論文 参考訳（メタデータ） (2021-09-07T17:30:56Z) - Transformer Networks for Data Augmentation of Human Physical Activity
Recognition [61.303828551910634]
Recurrent Generative Adrial Networks (RGAN)のような最先端技術モデルは、リアルな合成データを生成するために使用される。
本稿では,データにグローバルな注意を払っているトランスフォーマーベースの生成敵ネットワークを,PAMAP2とリアルワールドヒューマンアクティビティ認識データセットでRGANと比較する。
論文 参考訳（メタデータ） (2021-09-02T16:47:29Z) - Convolutional Sparse Coding Fast Approximation with Application to
Seismic Reflectivity Estimation [9.005280130480308]
2～5回の反復で畳み込みスパース符号の良好な近似を生成する古典的反復しきい値アルゴリズムの高速化版を提案する。
提案手法の性能は, 合成シナリオと実データシナリオの両方において, 地震インバージョン問題によって実証される。
論文 参考訳（メタデータ） (2021-06-29T12:19:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。