論文の概要: Discovering Mathematical Formulas from Data via GPT-guided Monte Carlo Tree Search

• arxiv url: http://arxiv.org/abs/2401.14424v2
• Date: Mon, 29 Jan 2024 09:07:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 20:02:17.255702
• Title: Discovering Mathematical Formulas from Data via GPT-guided Monte Carlo Tree Search
• Title（参考訳）: GPT誘導モンテカルロ木探索によるデータから数式を発見する
• Authors: Yanjie Li, Weijun Li, Lina Yu, Min Wu, Jingyi Liu, Wenqiang Li, Meilan Hao, Shu Wei, Yusong Deng
• Abstract要約: SR-GPTはモンテカルロ木探索と生成事前学習変換器を組み合わせた新しいシンボリック回帰アルゴリズムである。 SR-GPTを10以上の記号的回帰データセットから得られた222の式を用いて広範囲に評価した。
• 参考スコア（独自算出の注目度）: 13.136507215114722
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Finding a concise and interpretable mathematical formula that accurately describes the relationship between each variable and the predicted value in the data is a crucial task in scientific research, as well as a significant challenge in artificial intelligence. This problem is referred to as symbolic regression, which is an NP-hard problem. Last year, a symbolic regression method based on Monte Carlo Tree Search (MCTS) was proposed and sota was obtained on multiple datasets. While this algorithm has shown considerable improvement in recovering target expressions compared to previous methods, the lack of guidance during the MCTS process severely hampers its search efficiency. Recently, some algorithms have added a pre-trained policy network to guide the search of MCTS, but the pre-trained policy network generalizes poorly. To balance efficiency and generality, we propose SR-GPT combining ideas from AlphaZero. SR-GPT is a new symbolic regression algorithm that combines MCTS with a Generative Pre-Trained Transformer (GPT). By using GPT to guide the MCTS process, the search efficiency of MCTS is significantly improved. Next, we utilize the MCTS results to further refine the GPT, enhancing its capabilities and providing more accurate guidance for the MCTS process. MCTS and GPT are coupled together and optimize each other until the target expression is successfully determined. We conducted extensive evaluations of SR-GPT using 222 expressions sourced from over 10 different symbolic regression datasets. The experimental results demonstrate that SR-GPT outperforms existing state-of-the-art algorithms in accurately recovering symbolic expressions both with and without added noise.
• Abstract（参考訳）: それぞれの変数とデータ内の予測値の関係を正確に記述する簡潔で解釈可能な数学的公式を見つけることは、科学研究において重要なタスクであり、人工知能における重要な課題である。 この問題は記号回帰 (symbolic regression) と呼ばれ、np-hard問題である。 昨年,モンテカルロ木探索(MCTS)に基づく記号回帰法が提案され,複数のデータセットからソータが得られた。 このアルゴリズムは,従来の手法に比べて目標表現の回復に著しく改善されているが,MCTSプロセスにおけるガイダンスの欠如は探索効率を著しく損なう。 近年,MCTSの探索を誘導する事前学習型ポリシーネットワークが追加されたアルゴリズムもあるが,事前学習型ポリシーネットワークの一般化は不十分である。 そこで我々は,AlphaZeroのアイデアを組み合わせたSR-GPTを提案する。 SR-GPTは、MCTSとGPT(Generative Pre-Trained Transformer)を組み合わせた新しいシンボリック回帰アルゴリズムである。 GPTによるMCTSプロセスの誘導により,MCTSの探索効率は大幅に向上した。 次に、MCTSの結果を利用して、GPTをさらに洗練し、その能力を高め、MCTSプロセスのより正確なガイダンスを提供する。 MCTSとGPTは結合され、目標表現が決定されるまで最適化される。 SR-GPTを10以上の記号的回帰データセットから得られた222の式を用いて広範囲に評価した。 実験の結果、SR-GPTは既存の最先端アルゴリズムより優れており、雑音を伴わずともシンボル表現を正確に復元できることがわかった。

関連論文リスト

• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• Discovering symbolic expressions with parallelized tree search [59.92040079807524]
  記号回帰は、データから簡潔で解釈可能な数学的表現を発見する能力のおかげで、科学研究において重要な役割を果たす。 既存のアルゴリズムは、複雑性の問題に対処する際の精度と効率の重要なボトルネックに直面してきた。 本稿では,限定データから汎用数学的表現を効率的に抽出する並列木探索(PTS)モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-05T10:41:15Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Generative Pre-Trained Transformer for Symbolic Regression Base In-Context Reinforcement Learning [12.660401635672967]
  観測データから数学的公式を見つけることは、科学研究の大きな要求である。 フォーミュラGPTは4つのベースラインと比較して適合性において最先端の性能を達成する。
  論文  参考訳（メタデータ） (2024-04-09T14:08:47Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Transformer-based Planning for Symbolic Regression [18.90700817248397]
  シンボリック・レグレッションのためのトランスフォーマーに基づく計画戦略であるTPSRを提案する。 従来の復号法とは異なり、TPSRは精度や複雑さなど、微分不可能なフィードバックの統合を可能にする。 我々の手法は最先端の手法より優れており、モデルの適合・複雑性トレードオフ、象徴的能力、騒音に対する堅牢性を高めている。
  論文  参考訳（メタデータ） (2023-03-13T03:29:58Z)
• Deep Generative Symbolic Regression with Monte-Carlo-Tree-Search [29.392036559507755]
  記号回帰は数値データから記号表現を学習する問題である。 手続き的に生成した合成データセットに基づいてトレーニングされたディープニューラルモデルは、競合性能を示した。 そこで本研究では,モンテカルロ木探索手法に基づいて,両世界の長所を提供する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-02-22T09:10:20Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• Zoetrope Genetic Programming for Regression [2.642406403099596]
  Zoetrope Genetic Programming (ZGP)アルゴリズムは、数学的表現のオリジナルの表現に基づいている。 ZGPは多数のパブリックドメイン回帰データセットを使用して検証される。
  論文  参考訳（メタデータ） (2021-02-26T10:47:10Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。