論文の概要: In Context Learning and Reasoning for Symbolic Regression with Large Language Models

• arxiv url: http://arxiv.org/abs/2410.17448v2
• Date: Wed, 12 Mar 2025 13:14:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:37:42.752632
• Title: In Context Learning and Reasoning for Symbolic Regression with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたシンボリック回帰の文脈学習と推論
• Authors: Samiha Sharlin, Tyler R. Josephson,
• Abstract要約: 大規模言語モデル(LLM)はトランスフォーマーベースの機械学習モデルであり、明示的に訓練されていないタスクにおいて顕著なパフォーマンスを示している。 ここでは、データセットから単純で正確な方程式を見つけるための機械学習手法であるシンボリック回帰を実行するためのLLMの可能性を探る。 本稿では,戦略的なプロンプトによってモデルの性能が向上し,自然言語インタフェースが理論とデータの統合をいかに単純化するかを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Large Language Models (LLMs) are transformer-based machine learning models that have shown remarkable performance in tasks for which they were not explicitly trained. Here, we explore the potential of LLMs to perform symbolic regression -- a machine-learning method for finding simple and accurate equations from datasets. We prompt GPT-4 to suggest expressions from data, which are then optimized and evaluated using external Python tools. These results are fed back to GPT-4, which proposes improved expressions while optimizing for complexity and loss. Using chain-of-thought prompting, we instruct GPT-4 to analyze the data, prior expressions, and the scientific context (expressed in natural language) for each problem before generating new expressions. We evaluated the workflow in rediscovery of five well-known scientific equations from experimental data, and on an additional dataset without a known equation. GPT-4 successfully rediscovered all five equations, and in general, performed better when prompted to use a scratchpad and consider scientific context. We demonstrate how strategic prompting improves the model's performance and how the natural language interface simplifies integrating theory with data. We also observe how theory can sometimes offset noisy data and, in other cases, data can make up for poor context. Although this approach does not outperform established SR programs where target equations are more complex, LLMs can nonetheless iterate toward improved solutions while following instructions and incorporating scientific context in natural language.
• Abstract（参考訳）: 大規模言語モデル(LLM)はトランスフォーマーベースの機械学習モデルであり、明示的に訓練されていないタスクにおいて顕著なパフォーマンスを示している。 ここでは、データセットから単純で正確な方程式を見つけるための機械学習手法であるシンボリック回帰を実行するためのLLMの可能性を探る。 我々はGPT-4にデータからの表現を提案するよう促す。 これらの結果はGPT-4にフィードバックされ、複雑性と損失を最適化しながら表現の改善を提案する。 新しい表現を生成する前に、チェーン・オブ・シークレット・プロンプトを用いて、GPT-4に、各問題に関するデータ、先行表現、科学的文脈(自然言語で表される)を解析するように指示する。 実験データからよく知られた5つの科学方程式の再検討と、既知の方程式を含まない追加データセットを用いて、ワークフローを検証した。 GPT-4は5つの方程式を再発見し、一般には、スクラッチパッドの使用と科学的な文脈の考慮を促すと、より良く機能した。 本稿では,戦略的なプロンプトによってモデルの性能が向上し,自然言語インタフェースが理論とデータの統合をいかに単純化するかを示す。 また、理論が時にノイズの多いデータをオフセットする方法も観察します。 このアプローチは、ターゲット方程式がより複雑である確立されたSRプログラムよりも優れているわけではないが、LLMは、命令に従い、自然言語に科学的文脈を取り入れながら、改善された解に反復することができる。

関連論文リスト

• Automated Refactoring of Non-Idiomatic Python Code: A Differentiated Replication with LLMs [54.309127753635366]
  本研究は, GPT-4の有効性について検討し, 慣用行動の推奨と示唆について検討した。 この結果から,従来は複雑なコード解析に基づくレコメンデータの実装が求められていた,LCMの課題達成の可能性が浮き彫りになった。
  論文  参考訳（メタデータ） (2025-01-28T15:41:54Z)
• ReasonAgain: Using Extractable Symbolic Programs to Evaluate Mathematical Reasoning [54.70811660561151]
  既存の数学データセットは、最終回答または静的例から派生した中間推論ステップを用いて、大規模言語モデル(LLM)の推論能力を評価する。 モデルがプログラムへの様々な入力に対して常に正しい最終回答を生成できる場合、シンボルプログラムを自動評価の手段として利用したいと考えている。 提案手法は, 従来の静的な例と比較して, 精度の低下を観測し, 現状のLLMにおける数学推論の脆弱さを示唆する。
  論文  参考訳（メタデータ） (2024-10-24T18:02:37Z)
• OptiBench Meets ReSocratic: Measure and Improve LLMs for Optimization Modeling [62.19438812624467]
  大規模言語モデル (LLM) は数学的推論における問題解決能力を示した。 本稿では,人間可読入力と出力を用いたエンドツーエンド最適化問題のベンチマークであるOptiBenchを提案する。
  論文  参考訳（メタデータ） (2024-07-13T13:27:57Z)
• MLLM-SR: Conversational Symbolic Regression base Multi-Modal Large Language Models [13.136507215114722]
  MLLM-SRは,要求を自然言語で記述することで,要求を満たす表現を生成できる対話型記号回帰法である。 我々は,MLLM-SRが自然言語命令に付加される事前知識を十分に理解できることを実験的に実証した。
  論文  参考訳（メタデータ） (2024-06-08T09:17:54Z)
• JiuZhang3.0: Efficiently Improving Mathematical Reasoning by Training Small Data Synthesis Models [110.45794710162241]
  既存の研究は、事前学習のための大規模な数学関連のテキストを収集したり、巨大な数学問題を合成するために強力なLLMに依存している。 そこで本研究では,数学問題合成のための小さなLLMを効率的に学習し,高品質な事前学習データを効率的に生成する手法を提案する。 我々は、GPT-4 API 9.3k回の呼び出しと4.6Bデータの事前トレーニングのみを必要とする、JuZhang3.0モデルの事前トレーニングに600万の数学問題を合成する。
  論文  参考訳（メタデータ） (2024-05-23T09:43:19Z)
• LLM4ED: Large Language Models for Automatic Equation Discovery [0.8644909837301149]
  我々は、自然言語に基づくプロンプトを利用して、データから支配方程式を自動的にマイニングする大規模言語モデルをガイドする新しいフレームワークを導入する。 具体的には、まずLLMの生成能力を利用して、文字列形式で様々な方程式を生成し、次に観測に基づいて生成された方程式を評価する。 実験は偏微分方程式と常微分方程式の両方で広範囲に行われる。
  論文  参考訳（メタデータ） (2024-05-13T14:03:49Z)
• Generative Pre-Trained Transformer for Symbolic Regression Base In-Context Reinforcement Learning [12.660401635672967]
  観測データから数学的公式を見つけることは、科学研究の大きな要求である。 フォーミュラGPTは4つのベースラインと比較して適合性において最先端の性能を達成する。
  論文  参考訳（メタデータ） (2024-04-09T14:08:47Z)
• Genixer: Empowering Multimodal Large Language Models as a Powerful Data Generator [63.762209407570715]
  Genixerは4つの重要なステップからなる包括的なデータ生成パイプラインである。 LLaVA1.5でトレーニングされた合成VQAライクなデータセットは、12のマルチモーダルベンチマークのうち10のパフォーマンスを向上させる。 タスク固有のデータセットで訓練されたMLLMは、複雑な命令チューニングデータを生成する際に、GPT-4Vを超えることができる。
  論文  参考訳（メタデータ） (2023-12-11T09:44:41Z)
• Visual Instruction Tuning [79.70923292053097]
  本稿では,言語のみの GPT-4 を用いてマルチモーダルな言語イメージ命令追跡データを生成する試みについて紹介する。 このようなデータに対して,LLaVA: Large Language and Vision Assistantを導入する。 科学QAを微調整すると、LLaVAとGPT-4の相乗効果は92.53%の新しい最先端精度を達成する。
  論文  参考訳（メタデータ） (2023-04-17T17:59:25Z)
• Deep Generative Symbolic Regression with Monte-Carlo-Tree-Search [29.392036559507755]
  記号回帰は数値データから記号表現を学習する問題である。 手続き的に生成した合成データセットに基づいてトレーニングされたディープニューラルモデルは、競合性能を示した。 そこで本研究では,モンテカルロ木探索手法に基づいて,両世界の長所を提供する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-02-22T09:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。