論文の概要: LLM-SR: Scientific Equation Discovery via Programming with Large Language Models

• arxiv url: http://arxiv.org/abs/2404.18400v3
• Date: Thu, 20 Mar 2025 16:37:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 15:30:51.676605
• Title: LLM-SR: Scientific Equation Discovery via Programming with Large Language Models
• Title（参考訳）: LLM-SR: 大規模言語モデルを用いたプログラミングによる科学的方程式発見
• Authors: Parshin Shojaee, Kazem Meidani, Shashank Gupta, Amir Barati Farimani, Chandan K Reddy,
• Abstract要約: 現在の方程式発見法は、典型的には記号回帰と呼ばれ、主にデータのみから方程式を抽出することに焦点を当てている。 LLM-SRは,大規模言語モデルの科学的知識とロバストなコード生成能力を活用する新しいアプローチである。 また, LLM-SRは, 最先端の記号的回帰ベースラインを著しく上回る物理精度の方程式を発見した。
• 参考スコア（独自算出の注目度）: 17.64574496035502
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mathematical equations have been unreasonably effective in describing complex natural phenomena across various scientific disciplines. However, discovering such insightful equations from data presents significant challenges due to the necessity of navigating extremely large combinatorial hypothesis spaces. Current methods of equation discovery, commonly known as symbolic regression techniques, largely focus on extracting equations from data alone, often neglecting the domain-specific prior knowledge that scientists typically depend on. They also employ limited representations such as expression trees, constraining the search space and expressiveness of equations. To bridge this gap, we introduce LLM-SR, a novel approach that leverages the extensive scientific knowledge and robust code generation capabilities of Large Language Models (LLMs) to discover scientific equations from data. Specifically, LLM-SR treats equations as programs with mathematical operators and combines LLMs' scientific priors with evolutionary search over equation programs. The LLM iteratively proposes new equation skeleton hypotheses, drawing from its domain knowledge, which are then optimized against data to estimate parameters. We evaluate LLM-SR on four benchmark problems across diverse scientific domains (e.g., physics, biology), which we carefully designed to simulate the discovery process and prevent LLM recitation. Our results demonstrate that LLM-SR discovers physically accurate equations that significantly outperform state-of-the-art symbolic regression baselines, particularly in out-of-domain test settings. We also show that LLM-SR's incorporation of scientific priors enables more efficient equation space exploration than the baselines. Code and data are available: https://github.com/deep-symbolic-mathematics/LLM-SR
• Abstract（参考訳）: 数学の方程式は、様々な科学分野にわたる複雑な自然現象を記述するのに不合理に有効である。 しかし、そのような洞察に富んだ方程式をデータから発見することは、非常に大きな組合せ仮説空間をナビゲートする必要があるため、大きな課題となる。 現在の方程式発見法、通称記号回帰法は、主にデータのみから方程式を抽出することに焦点を当てており、しばしば科学者が一般的に依存する領域固有の事前知識を無視している。 また、表現木、探索空間の制約、方程式の表現性といった制限された表現も採用している。 このギャップを埋めるために,LLM(Large Language Models)の広範な科学的知識とロバストなコード生成能力を活用して,データから科学的方程式を探索する,新たなアプローチ LLM-SR を導入する。 具体的には、LLM-SRは方程式を数学的演算子とプログラムとして扱い、LLMの科学的先行と方程式プログラムの進化的探索を組み合わせている。 LLMは、そのドメイン知識から引き出された新しい方程式スケルトン仮説を反復的に提案し、パラメータを推定するためにデータに対して最適化する。 我々は, LLM-SRを科学的領域(物理, 生物学など)にまたがる4つのベンチマーク問題に対して評価し, 発見過程をシミュレートし, LLMのリサイクリングを防止するために慎重に設計した。 以上の結果から,LLM-SRは,特にドメイン外テスト設定において,最先端の記号的回帰ベースラインを著しく上回る物理精度の方程式を発見した。 また, LLM-SR の科学的先行性の導入により, 基礎線よりも効率的な方程式空間探索が可能であることを示す。 コードとデータは https://github.com/deep-symbolic-mathematics/LLM-SR

関連論文リスト

• LLM-SRBench: A New Benchmark for Scientific Equation Discovery with Large Language Models [20.800445482814958]
  LLM(Large Language Models)は、仮説生成に埋め込まれた科学的知識を活用する可能性に関心を寄せている。 既存のベンチマークは、LLMによる暗記の影響を受けやすい一般的な方程式に依存しており、発見を反映しないインフレーションされたパフォーマンス指標に繋がる。 本稿では,4つの領域にまたがる239の課題を伴う総合的なベンチマークであるLSM-SRBenchを紹介する。 我々のベンチマークは、2つの主要なカテゴリで構成されている: LSR-Transformは、一般的な物理モデルからあまり一般的でない数学的表現に変換し、記憶された形式を超えた推論をテストする。
  論文  参考訳（メタデータ） (2025-04-14T17:00:13Z)
• Auto-Bench: An Automated Benchmark for Scientific Discovery in LLMs [23.608962459019278]
  自然科学と社会科学の両方において科学的発見のための大規模言語モデル(LLM)を評価するための新しいベンチマークを導入する。 我々のベンチマークは因果グラフ発見の原理に基づいており、隠れ構造を発見し、有効な正当性を生成することを含む最適な決定を行うためのモデルに挑戦する。 我々は,GPT-4,Gemini,Qwen,Claude,Llamaを含む最先端のLCMを評価し,問題を複雑化するにつれて性能低下を観測した。
  論文  参考訳（メタデータ） (2025-02-21T05:35:20Z)
• Can a Large Language Model Learn Matrix Functions In Context? [3.7478782183628634]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を通じて複雑なタスクを解く能力を実証した。 本稿では,LLMの非線形数値計算能力について検討し,特異値分解関数に着目した。
  論文  参考訳（メタデータ） (2024-11-24T00:33:43Z)
• AutoTurb: Using Large Language Models for Automatic Algebraic Model Discovery of Turbulence Closure [15.905369652489505]
  本研究では,LLMを用いてレイノルズ応力モデルを修正するための表現を自動的に検出する新しいフレームワークを提案する。 提案手法は,Re = 10,595 で周期的な丘を横断する流れを分離するためのものである。 The corrective RANS can improve the prediction for the Reynolds stress and mean velocity field。
  論文  参考訳（メタデータ） (2024-10-14T16:06:35Z)
• MaD-Scientist: AI-based Scientist solving Convection-Diffusion-Reaction Equations Using Massive PINN-Based Prior Data [22.262191225577244]
  科学的基礎モデル(SFM)にも同様のアプローチが適用できるかどうかを考察する。 数学辞書の任意の線形結合によって構築された偏微分方程式(PDE)の解の形で、低コストな物理情報ニューラルネットワーク(PINN)に基づく近似された事前データを収集する。 本研究では,1次元対流拡散反応方程式に関する実験的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-10-09T00:52:00Z)
• Symbolic Regression with a Learned Concept Library [9.395222766576342]
  本稿では,データセットを最もよく説明できる,コンパクトなプログラム仮説を探索する手法を提案する。 我々のアルゴリズムはLaSRと呼ばれ、ゼロショットクエリを大規模言語モデルに使用して概念を発見し、進化させます。 LaSRは、ディープラーニングと進化的アルゴリズムに基づいて、最先端のSRアプローチを大幅に上回っている。
  論文  参考訳（メタデータ） (2024-09-14T08:17:30Z)
• Discovering symbolic expressions with parallelized tree search [59.92040079807524]
  記号回帰は、データから簡潔で解釈可能な数学的表現を発見する能力のおかげで、科学研究において重要な役割を果たす。 既存のアルゴリズムは、複雑性の問題に対処する際の精度と効率の重要なボトルネックに直面してきた。 本稿では,限定データから汎用数学的表現を効率的に抽出する並列木探索(PTS)モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-05T10:41:15Z)
• A Comprehensive Survey of Scientific Large Language Models and Their Applications in Scientific Discovery [68.48094108571432]
  大規模言語モデル(LLM)は、テキストやその他のデータ処理方法に革命をもたらした。 我々は,科学LLM間のクロスフィールドおよびクロスモーダル接続を明らかにすることで,研究ランドスケープのより総合的なビューを提供することを目指している。
  論文  参考訳（メタデータ） (2024-06-16T08:03:24Z)
• MLLM-SR: Conversational Symbolic Regression base Multi-Modal Large Language Models [13.136507215114722]
  MLLM-SRは,要求を自然言語で記述することで,要求を満たす表現を生成できる対話型記号回帰法である。 我々は,MLLM-SRが自然言語命令に付加される事前知識を十分に理解できることを実験的に実証した。
  論文  参考訳（メタデータ） (2024-06-08T09:17:54Z)
• LLM4ED: Large Language Models for Automatic Equation Discovery [0.8644909837301149]
  我々は、自然言語に基づくプロンプトを利用して、データから支配方程式を自動的にマイニングする大規模言語モデルをガイドする新しいフレームワークを導入する。 具体的には、まずLLMの生成能力を利用して、文字列形式で様々な方程式を生成し、次に観測に基づいて生成された方程式を評価する。 実験は偏微分方程式と常微分方程式の両方で広範囲に行われる。
  論文  参考訳（メタデータ） (2024-05-13T14:03:49Z)
• Mitigating Catastrophic Forgetting in Large Language Models with Self-Synthesized Rehearsal [49.24054920683246]
  大規模言語モデル(LLM)は、連続学習中に破滅的な忘れ込みに悩まされる。 自己合成リハーサル(Self-Synthesized Rehearsal, SSR)と呼ばれるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-02T16:11:23Z)
• Deep Generative Symbolic Regression [83.04219479605801]
  記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。 既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。 本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:05:31Z)
• Discovering Interpretable Physical Models using Symbolic Regression and Discrete Exterior Calculus [55.2480439325792]
  本稿では,記号回帰(SR)と離散指数計算(DEC)を組み合わせて物理モデルの自動発見を行うフレームワークを提案する。 DECは、SRの物理問題への最先端の応用を越えている、場の理論の離散的な類似に対して、ビルディングブロックを提供する。 実験データから連続体物理の3つのモデルを再発見し,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-10T13:23:05Z)
• Exploring Equation as a Better Intermediate Meaning Representation for Numerical Reasoning [53.2491163874712]
  我々は数値推論の問題を解くために方程式をIMRとして利用する。 本稿では、方程式(ブリッジ)の生成を分解したブースティング数値推論法を提案する。 本手法では,GSM8K,SVAMP,Algebraデータセットの2.2%,0.9%,1.7%の性能向上を実現している。
  論文  参考訳（メタデータ） (2023-08-21T09:35:33Z)
• Deep learning applied to computational mechanics: A comprehensive review, state of the art, and the classics [77.34726150561087]
  人工知能,特に深層学習(DL)の最近の進歩を概観する。 ハイブリッドおよび純粋機械学習(ML)の手法について論じる。 AIの歴史と限界は、特に古典の誤解や誤解を指摘し、議論され、議論される。
  論文  参考訳（メタデータ） (2022-12-18T02:03:00Z)
• DySMHO: Data-Driven Discovery of Governing Equations for Dynamical Systems via Moving Horizon Optimization [77.34726150561087]
  本稿では,スケーラブルな機械学習フレームワークである移動水平最適化(DySMHO)による動的システムの発見について紹介する。 DySMHOは、基底関数の大きな辞書から基礎となる支配方程式を逐次学習する。 標準非線形力学系の例は、DySMHOが規則を正確に回復できることを示すために用いられる。
  論文  参考訳（メタデータ） (2021-07-30T20:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。