論文の概要: LLM4ED: Large Language Models for Automatic Equation Discovery
- arxiv url: http://arxiv.org/abs/2405.07761v2
- Date: Mon, 22 Jul 2024 07:13:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 01:31:23.038383
- Title: LLM4ED: Large Language Models for Automatic Equation Discovery
- Title（参考訳）: LLM4ED: 自動方程式発見のための大規模言語モデル
- Authors: Mengge Du, Yuntian Chen, Zhongzheng Wang, Longfeng Nie, Dongxiao Zhang,
- Abstract要約: 我々は、自然言語に基づくプロンプトを利用して、データから支配方程式を自動的にマイニングする大規模言語モデルをガイドする新しいフレームワークを導入する。
具体的には、まずLLMの生成能力を利用して、文字列形式で様々な方程式を生成し、次に観測に基づいて生成された方程式を評価する。
実験は偏微分方程式と常微分方程式の両方で広範囲に行われる。
- 参考スコア（独自算出の注目度）: 0.8644909837301149
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Equation discovery is aimed at directly extracting physical laws from data and has emerged as a pivotal research domain. Previous methods based on symbolic mathematics have achieved substantial advancements, but often require the design of implementation of complex algorithms. In this paper, we introduce a new framework that utilizes natural language-based prompts to guide large language models (LLMs) in automatically mining governing equations from data. Specifically, we first utilize the generation capability of LLMs to generate diverse equations in string form, and then evaluate the generated equations based on observations. In the optimization phase, we propose two alternately iterated strategies to optimize generated equations collaboratively. The first strategy is to take LLMs as a black-box optimizer and achieve equation self-improvement based on historical samples and their performance. The second strategy is to instruct LLMs to perform evolutionary operators for global search. Experiments are extensively conducted on both partial differential equations and ordinary differential equations. Results demonstrate that our framework can discover effective equations to reveal the underlying physical laws under various nonlinear dynamic systems. Further comparisons are made with state-of-the-art models, demonstrating good stability and usability. Our framework substantially lowers the barriers to learning and applying equation discovery techniques, demonstrating the application potential of LLMs in the field of knowledge discovery.
- Abstract（参考訳）: 方程式発見は、データから物理法則を直接抽出することを目的としており、重要な研究領域として登場した。
記号数学に基づく従来の手法は、かなりの進歩を遂げてきたが、しばしば複雑なアルゴリズムの実装の設計を必要とする。
本稿では、自然言語に基づくプロンプトを利用して、データから支配方程式を自動的にマイニングする大規模言語モデル(LLM)をガイドする新しいフレームワークを提案する。
具体的には、まずLLMの生成能力を利用して、文字列形式で様々な方程式を生成し、次に観測に基づいて生成された方程式を評価する。
最適化フェーズでは、生成した方程式を協調的に最適化するための2つの交互反復戦略を提案する。
最初の戦略は、LCMをブラックボックスオプティマイザとして、歴史的サンプルとその性能に基づく方程式自己改善を実現することである。
第2の戦略は、LLMにグローバルサーチのための進化演算子を実行するよう指示することである。
実験は偏微分方程式と常微分方程式の両方で広範囲に行われる。
その結果, このフレームワークは, 様々な非線形力学系の下で, 基礎となる物理法則を明らかにするために有効な方程式を発見できることを示した。
さらなる比較は最先端のモデルと行われ、優れた安定性とユーザビリティを示す。
本フレームワークは,LLMの知識発見分野への応用可能性を示すとともに,学習の障壁を大幅に減らし,方程式発見技術を適用している。
関連論文リスト
- On the Design and Analysis of LLM-Based Algorithms [74.7126776018275]
大規模言語モデル(LLM)はアルゴリズムのサブルーチンとして使用される。
LLMは素晴らしい経験的成功を収めた。
我々のフレームワークはLLMベースのアルゴリズムの進歩を約束している。
LLMアルゴリズムのさらなる研究を促進するため、ソースコードはhttps://github.com/modelscope/agentscope/tree/main/examples/paper_llm_based_algorithmで公開しています。
論文 参考訳（メタデータ） (2024-07-20T07:39:07Z) - Large Language Models as Surrogate Models in Evolutionary Algorithms: A Preliminary Study [5.6787965501364335]
サロゲートアシスト選択は、高価な最適化問題を解決する進化アルゴリズムの中核的なステップである。
伝統的に、これは従来の機械学習手法に依存しており、過去の評価を利用して新しいソリューションの性能を予測する。
本研究では,LLM推論機能に基づいた新しいサロゲートモデルを提案する。
論文 参考訳（メタデータ） (2024-06-15T15:54:00Z) - In-Context Symbolic Regression: Leveraging Large Language Models for Function Discovery [5.2387832710686695]
本稿では,記号回帰のタスクにLarge Language Models(LLM)を利用する,最初の包括的フレームワークを紹介する。
In-Context Symbolic Regression (ICSR) は、外部LLMで関数形式を反復的に洗練し、その係数を外部LLMで決定するSR手法である。
以上の結果から,LLMは与えられたデータに適合するシンボリック方程式の発見に成功し,最高のSRベースラインの総合性能を4つのベンチマークで評価した。
論文 参考訳（メタデータ） (2024-04-29T20:19:25Z) - LLM-SR: Scientific Equation Discovery via Programming with Large Language Models [17.64574496035502]
記号回帰として知られる伝統的な方程式発見法は、主にデータのみから方程式を抽出することに焦点を当てている。
LLM-SRは,大規模言語モデルの科学的知識とロバストなコード生成能力を活用する新しいアプローチである。
LLM-SRは3つの科学的領域にまたがって有効性を示し、物理的に正確な方程式を発見する。
論文 参考訳（メタデータ） (2024-04-29T03:30:06Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳（メタデータ） (2024-01-11T15:02:15Z) - Towards Constituting Mathematical Structures for Learning to Optimize [101.80359461134087]
近年,機械学習を利用してデータから最適化アルゴリズムを自動学習する技術が注目されている。
ジェネリックL2Oアプローチは反復更新ルールをパラメータ化し、ブラックボックスネットワークとして更新方向を学ぶ。
一般的なアプローチは広く適用できるが、学習されたモデルは過度に適合し、配布外テストセットにうまく一般化できない。
本稿では, 分布外問題に対して広く適用でき, 一般化された, 数学に着想を得た構造を持つ新しいL2Oモデルを提案する。
論文 参考訳（メタデータ） (2023-05-29T19:37:28Z) - CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。
学習方法は,「フリーランチ」仮説の主張を考察する。
データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
論文 参考訳（メタデータ） (2023-05-03T17:55:25Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳（メタデータ） (2023-04-12T14:51:47Z) - Recurrent Localization Networks applied to the Lippmann-Schwinger
Equation [0.0]
一般化Lippmann-Schwinger (L-S) 型の方程式を解くための新しい機械学習手法を提案する。
学習に基づくループアンロールの一部として、リカレント畳み込みニューラルネットワークを用いて、関心のある分野の制御方程式を反復的に解く。
本研究では, 局所的(ボクセルレベル)弾性ひずみの予測において, 優れた精度が得られる2相弾性局在問題に対する学習手法を示す。
論文 参考訳（メタデータ） (2021-01-29T20:54:17Z) - Efficient Model-Based Reinforcement Learning through Optimistic Policy
Search and Planning [93.1435980666675]
最先端の強化学習アルゴリズムと楽観的な探索を容易に組み合わせることができることを示す。
我々の実験は、楽観的な探索が行動に罰則がある場合、学習を著しくスピードアップすることを示した。
論文 参考訳（メタデータ） (2020-06-15T18:37:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。