論文の概要: LLM4ED: Large Language Models for Automatic Equation Discovery
- arxiv url: http://arxiv.org/abs/2405.07761v2
- Date: Mon, 22 Jul 2024 07:13:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 01:31:23.038383
- Title: LLM4ED: Large Language Models for Automatic Equation Discovery
- Title（参考訳）: LLM4ED: 自動方程式発見のための大規模言語モデル
- Authors: Mengge Du, Yuntian Chen, Zhongzheng Wang, Longfeng Nie, Dongxiao Zhang,
- Abstract要約: 我々は、自然言語に基づくプロンプトを利用して、データから支配方程式を自動的にマイニングする大規模言語モデルをガイドする新しいフレームワークを導入する。
具体的には、まずLLMの生成能力を利用して、文字列形式で様々な方程式を生成し、次に観測に基づいて生成された方程式を評価する。
実験は偏微分方程式と常微分方程式の両方で広範囲に行われる。
- 参考スコア（独自算出の注目度）: 0.8644909837301149
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Equation discovery is aimed at directly extracting physical laws from data and has emerged as a pivotal research domain. Previous methods based on symbolic mathematics have achieved substantial advancements, but often require the design of implementation of complex algorithms. In this paper, we introduce a new framework that utilizes natural language-based prompts to guide large language models (LLMs) in automatically mining governing equations from data. Specifically, we first utilize the generation capability of LLMs to generate diverse equations in string form, and then evaluate the generated equations based on observations. In the optimization phase, we propose two alternately iterated strategies to optimize generated equations collaboratively. The first strategy is to take LLMs as a black-box optimizer and achieve equation self-improvement based on historical samples and their performance. The second strategy is to instruct LLMs to perform evolutionary operators for global search. Experiments are extensively conducted on both partial differential equations and ordinary differential equations. Results demonstrate that our framework can discover effective equations to reveal the underlying physical laws under various nonlinear dynamic systems. Further comparisons are made with state-of-the-art models, demonstrating good stability and usability. Our framework substantially lowers the barriers to learning and applying equation discovery techniques, demonstrating the application potential of LLMs in the field of knowledge discovery.
- Abstract（参考訳）: 方程式発見は、データから物理法則を直接抽出することを目的としており、重要な研究領域として登場した。
記号数学に基づく従来の手法は、かなりの進歩を遂げてきたが、しばしば複雑なアルゴリズムの実装の設計を必要とする。
本稿では、自然言語に基づくプロンプトを利用して、データから支配方程式を自動的にマイニングする大規模言語モデル(LLM)をガイドする新しいフレームワークを提案する。
具体的には、まずLLMの生成能力を利用して、文字列形式で様々な方程式を生成し、次に観測に基づいて生成された方程式を評価する。
最適化フェーズでは、生成した方程式を協調的に最適化するための2つの交互反復戦略を提案する。
最初の戦略は、LCMをブラックボックスオプティマイザとして、歴史的サンプルとその性能に基づく方程式自己改善を実現することである。
第2の戦略は、LLMにグローバルサーチのための進化演算子を実行するよう指示することである。
実験は偏微分方程式と常微分方程式の両方で広範囲に行われる。
その結果, このフレームワークは, 様々な非線形力学系の下で, 基礎となる物理法則を明らかにするために有効な方程式を発見できることを示した。
さらなる比較は最先端のモデルと行われ、優れた安定性とユーザビリティを示す。
本フレームワークは,LLMの知識発見分野への応用可能性を示すとともに,学習の障壁を大幅に減らし,方程式発見技術を適用している。
関連論文リスト
- Can a Large Language Model Learn Matrix Functions In Context? [3.7478782183628634]
大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を通じて複雑なタスクを解く能力を実証した。
本稿では,LLMの非線形数値計算能力について検討し,特異値分解関数に着目した。
論文 参考訳（メタデータ） (2024-11-24T00:33:43Z) - LLM-based Optimization of Compound AI Systems: A Survey [64.39860384538338]
複合AIシステムでは、LLMコール、レトリバー、コードインタプリタ、ツールなどのコンポーネントが相互接続される。
近年の進歩により, LLM を用いたパラメータのエンドツーエンド最適化が可能となった。
本稿では,複合AIシステムのLCMに基づく最適化の原理と動向について述べる。
論文 参考訳（メタデータ） (2024-10-21T18:06:25Z) - MaD-Scientist: AI-based Scientist solving Convection-Diffusion-Reaction Equations Using Massive PINN-Based Prior Data [22.262191225577244]
科学的基礎モデル(SFM)にも同様のアプローチが適用できるかどうかを考察する。
数学辞書の任意の線形結合によって構築された偏微分方程式(PDE)の解の形で、低コストな物理情報ニューラルネットワーク(PINN)に基づく近似された事前データを収集する。
本研究では,1次元対流拡散反応方程式に関する実験的な証拠を提供する。
論文 参考訳（メタデータ） (2024-10-09T00:52:00Z) - EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。
多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。
最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
論文 参考訳（メタデータ） (2024-10-08T17:54:03Z) - Large Language Models as Surrogate Models in Evolutionary Algorithms: A Preliminary Study [5.6787965501364335]
サロゲートアシスト選択は、高価な最適化問題を解決する進化アルゴリズムの中核的なステップである。
伝統的に、これは従来の機械学習手法に依存しており、過去の評価を利用して新しいソリューションの性能を予測する。
本研究では,LLM推論機能に基づいた新しいサロゲートモデルを提案する。
論文 参考訳（メタデータ） (2024-06-15T15:54:00Z) - LLM-SR: Scientific Equation Discovery via Programming with Large Language Models [17.64574496035502]
記号回帰として知られる伝統的な方程式発見法は、主にデータのみから方程式を抽出することに焦点を当てている。
LLM-SRは,大規模言語モデルの科学的知識とロバストなコード生成能力を活用する新しいアプローチである。
LLM-SRは3つの科学的領域にまたがって有効性を示し、物理的に正確な方程式を発見する。
論文 参考訳（メタデータ） (2024-04-29T03:30:06Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳（メタデータ） (2024-01-11T15:02:15Z) - Towards Constituting Mathematical Structures for Learning to Optimize [101.80359461134087]
近年,機械学習を利用してデータから最適化アルゴリズムを自動学習する技術が注目されている。
ジェネリックL2Oアプローチは反復更新ルールをパラメータ化し、ブラックボックスネットワークとして更新方向を学ぶ。
一般的なアプローチは広く適用できるが、学習されたモデルは過度に適合し、配布外テストセットにうまく一般化できない。
本稿では, 分布外問題に対して広く適用でき, 一般化された, 数学に着想を得た構造を持つ新しいL2Oモデルを提案する。
論文 参考訳（メタデータ） (2023-05-29T19:37:28Z) - CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。
学習方法は,「フリーランチ」仮説の主張を考察する。
データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
論文 参考訳（メタデータ） (2023-05-03T17:55:25Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳（メタデータ） (2023-04-12T14:51:47Z) - Recurrent Localization Networks applied to the Lippmann-Schwinger
Equation [0.0]
一般化Lippmann-Schwinger (L-S) 型の方程式を解くための新しい機械学習手法を提案する。
学習に基づくループアンロールの一部として、リカレント畳み込みニューラルネットワークを用いて、関心のある分野の制御方程式を反復的に解く。
本研究では, 局所的(ボクセルレベル)弾性ひずみの予測において, 優れた精度が得られる2相弾性局在問題に対する学習手法を示す。
論文 参考訳（メタデータ） (2021-01-29T20:54:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。