論文の概要: Knowledge Integration for Physics-informed Symbolic Regression Using Pre-trained Large Language Models
- arxiv url: http://arxiv.org/abs/2509.03036v1
- Date: Wed, 03 Sep 2025 05:53:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 21:40:46.42689
- Title: Knowledge Integration for Physics-informed Symbolic Regression Using Pre-trained Large Language Models
- Title（参考訳）: 事前学習された大言語モデルを用いた物理インフォームド記号回帰の知識統合
- Authors: Bilge Taskin, Wenxiong Xie, Teddy Lazebnik,
- Abstract要約: 記号回帰(SR)は、自動科学的発見のための強力なツールとして登場した。
現在の手法は、しばしば特別な定式化と手動の特徴工学を必要とする。
本研究では,事前学習されたLarge Language Models(LLM)を利用して,PiSRの知識統合を促進する。
- 参考スコア（独自算出の注目度）: 4.817429789586127
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Symbolic regression (SR) has emerged as a powerful tool for automated scientific discovery, enabling the derivation of governing equations from experimental data. A growing body of work illustrates the promise of integrating domain knowledge into the SR to improve the discovered equation's generality and usefulness. Physics-informed SR (PiSR) addresses this by incorporating domain knowledge, but current methods often require specialized formulations and manual feature engineering, limiting their adaptability only to domain experts. In this study, we leverage pre-trained Large Language Models (LLMs) to facilitate knowledge integration in PiSR. By harnessing the contextual understanding of LLMs trained on vast scientific literature, we aim to automate the incorporation of domain knowledge, reducing the need for manual intervention and making the process more accessible to a broader range of scientific problems. Namely, the LLM is integrated into the SR's loss function, adding a term of the LLM's evaluation of the SR's produced equation. We extensively evaluate our method using three SR algorithms (DEAP, gplearn, and PySR) and three pre-trained LLMs (Falcon, Mistral, and LLama 2) across three physical dynamics (dropping ball, simple harmonic motion, and electromagnetic wave). The results demonstrate that LLM integration consistently improves the reconstruction of physical dynamics from data, enhancing the robustness of SR models to noise and complexity. We further explore the impact of prompt engineering, finding that more informative prompts significantly improve performance.
- Abstract（参考訳）: 記号回帰(SR)は、自動科学的発見のための強力なツールとして現れ、実験データから支配方程式の導出を可能にしている。
増大する研究の本体は、発見された方程式の一般化と有用性を改善するために、ドメイン知識をSRに統合するという約束を描いている。
物理インフォームドSR(PiSR)はドメイン知識を取り入れることでこの問題に対処するが、現在の手法では専門的な定式化と手動の特徴工学を必要とし、ドメインの専門家に限って適応性を制限する。
本研究では,事前学習されたLarge Language Models(LLM)を利用して,PiSRの知識統合を促進する。
広い科学的文献に基づいて訓練されたLLMの文脈的理解を活用することで、ドメイン知識の組み入れを自動化し、手作業による介入の必要を減らし、幅広い科学的問題によりアクセスしやすくすることを目指している。
すなわち、LLM は SR の損失関数に統合され、LLM が SR の生成した方程式を評価する項を追加する。
我々は,3つのSRアルゴリズム (DEAP, gplearn, PySR) と3つのトレーニング済みLLM (Falcon, Mistral, LLama2) を用いて,3つの物理力学(ドロップボール, 単純なハーモニックモーション, 電磁波)を広範に評価した。
その結果、LLM統合はデータからの物理力学の再構成を一貫して改善し、SRモデルの頑健さをノイズや複雑さに高めることを示した。
さらに、より情報に富んだプロンプトがパフォーマンスを大幅に向上させるという、プロンプトエンジニアリングの影響についても検討する。
関連論文リスト
- TRAIL: Joint Inference and Refinement of Knowledge Graphs with Large Language Models [5.678291291711662]
TRAILは思考、推論、インクリメンタルラーニングのための、新しく統合されたフレームワークである。
共同推論と動的KG精製を大きな言語モデルと組み合わせる。
複数のベンチマークでの大規模な実験により、TRAILは既存のKG拡張および検索拡張LDMベースラインを3%から13%上回った。
論文 参考訳（メタデータ） (2025-08-06T14:25:05Z) - DrSR: LLM based Scientific Equation Discovery with Dual Reasoning from Data and Experience [14.093206703519103]
DrSRは、データ駆動の洞察と反射学習を組み合わせて、堅牢性と発見能力の両方を強化するフレームワークである。
物理学、化学、生物学、材料科学における学際的なデータセットにわたる実験は、DrSRが有効な方程式率を大幅に改善することを示した。
論文 参考訳（メタデータ） (2025-06-04T04:52:34Z) - R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。
本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。
提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
論文 参考訳（メタデータ） (2025-03-07T17:14:44Z) - Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。
我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。
デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
論文 参考訳（メタデータ） (2024-08-17T11:49:53Z) - WeKnow-RAG: An Adaptive Approach for Retrieval-Augmented Generation Integrating Web Search and Knowledge Graphs [10.380692079063467]
本稿では,Web検索と知識グラフを統合したWeKnow-RAGを提案する。
まず,知識グラフの構造化表現と高次ベクトル検索の柔軟性を組み合わせることで,LLM応答の精度と信頼性を向上させる。
提案手法は,情報検索の効率と精度を効果的にバランスさせ,全体の検索プロセスを改善する。
論文 参考訳（メタデータ） (2024-08-14T15:19:16Z) - CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。
そこで本研究では,学習バランスを定量的に評価する尺度を提案する。
さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
論文 参考訳（メタデータ） (2024-07-29T23:18:55Z) - LLM-SR: Scientific Equation Discovery via Programming with Large Language Models [17.64574496035502]
現在の方程式発見法は、典型的には記号回帰と呼ばれ、主にデータのみから方程式を抽出することに焦点を当てている。
LLM-SRは,大規模言語モデルの科学的知識とロバストなコード生成能力を活用する新しいアプローチである。
また, LLM-SRは, 最先端の記号的回帰ベースラインを著しく上回る物理精度の方程式を発見した。
論文 参考訳（メタデータ） (2024-04-29T03:30:06Z) - How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。
大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。
我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文 参考訳（メタデータ） (2024-02-25T20:07:13Z) - A Closer Look at the Limitations of Instruction Tuning [52.587607091917214]
インストラクションチューニング(IT)は,大規模言語モデル(LLM)における知識やスキルの向上に失敗することを示す。
また、一般的なIT改善手法は、シンプルなLoRA微調整モデルよりも性能改善につながるものではないことも示している。
この結果から,事前学習した知識のみから生成した応答は,オープンソースデータセット上でITから新たな知識を学習するモデルによって,一貫した応答性能が向上することが判明した。
論文 参考訳（メタデータ） (2024-02-03T04:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。