論文の概要: Explain Like I'm Five: Using LLMs to Improve PDE Surrogate Models with Text

• arxiv url: http://arxiv.org/abs/2410.01137v1
• Date: Mon, 14 Oct 2024 18:53:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 23:00:28.046550
• Title: Explain Like I'm Five: Using LLMs to Improve PDE Surrogate Models with Text
• Title（参考訳）: LLMを使ってテキストによるPDEサロゲートモデルを改善する
• Authors: Cooper Lorsung, Amir Barati Farimani,
• Abstract要約: 事前訓練されたLarge Language Models (LLM) を用いて、PDE学習に様々な既知のシステム情報を統合する。 我々のアプローチは、次のステップ予測と自動ロールアウトパフォーマンスの両方において、ベースラインモデルであるFactFormerよりも大幅に優れています。 さらなる分析により、事前学習されたLLMは、テキストを通して提供されるシステム情報量と一致した高度に構造化された潜在空間を提供することが示された。
• 参考スコア（独自算出の注目度）: 7.136205674624813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Solving Partial Differential Equations (PDEs) is ubiquitous in science and engineering. Computational complexity and difficulty in writing numerical solvers has motivated the development of machine learning techniques to generate solutions quickly. Many existing methods are purely data driven, relying solely on numerical solution fields, rather than known system information such as boundary conditions and governing equations. However, the recent rise in popularity of Large Language Models (LLMs) has enabled easy integration of text in multimodal machine learning models. In this work, we use pretrained LLMs to integrate various amounts known system information into PDE learning. Our multimodal approach significantly outperforms our baseline model, FactFormer, in both next-step prediction and autoregressive rollout performance on the 2D Heat, Burgers, Navier-Stokes, and Shallow Water equations. Further analysis shows that pretrained LLMs provide highly structured latent space that is consistent with the amount of system information provided through text.
• Abstract（参考訳）: 偏微分方程式 (Partial Differential Equations, PDE) は、科学や工学においてユビキタスである。 数値解法を書く際の計算複雑性と難易度は、解を迅速に生成する機械学習技術の開発を動機付けている。 既存の多くの手法は純粋にデータ駆動であり、境界条件や支配方程式のような既知のシステム情報よりも、数値解場にのみ依存する。 しかし、近年のLarge Language Models(LLM)の普及により、マルチモーダル機械学習モデルにおけるテキストの統合が容易になった。 本研究では,事前学習したLLMを用いて,様々な既知のシステム情報をPDE学習に統合する。 我々のマルチモーダルアプローチは,2次元ヒート,バーガーズ,ナビエ・ストークス,浅水方程式の次ステップ予測および自動回帰ロールアウト性能において,ベースラインモデルであるFactFormerよりも大幅に優れています。 さらなる分析により、事前学習されたLLMは、テキストを通して提供されるシステム情報量と一致した高度に構造化された潜在空間を提供することが示された。

関連論文リスト

• Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [50.485788083202124]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。 反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
  論文  参考訳（メタデータ） (2024-10-11T23:29:20Z)
• Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.40778301238642]
  モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。 これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
  論文  参考訳（メタデータ） (2024-08-14T16:58:48Z)
• LLM4ED: Large Language Models for Automatic Equation Discovery [0.8644909837301149]
  我々は、自然言語に基づくプロンプトを利用して、データから支配方程式を自動的にマイニングする大規模言語モデルをガイドする新しいフレームワークを導入する。 具体的には、まずLLMの生成能力を利用して、文字列形式で様々な方程式を生成し、次に観測に基づいて生成された方程式を評価する。 実験は偏微分方程式と常微分方程式の両方で広範囲に行われる。
  論文  参考訳（メタデータ） (2024-05-13T14:03:49Z)
• FMint: Bridging Human Designed and Data Pretrained Models for Differential Equation Foundation Model [5.748690310135373]
  我々は、人間設計モデルとデータ駆動モデルとのギャップを埋めるために、textbfFMintという新しいマルチモーダル基盤モデルを提案する。 FMintは、インコンテキスト学習を備えたデコーダのみのトランスフォーマーアーキテクチャに基づいて、数値データとテキストデータの両方を用いて、普遍的なエラー訂正スキームを学習する。 本研究は,従来の数値解法と比較して,精度と効率の両面から提案モデルの有効性を実証するものである。
  論文  参考訳（メタデータ） (2024-04-23T02:36:47Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• MinT: Boosting Generalization in Mathematical Reasoning via Multi-View Fine-Tuning [53.90744622542961]
  数学領域における推論は、小言語モデル(LM)にとって重要な課題である。 多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。 実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-16T05:41:53Z)
• Self-Supervised Learning with Lie Symmetries for Partial Differential Equations [25.584036829191902]
  我々は、自己教師付き学習(SSL)のための共同埋め込み手法を実装することにより、PDEの汎用表現を学習する。 我々の表現は、PDEの係数の回帰などの不変タスクに対するベースラインアプローチよりも優れており、また、ニューラルソルバのタイムステッピング性能も向上している。 提案手法がPDEの汎用基盤モデルの開発に有効であることを期待する。
  論文  参考訳（メタデータ） (2023-07-11T16:52:22Z)
• Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
  ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。 モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。 ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T12:02:27Z)
• Challenges and opportunities for machine learning in multiscale computational modeling [0.0]
  複雑なマルチスケールシステムの解法は、解空間の高次元性のために計算的に一様である。 機械学習(ML)は、従来の数値手法のサロゲートとして機能し、加速し、拡張できる有望なソリューションとして登場した。 本稿では、複雑なマルチスケールモデリングとシミュレーションにMLを使う機会と課題について述べる。
  論文  参考訳（メタデータ） (2023-03-22T02:04:39Z)
• Efficient time stepping for numerical integration using reinforcement learning [0.15393457051344295]
  機械学習とメタラーニングに基づくデータ駆動型タイムステッピング方式を提案する。 まず、1つまたは複数の基礎学習者(非滑らかまたはハイブリッドシステムの場合)はRLを使用して訓練されます。 次に、メタ学習者は(システムの状態に応じて)現在の状況に最適と思われる基礎学習者を選択する訓練を受ける。
  論文  参考訳（メタデータ） (2021-04-08T07:24:54Z)
• A Survey on Large-scale Machine Learning [67.6997613600942]
  機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。 ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。 大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
  論文  参考訳（メタデータ） (2020-08-10T06:07:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。