論文の概要: FEABench: Evaluating Language Models on Multiphysics Reasoning Ability
- arxiv url: http://arxiv.org/abs/2504.06260v1
- Date: Tue, 08 Apr 2025 17:59:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-09 13:31:13.350864
- Title: FEABench: Evaluating Language Models on Multiphysics Reasoning Ability
- Title（参考訳）: FEABench: 多機能推論能力に基づく言語モデルの評価
- Authors: Nayantara Mudur, Hao Cui, Subhashini Venugopalan, Paul Raccuglia, Michael P. Brenner, Peter Norgaard,
- Abstract要約: FEABenchは、有限要素解析(FEA)を用いて物理学、数学、工学の問題をシミュレートし、解決する大規模言語モデル(LLM)とLLMエージェントの能力を評価するためのベンチマークである。
本研究では,自然言語問題の記述を推論し,FEAソフトウェアであるCOMSOL Multiphysics$circledR$を動作させることにより,LLMがこの問題をエンドツーエンドで解決できるかどうかを総合的に評価する手法を提案する。
- 参考スコア（独自算出の注目度）: 8.441945838936444
- License:
- Abstract: Building precise simulations of the real world and invoking numerical solvers to answer quantitative problems is an essential requirement in engineering and science. We present FEABench, a benchmark to evaluate the ability of large language models (LLMs) and LLM agents to simulate and solve physics, mathematics and engineering problems using finite element analysis (FEA). We introduce a comprehensive evaluation scheme to investigate the ability of LLMs to solve these problems end-to-end by reasoning over natural language problem descriptions and operating COMSOL Multiphysics$^\circledR$, an FEA software, to compute the answers. We additionally design a language model agent equipped with the ability to interact with the software through its Application Programming Interface (API), examine its outputs and use tools to improve its solutions over multiple iterations. Our best performing strategy generates executable API calls 88% of the time. LLMs that can successfully interact with and operate FEA software to solve problems such as those in our benchmark would push the frontiers of automation in engineering. Acquiring this capability would augment LLMs' reasoning skills with the precision of numerical solvers and advance the development of autonomous systems that can tackle complex problems in the real world. The code is available at https://github.com/google/feabench
- Abstract（参考訳）: 実世界の正確なシミュレーションを構築し、量的問題に答えるために数値解法を呼び出すことは、工学と科学において必須の要件である。
FEABenchは、有限要素解析(FEA)を用いて物理学、数学、工学の問題をシミュレートし、解くための大規模言語モデル(LLM)とLLMエージェントの能力を評価するためのベンチマークである。
自然言語問題の記述を推論し,COMSOL Multiphysics$^\circledR$(FAAソフトウェア^\circledR$)を動作させることにより,LLMがこの問題をエンドツーエンドに解決できるかどうかを総合的に評価する手法を提案する。
さらに、アプリケーションプログラミングインタフェース(API)を通じてソフトウェアと対話する機能を備えた言語モデルエージェントを設計し、その出力を調べ、複数のイテレーションでそのソリューションを改善するツールを使用する。
最高の実行戦略は、実行可能API呼び出しを88%生成します。
私たちのベンチマークのような問題を解決するために、FEAソフトウェアとうまく対話し、運用できるLLMは、エンジニアリングにおける自動化のフロンティアを押し上げます。
この能力の獲得は、数値解法の精度でLLMの推論スキルを増強し、現実世界の複雑な問題に対処できる自律システムの開発を前進させる。
コードはhttps://github.com/google/feabenchで公開されている。
関連論文リスト
- Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。
しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。
人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-17T18:49:25Z) - Creating an LLM-based AI-agent: A high-level methodology towards enhancing LLMs with APIs [0.0]
大規模言語モデル(LLM)は、工学と科学の様々な側面に革命をもたらした。
この論文は総合的なガイドとして機能し、アプリケーションプログラミングインタフェース(API)を活用する能力を備えたLLMの強化のための多面的アプローチを解明する。
本稿では,Hugging Faceコミュニティの小さなモデルを用いて,携帯端末の機能を活用したオンデバイスアーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-12-17T14:14:04Z) - MathOdyssey: Benchmarking Mathematical Problem-Solving Skills in Large Language Models Using Odyssey Math Data [20.31528845718877]
大規模言語モデル(LLM)は、非常に高度な自然言語理解を持ち、強力な問題解決能力を示した。
本稿では,新たに開発された"MathOdyssey"データセットを用いて,LLMの数学的問題解決能力について検討する。
論文 参考訳（メタデータ） (2024-06-26T13:02:35Z) - BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions [72.56339136017759]
BigCodeBenchは、大規模言語モデル(LLM)に対して、139のライブラリと7つのドメインから1140のきめ細かいタスクに対して、複数の関数呼び出しをツールとして呼び出すためのベンチマークである。
評価の結果,LLMは機能コールを正確に使用するための複雑な指示に従うことができず,スコアは最大60%,人的性能は97%と極めて低いことがわかった。
そこで本研究では,BigCodeBench-Instructという自然言語指向の変種を提案する。
論文 参考訳（メタデータ） (2024-06-22T15:52:04Z) - MathChat: Benchmarking Mathematical Reasoning and Instruction Following in Multi-Turn Interactions [58.57255822646756]
本稿では,大規模言語モデル (LLM) を評価するためのベンチマークであるMathChatを紹介する。
我々は,MathChatベンチマーク上での様々なSOTA LLMの性能評価を行い,これらのモデルが単ターン質問応答において優れているが,より複雑なシナリオでは性能が著しく劣っていることを観察した。
我々は,LLMファインタニングのための合成対話に基づく数学データセットであるMathChat syncを開発した。
論文 参考訳（メタデータ） (2024-05-29T18:45:55Z) - Beyond LLMs: Advancing the Landscape of Complex Reasoning [0.35813349058229593]
EC AIプラットフォームは、制約満足度と最適化問題を解決するために、ニューロシンボリックアプローチを採用している。
システムは正確で高性能な論理推論エンジンを採用している。
システムは、自然言語と簡潔な言語でアプリケーションロジックを指定する開発者をサポートする。
論文 参考訳（メタデータ） (2024-02-12T21:14:45Z) - Physics simulation capabilities of LLMs [0.0]
大規模言語モデル(LLM)は、学部レベルから大学院レベルの物理学教科書の問題を解くことができ、コーディングに精通している。
本稿では、PhDレベルから研究レベルの計算物理問題に対するSOTA (State-of-the-art) LLMの評価を行う。
論文 参考訳（メタデータ） (2023-12-04T18:06:41Z) - LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language
Models [56.25156596019168]
本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。
我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
論文 参考訳（メタデータ） (2023-11-30T03:59:31Z) - MechAgents: Large language model multi-agent collaborations can solve
mechanics problems, generate new data, and integrate knowledge [0.6708125191843434]
ここでは、自律的なコラボレーションを通じて、弾力性に関する問題を実証する。
2エージェントチームは、古典的な弾性問題を解くために有限要素法を適用するために、効果的にコードを書き、実行し、自己修正することができる。
より複雑なタスクのために、我々は計画、定式化、コーディング、実行、プロセスと結果を批判する作業の分割を強化したより大きなエージェントグループを構築します。
論文 参考訳（メタデータ） (2023-11-14T13:49:03Z) - Evaluating Language Models for Mathematics through Interactions [116.67206980096513]
大型言語モデル(LLM)と対話し,評価するためのプロトタイププラットフォームであるCheckMateを紹介した。
我々はCheckMateと共同で3つの言語モデル(InstructGPT, ChatGPT, GPT-4)を、学部レベルの数学の証明支援として評価する研究を行った。
我々は、人間の行動の分類を導き、概して肯定的な相関にもかかわらず、正しさと知覚的有用性の間に顕著な相違点があることを明らかにする。
論文 参考訳（メタデータ） (2023-06-02T17:12:25Z) - OpenAGI: When LLM Meets Domain Experts [51.86179657467822]
ヒューマン・インテリジェンス(HI)は、複雑なタスクを解くための基本的なスキルの組み合わせに長けている。
この機能は人工知能(AI)にとって不可欠であり、包括的なAIエージェントに組み込まれるべきである。
マルチステップで現実的なタスクを解決するために設計されたオープンソースのプラットフォームであるOpenAGIを紹介します。
論文 参考訳（メタデータ） (2023-04-10T03:55:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。