論文の概要: FEABench: Evaluating Language Models on Multiphysics Reasoning Ability
- arxiv url: http://arxiv.org/abs/2504.06260v1
- Date: Tue, 08 Apr 2025 17:59:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-16 15:31:37.549557
- Title: FEABench: Evaluating Language Models on Multiphysics Reasoning Ability
- Title（参考訳）: FEABench: 多機能推論能力に基づく言語モデルの評価
- Authors: Nayantara Mudur, Hao Cui, Subhashini Venugopalan, Paul Raccuglia, Michael P. Brenner, Peter Norgaard,
- Abstract要約: FEABenchは、有限要素解析(FEA)を用いて物理学、数学、工学の問題をシミュレートし、解決する大規模言語モデル(LLM)とLLMエージェントの能力を評価するためのベンチマークである。
本研究では,自然言語問題の記述を推論し,FEAソフトウェアであるCOMSOL Multiphysics$circledR$を動作させることにより,LLMがこの問題をエンドツーエンドで解決できるかどうかを総合的に評価する手法を提案する。
- 参考スコア（独自算出の注目度）: 8.441945838936444
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Building precise simulations of the real world and invoking numerical solvers to answer quantitative problems is an essential requirement in engineering and science. We present FEABench, a benchmark to evaluate the ability of large language models (LLMs) and LLM agents to simulate and solve physics, mathematics and engineering problems using finite element analysis (FEA). We introduce a comprehensive evaluation scheme to investigate the ability of LLMs to solve these problems end-to-end by reasoning over natural language problem descriptions and operating COMSOL Multiphysics$^\circledR$, an FEA software, to compute the answers. We additionally design a language model agent equipped with the ability to interact with the software through its Application Programming Interface (API), examine its outputs and use tools to improve its solutions over multiple iterations. Our best performing strategy generates executable API calls 88% of the time. LLMs that can successfully interact with and operate FEA software to solve problems such as those in our benchmark would push the frontiers of automation in engineering. Acquiring this capability would augment LLMs' reasoning skills with the precision of numerical solvers and advance the development of autonomous systems that can tackle complex problems in the real world. The code is available at https://github.com/google/feabench
- Abstract（参考訳）: 実世界の正確なシミュレーションを構築し、量的問題に答えるために数値解法を呼び出すことは、工学と科学において必須の要件である。
FEABenchは、有限要素解析(FEA)を用いて物理学、数学、工学の問題をシミュレートし、解くための大規模言語モデル(LLM)とLLMエージェントの能力を評価するためのベンチマークである。
自然言語問題の記述を推論し,COMSOL Multiphysics$^\circledR$(FAAソフトウェア^\circledR$)を動作させることにより,LLMがこの問題をエンドツーエンドに解決できるかどうかを総合的に評価する手法を提案する。
さらに、アプリケーションプログラミングインタフェース(API)を通じてソフトウェアと対話する機能を備えた言語モデルエージェントを設計し、その出力を調べ、複数のイテレーションでそのソリューションを改善するツールを使用する。
最高の実行戦略は、実行可能API呼び出しを88%生成します。
私たちのベンチマークのような問題を解決するために、FEAソフトウェアとうまく対話し、運用できるLLMは、エンジニアリングにおける自動化のフロンティアを押し上げます。
この能力の獲得は、数値解法の精度でLLMの推論スキルを増強し、現実世界の複雑な問題に対処できる自律システムの開発を前進させる。
コードはhttps://github.com/google/feabenchで公開されている。
関連論文リスト
- Executable Functional Abstractions: Inferring Generative Programs for Advanced Math Problems [61.26070215983157]
EFA(Executable Functional Abstraction)という用語を導入し,数学問題のプログラムを示す。
EFAのような構造は、ストレステストモデルの問題生成器として数学推論に有用であることが示されている。
高度な数学問題に対するEFAの自動構築について検討する。
論文 参考訳（メタデータ） (2025-04-14T00:06:48Z) - OR-LLM-Agent: Automating Modeling and Solving of Operations Research Optimization Problem with Reasoning Large Language Model [2.138587105340617]
運用研究(OR)は資源配分、生産計画、サプライチェーン管理など様々な分野に広く適用されてきた。
従来の手法は専門家に大きく依存しており、コストがかかり開発サイクルが長い。
OR-LLM-Agentは、現実世界のOR問題を解決するためにエンドツーエンドの自動化を可能にする最初のAIエージェントである。
論文 参考訳（メタデータ） (2025-03-13T03:40:50Z) - Reflective Planning: Vision-Language Models for Multi-Stage Long-Horizon Robotic Manipulation [90.00687889213991]
複雑な長距離ロボット操作問題を解決するには、高度な高レベルの計画能力が必要である。
インターネット上で事前訓練された視覚言語モデル(VLM)は、原則としてそのような問題に対処するためのフレームワークを提供する。
本稿では,多段階操作タスクにおけるVLMの物理推論能力を高める新しいテストタイムフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-23T20:42:15Z) - Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。
しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。
人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-17T18:49:25Z) - SURGE: On the Potential of Large Language Models as General-Purpose Surrogate Code Executors [5.247363735860479]
大規模言語モデル(LLM)は、コードに関連するタスクにおいて顕著な機能を示した。
LLMが多様なプログラムを理解し処理する能力を考えると、汎用的なサロゲートモデルを構築する上で有望な方向性を示す。
SURGEは、1160ドル(約1万1000円)の価格問題で、8ドル(約8万3000円)の鍵となる側面をカバーしたベンチマークです。
オープンソースおよびプロプライエタリ LLM の実証分析を通じて,スケーリング法則,データ効率,予測精度を検討した。
論文 参考訳（メタデータ） (2025-02-16T15:38:19Z) - MathOdyssey: Benchmarking Mathematical Problem-Solving Skills in Large Language Models Using Odyssey Math Data [20.31528845718877]
大規模言語モデル(LLM)は、非常に高度な自然言語理解を持ち、強力な問題解決能力を示した。
本稿では,新たに開発された"MathOdyssey"データセットを用いて,LLMの数学的問題解決能力について検討する。
論文 参考訳（メタデータ） (2024-06-26T13:02:35Z) - BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions [72.56339136017759]
BigCodeBenchは、大規模言語モデル(LLM)に対して、139のライブラリと7つのドメインから1140のきめ細かいタスクに対して、複数の関数呼び出しをツールとして呼び出すためのベンチマークである。
評価の結果,LLMは機能コールを正確に使用するための複雑な指示に従うことができず,スコアは最大60%,人的性能は97%と極めて低いことがわかった。
そこで本研究では,BigCodeBench-Instructという自然言語指向の変種を提案する。
論文 参考訳（メタデータ） (2024-06-22T15:52:04Z) - MathChat: Benchmarking Mathematical Reasoning and Instruction Following in Multi-Turn Interactions [58.57255822646756]
本稿では,大規模言語モデル (LLM) を評価するためのベンチマークであるMathChatを紹介する。
我々は,MathChatベンチマーク上での様々なSOTA LLMの性能評価を行い,これらのモデルが単ターン質問応答において優れているが,より複雑なシナリオでは性能が著しく劣っていることを観察した。
我々は,LLMファインタニングのための合成対話に基づく数学データセットであるMathChat syncを開発した。
論文 参考訳（メタデータ） (2024-05-29T18:45:55Z) - Beyond LLMs: Advancing the Landscape of Complex Reasoning [0.35813349058229593]
EC AIプラットフォームは、制約満足度と最適化問題を解決するために、ニューロシンボリックアプローチを採用している。
システムは正確で高性能な論理推論エンジンを採用している。
システムは、自然言語と簡潔な言語でアプリケーションロジックを指定する開発者をサポートする。
論文 参考訳（メタデータ） (2024-02-12T21:14:45Z) - Evaluating LLMs' Mathematical and Coding Competency through Ontology-guided Interventions [47.83142414018448]
算術的推論とコード生成という,2つの一般的な推論タスクに注目します。
i) 数学やコーディング問題に対する摂動の一般的なオントロジー, (ii) 摂動を応用するための半自動手法, (iii) 2つのデータセットを紹介する。
混乱した質問に対して、すべてのモデルで大幅なパフォーマンス低下を示します。
論文 参考訳（メタデータ） (2024-01-17T18:13:07Z) - MechAgents: Large language model multi-agent collaborations can solve
mechanics problems, generate new data, and integrate knowledge [0.6708125191843434]
ここでは、自律的なコラボレーションを通じて、弾力性に関する問題を実証する。
2エージェントチームは、古典的な弾性問題を解くために有限要素法を適用するために、効果的にコードを書き、実行し、自己修正することができる。
より複雑なタスクのために、我々は計画、定式化、コーディング、実行、プロセスと結果を批判する作業の分割を強化したより大きなエージェントグループを構築します。
論文 参考訳（メタデータ） (2023-11-14T13:49:03Z) - Evaluating Language Models for Mathematics through Interactions [116.67206980096513]
大型言語モデル(LLM)と対話し,評価するためのプロトタイププラットフォームであるCheckMateを紹介した。
我々はCheckMateと共同で3つの言語モデル(InstructGPT, ChatGPT, GPT-4)を、学部レベルの数学の証明支援として評価する研究を行った。
我々は、人間の行動の分類を導き、概して肯定的な相関にもかかわらず、正しさと知覚的有用性の間に顕著な相違点があることを明らかにする。
論文 参考訳（メタデータ） (2023-06-02T17:12:25Z) - CREATOR: Tool Creation for Disentangling Abstract and Concrete Reasoning of Large Language Models [74.22729793816451]
大規模言語モデル(LLM)はツールの利用において大きな進歩を遂げているが、その能力はAPIの可用性によって制限されている。
我々は、LCMがドキュメンテーションとコード実現を使って独自のツールを作成できる新しいフレームワークCREATORを提案する。
我々は,MATH と TabMWP のベンチマークで CREATOR を評価する。
論文 参考訳（メタデータ） (2023-05-23T17:51:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。