論文の概要: EngiBench: A Benchmark for Evaluating Large Language Models on Engineering Problem Solving

• arxiv url: http://arxiv.org/abs/2509.17677v1
• Date: Mon, 22 Sep 2025 12:20:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.368991
• Title: EngiBench: A Benchmark for Evaluating Large Language Models on Engineering Problem Solving
• Title（参考訳）: EngiBench: エンジニアリング問題解決における大規模言語モデル評価ベンチマーク
• Authors: Xiyuan Zhou, Xinlei Wang, Yirui He, Yang Wu, Ruixi Zou, Yuheng Cheng, Yulu Xie, Wenxuan Liu, Huan Zhao, Yan Xu, Jinjin Gu, Junhua Zhao,
• Abstract要約: 本稿では,工学的問題を解決する上で,大規模言語モデル(LLM)を評価する階層的なベンチマークであるEngiBenchを紹介する。 難易度(基礎知識検索、多段階の文脈推論、オープンエンドモデリング)の3段階に及び、多様なエンジニアリングサブフィールドをカバーする。 モデルはタスクが難しくなるにつれて苦労するし、問題がわずかに変化してもパフォーマンスが悪くなる。
• 参考スコア（独自算出の注目度）: 37.708900742664184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have shown strong performance on mathematical reasoning under well-posed conditions. However, real-world engineering problems require more than mathematical symbolic computation -- they need to deal with uncertainty, context, and open-ended scenarios. Existing benchmarks fail to capture these complexities. We introduce EngiBench, a hierarchical benchmark designed to evaluate LLMs on solving engineering problems. It spans three levels of increasing difficulty (foundational knowledge retrieval, multi-step contextual reasoning, and open-ended modeling) and covers diverse engineering subfields. To facilitate a deeper understanding of model performance, we systematically rewrite each problem into three controlled variants (perturbed, knowledge-enhanced, and math abstraction), enabling us to separately evaluate the model's robustness, domain-specific knowledge, and mathematical reasoning abilities. Experiment results reveal a clear performance gap across levels: models struggle more as tasks get harder, perform worse when problems are slightly changed, and fall far behind human experts on the high-level engineering tasks. These findings reveal that current LLMs still lack the high-level reasoning needed for real-world engineering, highlighting the need for future models with deeper and more reliable problem-solving capabilities. Our source code and data are available at https://github.com/EngiBench/EngiBench.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、適切な条件下での数学的推論に強い性能を示す。 しかし、現実のエンジニアリング問題には数学的記号計算以上のものが必要であり、不確実性、コンテキスト、そしてオープンなシナリオを扱う必要がある。 既存のベンチマークでは、これらの複雑さを捉えられません。 本稿では,工学的問題を解決する上でLLMを評価するために設計された階層型ベンチマークであるEngiBenchを紹介する。 難易度(基礎知識検索、多段階の文脈推論、オープンエンドモデリング)の3段階に及び、様々なエンジニアリングサブフィールドをカバーする。 モデル性能のより深い理解を容易にするため、各問題を3つの制御された変種(摂動、知識強化、数学の抽象)に体系的に書き直し、モデルの堅牢性、ドメイン固有の知識、数学的推論能力を個別に評価することができる。 モデルはタスクが難しくなるにつれて苦労するし、問題がわずかに変化してもパフォーマンスが悪くなる。 これらの結果から,現在のLLMには,より深く信頼性の高い問題解決能力を備えた将来のモデルの必要性が浮かび上がっている。 ソースコードとデータはhttps://github.com/EngiBench/EngiBench.comで公開されています。

関連論文リスト

• Large Language Models in Operations Research: Methods, Applications, and Challenges [9.208082097215314]
  オペレーションリサーチ(OR)は、輸送、サプライチェーン管理、生産スケジュールなど、複雑なシステム決定を支援する。 専門家主導のモデリングと手動パラメータチューニングに依存する従来のアプローチは、しばしば大規模、動的、マルチ制約の問題に悩まされる。 本稿では,大規模言語モデル(LLM)をORに適用し,既存の手法を3つの経路に分類する。
  論文  参考訳（メタデータ） (2025-09-18T01:52:19Z)
• WarriorMath: Enhancing the Mathematical Ability of Large Language Models with a Defect-aware Framework [42.74246647841103]
  WarriorMathは数学的問題解決のための欠陥認識フレームワークである。 我々は、複数の専門家のLLMを協調的なプロセスで採用し、問題を生成、批判、洗練させます。 トレーニング段階において、我々は、その弱点に合わせてますます困難なデータを用いてモデルを反復的に微調整する進歩的学習フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-08-02T07:45:12Z)
• Computational Thinking Reasoning in Large Language Models [69.28428524878885]
  計算思考モデル(CTM)は、計算思考パラダイムを大規模言語モデル(LLM)に組み込んだ新しいフレームワークである。 ライブコード実行は推論プロセスにシームレスに統合され、CTMが計算によって考えることができる。 CTMは、精度、解釈可能性、一般化可能性の観点から、従来の推論モデルとツール拡張ベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-06-03T09:11:15Z)
• ModelingAgent: Bridging LLMs and Mathematical Modeling for Real-World Challenges [72.19809898215857]
  ModelingBenchは、様々な領域にわたる数学モデリングの競争から、現実に着想を得たオープンエンドの問題を特徴付ける新しいベンチマークである。 これらのタスクには、自然言語を形式的な数学的定式化に翻訳し、適切なツールを適用し、構造化された防御可能なレポートを生成する必要がある。 ツール使用をコーディネートするマルチエージェントフレームワークである ModelingAgent も紹介します。
  論文  参考訳（メタデータ） (2025-05-21T03:33:23Z)
• FEABench: Evaluating Language Models on Multiphysics Reasoning Ability [8.441945838936444]
  FEABenchは、有限要素解析(FEA)を用いて物理学、数学、工学の問題をシミュレートし、解決する大規模言語モデル(LLM)とLLMエージェントの能力を評価するためのベンチマークである。 本研究では,自然言語問題の記述を推論し,FEAソフトウェアであるCOMSOL Multiphysics$circledR$を動作させることにより,LLMがこの問題をエンドツーエンドで解決できるかどうかを総合的に評価する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-08T17:59:39Z)
• MathOdyssey: Benchmarking Mathematical Problem-Solving Skills in Large Language Models Using Odyssey Math Data [20.31528845718877]
  大規模言語モデル(LLM)は、非常に高度な自然言語理解を持ち、強力な問題解決能力を示した。 本稿では,新たに開発された"MathOdyssey"データセットを用いて,LLMの数学的問題解決能力について検討する。
  論文  参考訳（メタデータ） (2024-06-26T13:02:35Z)
• Evaluating LLMs' Mathematical and Coding Competency through Ontology-guided Interventions [47.83142414018448]
  算術的推論とコード生成という,2つの一般的な推論タスクに注目します。 i) 数学やコーディング問題に対する摂動の一般的なオントロジー, (ii) 摂動を応用するための半自動手法, (iii) 2つのデータセットを紹介する。 混乱した質問に対して、すべてのモデルで大幅なパフォーマンス低下を示します。
  論文  参考訳（メタデータ） (2024-01-17T18:13:07Z)
• OpenAGI: When LLM Meets Domain Experts [51.86179657467822]
  ヒューマン・インテリジェンス(HI)は、複雑なタスクを解くための基本的なスキルの組み合わせに長けている。 この機能は人工知能(AI)にとって不可欠であり、包括的なAIエージェントに組み込まれるべきである。 マルチステップで現実的なタスクを解決するために設計されたオープンソースのプラットフォームであるOpenAGIを紹介します。
  論文  参考訳（メタデータ） (2023-04-10T03:55:35Z)
• Solving Quantitative Reasoning Problems with Language Models [53.53969870599973]
  我々は、一般的な自然言語データに基づいて事前訓練された大規模言語モデルであるMinervaを紹介し、さらに技術的な内容について訓練する。 このモデルは、外部ツールを使わずに、技術的ベンチマークで最先端のパフォーマンスを達成する。 我々はまた、物理学、生物学、化学、経済学、その他の科学における200以上の学部レベルの問題に対して、我々のモデルを評価した。
  論文  参考訳（メタデータ） (2022-06-29T18:54:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。