論文の概要: Do VLMs Reason Like Engineers? A Benchmark and a Stage-wise Evaluation

• arxiv url: http://arxiv.org/abs/2606.10833v1
• Date: Tue, 09 Jun 2026 13:20:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.516836
• Title: Do VLMs Reason Like Engineers? A Benchmark and a Stage-wise Evaluation
• Title（参考訳）: VLMはエンジニアに似ていますか?ベンチマークと段階評価
• Abstract要約: EngVQAは、696の問題を含む5つのエンジニアリング分野にわたるエンジニアリング推論を評価するためのマルチモーダルベンチマークである。 VLM生成ソリューション評価のための8段階自動評価フレームワークを提案する。 本研究は,マルチモーダルエンジニアリング推論システムの信頼性評価におけるプロセス指向評価の重要性を強調した。
• 参考スコア（独自算出の注目度）: 3.2128810211809196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Models (VLMs) demonstrate strong performance on general multimodal reasoning benchmarks, yet their ability to perform engineering reasoning remains largely unexplored. Unlike general visual question answering, engineering problem solving requires interpreting technical diagrams, selecting governing physical principles, and maintaining physically consistent multi-step reasoning. These capabilities are increasingly important for AI systems used in engineering education, scientific assistance, and technical decision-making, where reasoning failures may produce physically invalid yet superficially plausible solutions. Existing benchmarks primarily evaluate final answers and provide limited assessment of intermediate reasoning processes. We introduce EngVQA, a multimodal benchmark for evaluating engineering reasoning across 5 engineering subjects containing 696 problems. We introduce an 8-stage automatic evaluation framework for assessing VLM-generated solutions. The framework independently evaluates each stage of the solution, enabling fine-grained analysis of reasoning failures. We benchmark multiple state-of-the-art open and closed source VLMs on our evaluation framework and demonstrate substantial limitations in current engineering reasoning capabilities. Human evaluation shows strong agreement with our automated framework, achieving a Pearson correlation of 0.975 and a mean absolute error of 0.67 on a 10-point grading scale. Our results highlight the importance of process-oriented evaluation for reliable assessment of multimodal engineering reasoning systems.
• Abstract（参考訳）: VLM(Vision-Language Models)は、一般的なマルチモーダル推論ベンチマークにおいて強力な性能を示すが、工学的推論を行う能力はいまだ明らかにされていない。 一般的な視覚的質問応答とは異なり、工学的な問題解決には、技術的な図の解釈、物理的な原則の選択、物理的に一貫した多段階推論の維持が必要である。 これらの能力は、工学教育、科学支援、技術決定に使用されるAIシステムにとってますます重要になっている。 既存のベンチマークは主に最終回答を評価し、中間推論プロセスの限定的な評価を提供する。 本稿では,696問題を含む5つの工学科目を対象に,工学的推論を評価するためのマルチモーダルベンチマークであるEngVQAを紹介する。 VLM生成ソリューション評価のための8段階自動評価フレームワークを提案する。 このフレームワークはソリューションの各段階を独立に評価し、推論失敗のきめ細かい分析を可能にする。 我々は、評価フレームワーク上で、最先端のオープンソースVLMとクローズドソースVLMをベンチマークし、現在のエンジニアリング推論能力の大幅な制限を実証する。 Pearsonの相関は0.975であり,平均絶対誤差は0.67である。 本研究は,マルチモーダルエンジニアリング推論システムの信頼性評価におけるプロセス指向評価の重要性を強調した。

関連論文リスト

• NuclearQAv2: A Structured Benchmark for Evaluating Domain-Science Competence in Large Language Models [0.9895431386093138]
  大規模言語モデル(LLM)は、幅広いタスクにわたって強力なパフォーマンスを示しているが、高度な技術的領域における信頼性を保証することは、依然として大きな課題である。 核工学の知識に基づいてLLMを評価するためのベンチマークであるNuclearQAv2を紹介する。 ベンチマークは、数値と動詞の3つのカテゴリにまたがる約1,240の質問応答ペアで構成されている。
  論文  参考訳（メタデータ） (2026-06-25T13:52:16Z)
• EngChain: A Symbolic Benchmark for Verifiable Multi-Step Reasoning in Engineering [42.520431569855475]
  検証可能な多段階エンジニアリング問題解決のためのベンチマークであるEngChainを紹介する。 EngChainには3つのエンジニアリングブランチにまたがる90の問題がある。 まず,各推論ステップの数値的および意味的妥当性を定量的に検証し,同定された推論誤りを定性的に分類する自動システム LLM-As-A-Judge を導入する。
  論文  参考訳（メタデータ） (2025-11-03T15:05:44Z)
• PRISM-Physics: Causal DAG-Based Process Evaluation for Physics Reasoning [57.868248683256574]
  PRISM-Physicsはプロセスレベルの評価フレームワークであり、複雑な物理推論問題のベンチマークである。 解は公式の有向非巡回グラフ(DAG)として表される。 その結果,評価フレームワークは人的専門家のスコアと一致していることがわかった。
  論文  参考訳（メタデータ） (2025-10-03T17:09:03Z)
• How Good are Foundation Models in Step-by-Step Embodied Reasoning? [79.15268080287505]
  身体的エージェントは、安全で空間的に整合性があり、文脈に根ざした決定をしなければならない。 大規模マルチモーダルモデルの最近の進歩は、視覚的理解と言語生成において有望な能力を示している。 私たちのベンチマークには、10のタスクと8のエボディメントにまたがる詳細なステップバイステップ推論を備えた1.1k以上のサンプルが含まれています。
  論文  参考訳（メタデータ） (2025-09-18T17:56:30Z)
• R-Bench: Graduate-level Multi-disciplinary Benchmarks for LLM & MLLM Complex Reasoning Evaluation [75.33671166231096]
  我々は、Reasoning Bench(R-Bench)と呼ばれる、大学院レベルの多学派、英語の中国語ベンチマークを導入する。 RBenchは108の被験者に1,094の質問を、83の被験者に665の質問を、マルチモーダルなモデルテストに当てはめている。 我々は,OpenAI o1,GPT-4o,DeepSeek-R1など,広く使用されているモデルを評価した。
  論文  参考訳（メタデータ） (2025-05-04T07:48:36Z)
• Computational Reasoning of Large Language Models [51.629694188014064]
  textbfTuring Machine Benchは,Large Language Models(LLM)による推論プロセスの実行能力を評価するベンチマークである。 TMBenchには、自己完結型および知識に依存しない推論、最小主義的な多段階構造、制御可能な難易度、チューリングマシンに基づく理論的基礎の4つの重要な特徴が組み込まれている。
  論文  参考訳（メタデータ） (2025-04-29T13:52:47Z)
• EQUATOR: A Deterministic Framework for Evaluating LLM Reasoning with Open-Ended Questions. # v1.0.0-beta [2.1249213103048414]
  本研究では,決定論的スコアと実測精度とロバストな推論評価に着目したEQUATOR評価器を提案する。 ベクトルデータベースを使用して、EQUATORは人間の評価された回答とオープンエンドの質問をペアリングし、より正確でスケーラブルな評価を可能にする。 この枠組みは,高精度な基準を維持しつつ,従来のマルチ選択評価を著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2024-12-31T03:56:17Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Evaluating Mathematical Reasoning Beyond Accuracy [50.09931172314218]
  推論ステップの品質を評価するための新しい方法論であるReasonEvalを紹介します。 ReasonEvalはメタ評価データセットのベースライン手法よりも一貫して優れていることを示す。 我々は、ReasonEvalがデータ選択において重要な役割を果たすことを観察する。
  論文  参考訳（メタデータ） (2024-04-08T17:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。