論文の概要: MechReason: Benchmarking Multi-Image Multi-Hop Reasoning in Mechanical Engineering

• arxiv url: http://arxiv.org/abs/2609.16012v1
• Date: Fri, 21 Aug 2026 09:18:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 16:32:15.674107
• Title: MechReason: Benchmarking Multi-Image Multi-Hop Reasoning in Mechanical Engineering
• Title（参考訳）: MechReason: メカニカルエンジニアリングにおけるマルチイメージマルチホップ推論のベンチマーク
• Abstract要約: MechReasonは、実際の機械工学論文に由来するベンチマークである。 明確な推論チェーンアノテーションを備えた12kの質問応答ペアと、9つの証拠型にまたがる21kの視覚資料で構成されている。 実験の結果、MechReasonは非常に難しいことが示され、最も先進的なモデルでさえ62.89%の精度しか達成していない。
• 参考スコア（独自算出の注目度）: 6.324797305345387
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite significant progress in general visual question answering and cross-modal understanding, multimodal large language models still face a pronounced gap in evaluation for complex reasoning within the mechanical engineering domain. Existing benchmarks predominantly focus on rudimentary tasks such as drawing recognition, CAD interpretation, or single-chart querying, falling short of assessing whether models can integrate multiple images, textual conditions, physical principles, and engineering constraints to perform multi-step reasoning when confronted with authentic, intricate mechanical problems. To address this, we introduce MechReason, a benchmark derived from real mechanical engineering papers, comprising 12k question-answer pairs with explicit reasoning-chain annotations and 21k visual materials spanning nine evidence types, including statistical charts, parameter tables, engineering drawings, microscopic images, simulation images, system architectures, real mechanical scene photos, CAD model images and manufacturing flowcharts. MechReason covers eight task types across four reasoning dimensions: explanation, prediction, design, and diagnosis. We devise a four-stage construction pipeline: we first extract core engineering claims and decompose their supporting evidence into premises, reasoning processes, conclusions, and corroborative evidence; we then generate shortcut-preventing questions by masking posterior verification information; finally, we apply multimodal quality validation to ensure task quality and multi-hop nature. Extensive experimental results demonstrate that MechReason is highly challenging, with even the most advanced models achieving only 62.89\% accuracy.
• Abstract（参考訳）: 一般的な視覚的質問応答とクロスモーダル理解の進歩にもかかわらず、多モーダルな言語モデルは、機械工学領域における複雑な推論に対する評価において、明らかなギャップに直面している。 既存のベンチマークは主に、描画認識、CAD解釈、シングルチャートクエリといった初歩的なタスクに重点を置いており、モデルが複数の画像、テキスト条件、物理原理、エンジニアリング制約を統合できるかどうかを評価するには不足している。 そこで本研究では, 統計チャート, パラメータテーブル, エンジニアリング図面, 顕微鏡画像, シミュレーション画像, システムアーキテクチャ, 実機械シーン写真, CADモデル画像, 製造フローチャートなどを含む9つのエビデンス型にまたがる12kの質問応答対と21kのビジュアル資料からなる, 実機械工学論文から派生したベンチマークであるMechReasonを紹介する。 MechReasonは4つの推論次元(説明、予測、設計、診断)にまたがる8つのタスクタイプをカバーしている。 我々は,まず,コアエンジニアリングクレームを抽出し,その支持証拠を前提,推論プロセス,結論,相関的エビデンスに分解し,次いで,後続の検証情報を隠蔽してショートカット防止質問を生成し,最後に,タスク品質とマルチホップ性を確保するために,マルチモーダル品質検証を適用した。 大規模な実験の結果、MechReasonは非常に難しいことが示され、最も先進的なモデルでさえ62.89 %の精度しか達成していない。

関連論文リスト

• DrawingVQA: A Real-World Benchmark for Multi-Depth Visual-Textual Reasoning on Construction Drawings [0.4078247440919472]
  DrawingVQAは、マルチモーダルな大規模言語モデル(MLLM)を実世界の構築図面上で評価するために設計された最初のベンチマークである。 ドローイングVQAはこのギャップを33点の"Issued for Construction"ドローイングと92点の専門的な質問応答ペアで埋める。
  論文  参考訳（メタデータ） (2026-07-16T19:44:03Z)
• Deconstructing Multimodal Mathematical Reasoning: Towards a Unified Perception-Alignment-Reasoning Paradigm [82.57296908195654]
  MMR(Multimodal Mathematical Reasoning)は、テキストと視覚の両方のモダリティを含む数学的問題を解く能力に注目が集まっている。 現在のモデルは、実世界の視覚数学のタスクにおいて大きな課題に直面している。
  論文  参考訳（メタデータ） (2026-03-09T12:11:00Z)
• EngChain: A Symbolic Benchmark for Verifiable Multi-Step Reasoning in Engineering [42.520431569855475]
  検証可能な多段階エンジニアリング問題解決のためのベンチマークであるEngChainを紹介する。 EngChainには3つのエンジニアリングブランチにまたがる90の問題がある。 まず,各推論ステップの数値的および意味的妥当性を定量的に検証し,同定された推論誤りを定性的に分類する自動システム LLM-As-A-Judge を導入する。
  論文  参考訳（メタデータ） (2025-11-03T15:05:44Z)
• SoM-1K: A Thousand-Problem Benchmark Dataset for Strength of Materials [16.756001896133757]
  材料強度の問題に関する基礎モデルを評価するための,最初の大規模マルチモーダルベンチマークデータセットであるSoM-1Kを紹介する。 この研究は、エンジニアリングAIのための厳格なベンチマークを確立し、より堅牢なマルチモーダル推論機能を開発するための重要なニーズを強調している。
  論文  参考訳（メタデータ） (2025-09-25T12:28:22Z)
• A Large Language Model Powered Integrated Circuit Footprint Geometry Understanding [28.549303184788858]
  LLM4-IC8Kは、ICメカニカル描画を画像として扱い、LLMを構造化幾何学的解釈に活用する新しいフレームワークである。 まず、合成したICフットプリント図上でLMMを訓練し、基本的な幾何学的推論を学習する2段階のフレームワークを提案する。 本モデルでは,提案したベンチマークにおいて,最先端のLMMよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2025-07-30T02:16:50Z)
• Agent-X: Evaluating Deep Multimodal Reasoning in Vision-Centric Agentic Tasks [94.19506319646376]
  本稿では,実世界のマルチモーダル環境での視覚中心エージェント評価のためのベンチマークであるAgent-Xを紹介する。 Agent-Xは、828のエージェントタスクと、イメージ、マルチイメージ比較、ビデオ、命令テキストを含む、真の視覚的コンテキストを備えている。 その結果、GPT、Gemini、Qwenファミリーを含む最高のパフォーマンスモデルでさえ、多段階視覚タスクの解決に苦慮していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-30T17:59:53Z)
• FaceXFormer: A Unified Transformer for Facial Analysis [59.94066615853198]
  FaceXFormerは10の顔分析タスクを実行することができるエンドツーエンドの統一トランスフォーマーモデルである。 タスクには、顔解析、ランドマーク検出、ヘッドポーズ推定、属性予測、年齢、性別、人種推定が含まれる。 私たちは、FaceXFormerを10種類の多様な顔認識データセットでトレーニングし、特殊モデルとマルチタスクモデルの両方に対して評価する。
  論文  参考訳（メタデータ） (2024-03-19T17:58:04Z)
• CogCoM: A Visual Language Model with Chain-of-Manipulations Reasoning [61.21923643289266]
  カオス・オブ・マニピュレーション(Chain of Manipulations)は、視覚言語モデル(Vision-Language Models)が、エビデンスを段階的に解決するメカニズムである。 トレーニング後、モデルは外部ツールを介さずに、本質的な操作(グラウンド、ズームインなど)を積極的に行うことで、様々な視覚的問題を解決することができる。 トレーニングされたモデルである textbfCogCoM は、4つのカテゴリの9つのベンチマークで最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-02-06T18:43:48Z)
• MeLM, a generative pretrained language modeling framework that solves forward and inverse mechanics problems [0.0]
  本稿では, 様々な非線形前方・逆問題の解法として, フレキシブルなマルチモーダル力学言語モデル, MeLM を適用する。 このフレームワークは、バイオインスパイアされた階層的ハニカム設計やカーボンナノチューブ力学など、様々な例に適用されている。
  論文  参考訳（メタデータ） (2023-06-30T10:28:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。