論文の概要: MechVQA: Benchmarking and Enhancing Multimodal LLMs on Comprehensive Mechanical Drawing Understanding
- arxiv url: http://arxiv.org/abs/2605.30794v1
- Date: Fri, 29 May 2026 03:34:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.367956
- Title: MechVQA: Benchmarking and Enhancing Multimodal LLMs on Comprehensive Mechanical Drawing Understanding
- Title（参考訳）: MechVQA: 総合的機械図面理解のためのマルチモーダルLLMのベンチマークと強化
- Abstract要約: 半自動構築および品質制御パイプラインによって作成された,最初の総合的な機械的描画理解データセットであるMechVQAを紹介する。
MechVQAは、21Kの質問応答対を持つ3.3kの高密度画像を含み、10種類のきめ細かいタスクにまたがっている。
MechVQAの上に、マルチステージトレーニングパラダイムを通じてMechVLモデルを開発し、強力なドメイン特化ベースラインを構築する。
- 参考スコア（独自算出の注目度）: 10.715241018364408
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal Large Language Models (MLLMs) have demonstrated significant achievements in general visual question answering (VQA) tasks. However, they remain brittle on mechanical engineering drawings, where high annotation density and weak domain knowledge, compounded by unreliable spatial relation reasoning under strict projection rules and geometric constraints, make decisive cues easy to miss and frequently lead to wrong answers. To bridge this gap, we introduce the first comprehensive mechanical drawing understanding dataset, MechVQA, created through a semi-automated construction and quality-control pipeline. MechVQA contains 3.3k high-density pictures with 21K question-answer pairs, spanning 10 different fine-grained tasks across three capability levels: Recognition, Reasoning, and Judging, providing a testbed to evaluate and improve MLLM understanding on real-world mechanical drawings. On top of MechVQA, we then develop the MechVL model through a multi-stage training paradigm, building a strong domain-specialized baseline. Extensive experimental results demonstrate that MechVL outperforms the strongest closed-source baseline by 7.57 percentage points on the MechVQA total score, significantly enhancing mechanical drawing understanding ability and providing a reusable foundation for deploying MLLMs in mechanical design and inspection scenarios.
- Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、一般的な視覚的質問応答(VQA)タスクにおいて重要な成果を示した。
しかし、厳密な射影規則と幾何的制約の下で、信頼できない空間関係の推論によって合成された高いアノテーション密度と弱いドメイン知識が、決定的な手がかりを見逃しやすくし、しばしば間違った答えを導き出す機械工学の図面は脆弱である。
このギャップを埋めるために、我々は、半自動構築と品質制御パイプラインを通して作成された最初の総合的な機械的描画理解データセットであるMechVQAを紹介した。
MechVQAは、21Kの質問対を持つ3.3kの高密度画像を含み、認識、推論、ジャッジという3つの能力レベルにわたる10の細かいタスクにまたがっており、実世界の機械的図面に対するMLLMの理解を評価し改善するためのテストベッドを提供している。
MechVQAの上に、マルチステージトレーニングパラダイムを通じてMechVLモデルを開発し、強力なドメイン特化ベースラインを構築する。
大規模な実験結果から,MechVLはMechVQA総得点の7.57ポイントで最強のクローズドソースベースラインを上回り,機械図面理解能力を大幅に向上させ,機械設計および検査シナリオにおけるMLLMの展開のための再利用可能な基盤を提供する。
関連論文リスト
- RxnBench: A Multimodal Benchmark for Evaluating Large Language Models on Chemical Reaction Understanding from Scientific Literature [25.978951548176706]
RxnBenchは科学的なPDFから化学反応を理解する上でMLLMを厳格に評価するためのベンチマークである。
RxnBenchは2つのタスクからなる: きめ細かい視覚知覚と機械的推論をテストするシングルフィギュアQA (SF-QA) と、108の記事から情報を合成するためのモデルに挑戦するフルドキュメントQA (FD-QA) である。
MLLMの評価は, 明確なテキストの抽出に優れたモデルではあるものの, 深層化学論理と正確な構造認識に苦慮している。
論文 参考訳（メタデータ） (2025-12-29T16:05:38Z) - Actial: Activate Spatial Reasoning Ability of Multimodal Large Language Models [75.45940282834327]
本稿では,MLLMの空間的推論能力の評価と改善を目的とした視点学習を紹介する。
多様な視点とそれに対応する質問応答対を持つ100Kオブジェクト中心のイメージペアからなるViewpoint-100Kデータセットを提案する。
このアプローチでは2段階の微調整戦略を採用し,複数のタスクにまたがる大幅な改善を実現している。
論文 参考訳（メタデータ） (2025-11-03T14:27:00Z) - Rethinking Facial Expression Recognition in the Era of Multimodal Large Language Models: Benchmark, Datasets, and Beyond [116.65158801881984]
MLLMの表情推論能力の向上を目的とした後学習戦略を提案する。
We developed a unified and interpretable FER foundation model called UniFER-7B。
論文 参考訳（メタデータ） (2025-11-01T03:53:00Z) - iDETEX: Empowering MLLMs for Intelligent DETailed EXplainable IQA [10.857047397246598]
iDETEXはMLLM(Multimodal large language model)であり、品質基盤、知覚、記述の3つの重要なタスクを同時に実行することができる。
我々は,iDETEXが全サブタスクにわたる最先端性能を実現する大規模ViDA-UGCベンチマークに対するアプローチを検証する。
論文 参考訳（メタデータ） (2025-10-20T09:26:12Z) - Q-Mirror: Unlocking the Multi-Modal Potential of Scientific Text-Only QA Pairs [60.0988889107102]
テキストオンリーQAペア(TQA)を高品質マルチモーダルQAペア(MMQA)に変換する可能性を探る。
我々は、TQA-to-MMQAフレームワークを開発し、変換の原則を提供する包括的で多次元のMMQA品質を確立する。
我々は,MMQA生成と評価を反復精製のためのクローズドループに統合することにより,我々のフレームワークを運用するエージェントシステム(Q-Mirror)を開発した。
論文 参考訳（メタデータ） (2025-09-29T05:22:10Z) - SD-VLM: Spatial Measuring and Understanding with Depth-Encoded Vision-Language Models [75.64836077468722]
視覚言語モデル(VLM)は2次元意味的視覚的理解において優れているが、3次元空間的関係について定量的に推論する能力はいまだ未解明のままである。
VLMの基本空間知覚能力を大幅に向上させる新しいフレームワークであるSD-VLMを提案する。
我々はSD-VLMを訓練した。これは強力な一般化VLMであり、より優れた空間的測定と理解能力を示す。
論文 参考訳（メタデータ） (2025-09-22T12:08:12Z) - Image Quality Assessment for Machines: Paradigm, Large-scale Database, and Models [60.356842878501254]
マシンビジョンシステム(MVS)は、視覚の悪条件下での性能劣化に対して本質的に脆弱である。
画像劣化がMVS性能に与える影響を定量的に評価するマシン中心画像品質評価(MIQA)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-27T13:07:24Z) - MaRVL-QA: A Benchmark for Mathematical Reasoning over Visual Landscapes [1.0799568216202955]
MLLM(Multimodal Large Language Models)の重要なフロンティアは、画像から直接、数学的および空間的推論を行う能力である。
MARVL-QAは、これらのコア推論スキルを定量的に評価するために設計された新しいベンチマークである。
MARVL-QAは、最先端のMLLMでさえ、頑丈な空間的推論ではなく表面的手法に頼って、かなり苦労していることを明らかにしている。
論文 参考訳（メタデータ） (2025-08-24T01:24:56Z) - MV-CoRe: Multimodal Visual-Conceptual Reasoning for Complex Visual Question Answering [0.0]
MV-CoReは、多様な視覚情報と言語情報の深い融合を通して、複雑なVQA性能を向上させるために設計された新しいモデルである。
MV-CoReは、事前訓練された視覚大モデル(VLM)と言語大モデル(LLM)からのグローバルな埋め込みを慎重に統合する
革新的なMultimodal Fusion Transformerは、これらの多様な特徴集合を処理し、深く統合し、リッチなクロスモーダルな注意と複雑な推論を可能にします。
論文 参考訳（メタデータ） (2025-08-09T15:38:11Z) - MAS-ZERO: Designing Multi-Agent Systems with Zero Supervision [76.42361936804313]
自動MAS設計のための自己進化型推論時間フレームワークMAS-ZEROを紹介する。
MAS-ZEROはメタレベルの設計を採用し、各問題インスタンスに適したMAS構成を反復的に生成し、評価し、洗練する。
論文 参考訳（メタデータ） (2025-05-21T00:56:09Z) - M3-AGIQA: Multimodal, Multi-Round, Multi-Aspect AI-Generated Image Quality Assessment [65.3860007085689]
M3-AGIQAは、AI生成画像のより人間らしく総合的な評価を可能にする包括的なフレームワークである。
モデル出力を人間の判断とより密接に整合させることで、M3-AGIQAは堅牢で解釈可能な品質スコアを提供する。
論文 参考訳（メタデータ） (2025-02-21T03:05:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。