論文の概要: MMArch: Benchmarking Multimodal Reasoning Grounded in Architectural Evidence
- arxiv url: http://arxiv.org/abs/2608.09281v1
- Date: Mon, 10 Aug 2026 08:37:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.16233
- Title: MMArch: Benchmarking Multimodal Reasoning Grounded in Architectural Evidence
- Title（参考訳）: MMArch: アーキテクチャ上の根拠に基づくマルチモーダル推論のベンチマーク
- Abstract要約: MMArchは、ピアレビュー論文で10桁に及ぶアーキテクチャと土木工学のベンチマークである。
1212ドルのショート・アンサー・アイテムは、分離されたプランナー・ライター・パイプラインで作られ、自動スクリーニング、視覚障害者の監査、専門家のレビューを通じて検証される。
我々の誤り分析は、失敗は原則の適用に集中し、それを特定することよりも、数字に証拠を組み合わせることに集中していることを示している。
- 参考スコア（独自算出の注目度）: 6.324797305345387
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal large language models (MLLMs) perform strongly on engineering imagery, yet existing benchmarks mostly test drawing recognition, information extraction, or compliance checking, leaving open whether models can combine distributed visual evidence with engineering principles to reach a conclusion. We introduce MMArch, a benchmark for architecture and civil engineering spanning ten subdomains and built entirely from figures in peer-reviewed papers. Its $1{,}212$ short-answer items are produced by a decoupled planner--writer pipeline and validated through automated screening, a blind adversarial audit, and expert review, so that answering requires perceiving the relevant evidence, identifying the governing principle, and applying it, not exploiting textual or single-figure shortcuts. Evaluating $18$ open-weight and proprietary MLLMs against a domain-expert panel, we find a wide gap: the strongest open-source model attains about $30\%$ and the best proprietary system $52\%$, while human experts reach $95\%$, more than forty points ahead. Our error analysis shows that failures concentrate in applying principles and combining evidence across figures rather than in locating it, pointing to substantial headroom for future research. Code and data are available at https://dcx-swjtu.github.io/MMArch/.
- Abstract（参考訳）: MLLM(Multimodal large language model)は、エンジニアリングイメージに強く依存するが、既存のベンチマークは主に描画認識、情報抽出、コンプライアンスチェックをテストする。
10のサブドメインにまたがるアーキテクチャと土木工学のベンチマークであるMMArchを紹介する。
その${,}212$のショートアンサーアイテムは、分離されたプランナー-ライターパイプラインによって生成され、自動スクリーニング、盲目的監査、エキスパートレビューを通じて検証される。
オープンウェイトでプロプライエタリなMLLMを、ドメイン専門家のパネルに対して評価すると、大きなギャップがある。最強のオープンソースモデルは、約30セント、最高のプロプライエタリなシステム522セント、人間のエキスパートは955セント、前40ポイント以上である。
我々の誤り分析は、失敗は原則の適用に集中し、それを特定することよりも、数字に証拠を組み合わせることに集中していることを示している。
コードとデータはhttps://dcx-swjtu.github.io/MMArch/で公開されている。
関連論文リスト
- FormalTCS: Benchmarking End-to-End Frontier Formal Theoretical Computer Science Research of Large Language Models [53.68149869349268]
大規模言語モデル(LLM)は、自動理論計算機科学(TCS)研究の可能性を増大させている。
我々は、最前線のエンドツーエンドのTCS研究でLSMを評価するための専門家検証ベンチマークである ourbenchmarkを紹介した。
論文 参考訳（メタデータ） (2026-08-20T15:13:41Z) - MAGE-RAG: Multigranular Adaptive Graph Evidence for Agentic Multimodal RAG in Long-Document QA [14.865891513918278]
長い文書のマルチモーダルな質問応答には、長いPDFでスパースエビデンスを見つけるシステムが必要である。
本稿では,長期文書マルチモーダルQAのための多言語適応グラフエビデンスフレームワークであるMAGE-RAGを提案する。
論文 参考訳（メタデータ） (2026-06-14T16:34:15Z) - MetaGAI: A Large-Scale and High-Quality Benchmark for Generative AI Model and Data Card Generation [7.0330781653125145]
学術論文やGitHubリポジトリ,Hugging Faceアーティファクトのセマンティック三角測量によって構築された,2,541の検証済みドキュメントトリガからなる総合ベンチマークであるMetaGAIを紹介する。
従来のシングルソースデータセットとは異なり、MetaGAIでは、特殊なRetriever、Generator、Editorエージェントを備えたマルチエージェントフレームワークを採用し、4次元のHuman-in-the-loopアセスメントを通じて検証されている。
論文 参考訳（メタデータ） (2026-04-26T05:24:03Z) - MultiHaystack: Benchmarking Multimodal Retrieval and Reasoning over 40K Images, Videos, and Documents [57.32877731797049]
MultiHaystackは、大規模なクロスモーダル条件下での検索と推論の両方を評価するために設計された最初のベンチマークである。
モデルが対応するエビデンスを付与した場合,その性能は,全コーパスからそのエビデンスを取得するために必要な場合,急激に低下することがわかった。
論文 参考訳（メタデータ） (2026-03-05T21:43:02Z) - Scaling Beyond Context: A Survey of Multimodal Retrieval-Augmented Generation for Document Understanding [61.36285696607487]
文書理解は、財務分析から科学的発見への応用に不可欠である。
現在のアプローチでは、OCRベースのパイプラインがLarge Language Models(LLM)やネイティブのMultimodal LLMs(MLLM)に制限されている。
Retrieval-Augmented Generation (RAG)は、外部データの基底モデルを支援するが、文書のマルチモーダルな性質は、テキスト、テーブル、チャート、レイアウトを組み合わせることで、より高度なパラダイムを必要とする。
論文 参考訳（メタデータ） (2025-10-17T02:33:16Z) - UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG [82.84014669683863]
マルチモーダル検索拡張生成(MM-RAG)は,大規模言語モデルを現実世界の知識ベースに適用するための重要なアプローチである。
UniDoc-Benchは、70万の現実世界のPDFページから構築されたMM-RAGのための最初の大規模で現実的なベンチマークである。
実験により,マルチモーダルテキスト画像融合RAGシステムは,非モーダルおよび共同マルチモーダル埋め込みに基づく検索において一貫して優れていた。
論文 参考訳（メタデータ） (2025-10-04T04:30:13Z) - Rethinking Reward Models for Multi-Domain Test-Time Scaling [91.76069784586149]
従来の作業では、プロセス報酬モデル(PRM)が最終回答のみを評価する結果報酬モデル(ORM)を上回っていると仮定しています。
14の異なる領域にまたがる4つの報酬モデル変種を統一的に評価する。
LLMの自動ラベル付けからラベルノイズを継承し,長い推論軌跡の評価に難渋するPRM方式の段階的スコアリングが原因と考えられる。
論文 参考訳（メタデータ） (2025-10-01T04:21:14Z) - MCPMark: A Benchmark for Stress-Testing Realistic and Comprehensive MCP Use [27.978435634514128]
MCPMarkは、より現実的で包括的な方法でMPPの使用を評価するために設計されたベンチマークである。
ドメインの専門家とAIエージェントが共同で作成した127ドルの高品質なタスクで構成されている。
平均して、LCMは16.2ドル、タスクごとに17.4ドルのツールコールを必要とし、以前のMPPベンチマークよりも大幅に上回っている。
論文 参考訳（メタデータ） (2025-09-28T17:53:27Z) - Benchmarking Retrieval-Augmented Multimodal Generation for Document Question Answering [60.062194349648195]
Document Visual Question Answering (DocVQA)は、長いマルチモーダル文書の処理において2つの課題に直面している。
現在の文書検索拡張生成法(DocRAG)はテキスト中心のアプローチによって制限されている。
MMDocRAGは,多ページのクロスモーダルエビデンスチェーンを持つ4,055のエキスパートアノテーション付きQAペアを特徴とする総合ベンチマークである。
論文 参考訳（メタデータ） (2025-05-22T09:52:57Z) - MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。
本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。
メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文 参考訳（メタデータ） (2024-06-20T03:50:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。