Fugu-MT 論文翻訳(概要): LED-BENCH: A Benchmark for Large-format Engineering Drawing Understanding

論文の概要: LED-BENCH: A Benchmark for Large-format Engineering Drawing Understanding

arxiv url: http://arxiv.org/abs/2610.19571v1
Date: Wed, 14 Oct 2026 04:37:23 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-15 21:06:15.961514
Title: LED-BENCH: A Benchmark for Large-format Engineering Drawing Understanding
Title（参考訳）: LED-BENCH:大規模エンジニアリング図面理解のためのベンチマーク
Abstract要約: LED-BENCH(LED-BENCH)は、大規模なエンジニアリング図面に対するきめ細かい理解を評価するために設計されたベンチマークである。 GPT-5.6 Solは平均精度52.65%を達成し、性能はエンジニアリング領域によって異なり、全ての評価されたモデルはより広範なエビデンス統合を必要とする質問に対してより悪い結果をもたらす。
参考スコア（独自算出の注目度）: 30.36803782613883
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Real-world engineering drawings are often large-format and information-dense. Answering practical engineering questions therefore requires both fine-grained understanding of engineering information and complex reasoning over objects, relations, and evidence distributed across different regions or views. Existing benchmarks cover a range of engineering-drawing understanding tasks involving local regions, individual views, specific elements, or more constrained visual settings. However, systematic evaluation of understanding over realistic, large-format engineering drawings remains limited. To address this gap, we introduce LED-BENCH, a multidisciplinary benchmark designed to evaluate fine-grained understanding and complex reasoning over large-format engineering drawings, spanning the mechanical, architectural, and transportation domains. Extensive evaluation of 11 representative multimodal large language models, including 8 proprietary models and 3 open-source models, reveals substantial remaining difficulty: GPT-5.6 Sol achieves 52.65% average accuracy, performance varies across engineering domains, and all evaluated models perform worse on questions requiring broader evidence integration. These results highlight fine-grained understanding, evidence integration, and complex reasoning over large-format engineering drawings as persistent challenges for current multimodal models.
Abstract（参考訳）: 実世界のエンジニアリング図面は、しばしば大きな形式と情報密度である。したがって、実践的な工学的な疑問に答えるには、工学的な情報のきめ細かい理解と、異なる領域や視点に分散する対象、関係、証拠に関する複雑な推論の両方が必要である。既存のベンチマークでは、ローカルリージョン、個々のビュー、特定の要素、あるいはより制約のある視覚的設定を含む、エンジニアリングによる理解タスクがカバーされている。しかし、現実的な大規模エンジニアリング図面に対する理解の体系的評価は依然として限られている。このギャップに対処するために,大規模エンジニアリング図面に対する微細な理解と複雑な推論を,機械的,建築的,輸送的領域にまたがって評価する,多分野のベンチマークであるLED-BENCHを導入する。 GPT-5.6 Solは52.65%の平均精度を達成し、性能はエンジニアリング領域によって異なり、全ての評価されたモデルは、より広範なエビデンス統合を必要とする質問に対してより悪い結果をもたらす。これらの結果は、現在のマルチモーダルモデルの永続的な課題として、大規模エンジニアリング図面に対するきめ細かい理解、エビデンス統合、複雑な推論を浮き彫りにしている。

関連論文リスト

MechReason: Benchmarking Multi-Image Multi-Hop Reasoning in Mechanical Engineering [6.324797305345387]
MechReasonは、実際の機械工学論文に由来するベンチマークである。明確な推論チェーンアノテーションを備えた12kの質問応答ペアと、9つの証拠型にまたがる21kの視覚資料で構成されている。実験の結果、MechReasonは非常に難しいことが示され、最も先進的なモデルでさえ62.89%の精度しか達成していない。
論文参考訳（メタデータ） (2026-08-21T09:18:25Z)
DrawingVQA: A Real-World Benchmark for Multi-Depth Visual-Textual Reasoning on Construction Drawings [0.4078247440919472]
DrawingVQAは、マルチモーダルな大規模言語モデル(MLLM)を実世界の構築図面上で評価するために設計された最初のベンチマークである。ドローイングVQAはこのギャップを33点の"Issued for Construction"ドローイングと92点の専門的な質問応答ペアで埋める。
論文参考訳（メタデータ） (2026-07-16T19:44:03Z)
Feed-Forward 3D Scene Modeling: A Problem-Driven Perspective [91.23306722968509]
汎用的なフィードフォワード3D再構築は近年急速に進展している。既存のフィードフォワードアプローチも同様に高いレベルのアーキテクチャパターンを共有している。本稿では,出力形式に依存しないモデル設計戦略を中心とした新しい分類法を提案する。
論文参考訳（メタデータ） (2026-04-15T16:07:18Z)
Survey of Multimodal Geospatial Foundation Models: Techniques, Applications, and Challenges [54.669838624278924]
基礎モデルは自然言語処理とコンピュータビジョンに変化をもたらした。強力な一般化と伝達学習機能により、リモートセンシングデータのマルチモーダル、マルチレゾリューション、マルチ時間特性と自然に一致させる。この調査は、モーダリティ駆動の観点から、マルチモーダルGFMの包括的なレビューを提供する。
論文参考訳（メタデータ） (2025-10-27T03:40:00Z)
EngiBench: A Benchmark for Evaluating Large Language Models on Engineering Problem Solving [37.708900742664184]
本稿では,工学的問題を解決する上で,大規模言語モデル(LLM)を評価する階層的なベンチマークであるEngiBenchを紹介する。難易度(基礎知識検索、多段階の文脈推論、オープンエンドモデリング)の3段階に及び、多様なエンジニアリングサブフィールドをカバーする。モデルはタスクが難しくなるにつれて苦労するし、問題がわずかに変化してもパフォーマンスが悪くなる。
論文参考訳（メタデータ） (2025-09-22T12:20:27Z)
Vision Generalist Model: A Survey [87.49797517847132]
本稿では、ビジョンジェネラリストモデルの概要を概観し、その分野におけるその特性と能力について考察する。関連ドメインへの簡単な探索を行い、相互接続と潜在的なシナジーに光を当てます。
論文参考訳（メタデータ） (2025-06-11T17:23:41Z)
Evaluating Large Language Models for Real-World Engineering Tasks [75.97299249823972]
本稿では,実運用指向のエンジニアリングシナリオから得られた100以上の質問をキュレートしたデータベースを提案する。このデータセットを用いて、4つの最先端の大規模言語モデル(LLM)を評価する。以上の結果から,LLMは時間的および構造的推論において強みを示すが,抽象的推論や形式的モデリング,文脈に敏感な工学的論理にはかなり苦労することがわかった。
論文参考訳（メタデータ） (2025-05-12T14:05:23Z)
A Survey on Remote Sensing Foundation Models: From Vision to Multimodality [35.532200523631765]
リモートセンシングのための視覚とマルチモーダル基礎モデルは、インテリジェントな地理空間データ解釈能力を大幅に向上させた。データタイプの多様性、大規模アノテートデータセットの必要性、マルチモーダル融合技術の複雑さは、これらのモデルの効果的なデプロイに重大な障害をもたらす。本稿では、リモートセンシングのための最先端のビジョンモデルとマルチモーダル基礎モデルについて、アーキテクチャ、トレーニング方法、データセット、アプリケーションシナリオに焦点をあててレビューする。
論文参考訳（メタデータ） (2025-03-28T01:57:35Z)
Beyond development: Challenges in deploying machine learning models for structural engineering applications [2.6415688445750383]
本稿では,2つの具体例を通して,デプロイメントに適した機械学習モデルを開発する上での課題について述べる。様々な落とし穴の中で、提示された議論は、モデルの過度な適合と過小評価、トレーニングデータ代表性、変数の欠落バイアス、およびクロスバリデーションに焦点を当てている。その結果、適応サンプリングによる厳密なモデル検証手法の実装の重要性、注意深い物理インフォームド特徴選択、モデルの複雑さと一般化可能性の両方について考察した。
論文参考訳（メタデータ） (2024-04-18T23:40:42Z)
Review of Large Vision Models and Visual Prompt Engineering [50.63394642549947]
レビューは、大きな視覚モデルと視覚プロンプトエンジニアリングのためにコンピュータビジョン領域で使用される手法を要約することを目的としている。本稿では、視覚領域における影響力のある大規模モデルと、これらのモデルに使用される一連のプロンプトエンジニアリング手法を提案する。
論文参考訳（メタデータ） (2023-07-03T08:48:49Z)
Interpretable Hyperspectral AI: When Non-Convex Modeling meets Hyperspectral Remote Sensing [57.52865154829273]
ハイパースペクトルイメージング、別名画像分光法は、地球科学リモートセンシング(RS)におけるランドマーク技術です。過去10年間で、主に熟練した専門家によってこれらのハイパースペクトル(HS)製品を分析するための取り組みが行われています。このため、さまざまなHS RSアプリケーションのためのよりインテリジェントで自動的なアプローチを開発することが急務です。
論文参考訳（メタデータ） (2021-03-02T03:32:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。