論文の概要: OmniSch: A Multimodal PCB Schematic Benchmark For Structured Diagram Visual Reasoning
- arxiv url: http://arxiv.org/abs/2604.00270v1
- Date: Tue, 31 Mar 2026 21:51:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-02 16:44:31.740653
- Title: OmniSch: A Multimodal PCB Schematic Benchmark For Structured Diagram Visual Reasoning
- Title（参考訳）: OmniSch:構造化ダイアグラムビジュアル推論のためのマルチモーダルPCBスキーマベンチマーク
- Authors: Taiting Lu, Kaiyuan Lin, Yuxin Tian, Yubo Wang, Muchuan Wang, Sharique Khatri, Akshit Kartik, Yixi Wang, Amey Santosh Rane, Yida Wang, Yifan Yang, Yi-Chao Chen, Yincheng Jin, Mahanth Gowda,
- Abstract要約: 我々は、スキーマ理解と空間ネットリストグラフ構築のLMMを評価するために設計された最初の総合ベンチマークであるOmniSchを紹介する。
この結果から,信頼性の低いきめ細かなグラウンド,不安定なレイアウト・ツー・グラフ解析,不整合なグローバル接続推論,非効率なビジュアル探索など,現在のLMMの解釈における大きなギャップが明らかとなった。
- 参考スコア（独自算出の注目度）: 15.233703617342066
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent large multimodal models (LMMs) have made rapid progress in visual grounding, document understanding, and diagram reasoning tasks. However, their ability to convert Printed Circuit Board (PCB) schematic diagrams into machine-readable spatially weighted netlist graphs, jointly capturing component attributes, connectivity, and geometry, remains largely underexplored, despite such graph representations are the backbone of practical electronic design automation (EDA) workflows. To bridge this gap, we introduce OmniSch, the first comprehensive benchmark designed to assess LMMs on schematic understanding and spatial netlist graph construction. OmniSch contains 1,854 real-world schematic diagrams and includes four tasks: (1) visual grounding for schematic entities, with 109.9K grounded instances aligning 423.4K diagram semantic labels to their visual regions; (2) diagram-to-graph reasoning, understanding topological relationship among diagram elements; (3) geometric reasoning, constructing layout-dependent weights for each connection; and (4) tool-augmented agentic reasoning for visual search, invoking external tools to accomplish (1)-(3). Our results reveal substantial gaps of current LMMs in interpreting schematic engineering artifacts, including unreliable fine-grained grounding, brittle layout-to-graph parsing, inconsistent global connectivity reasoning and inefficient visual exploration.
- Abstract（参考訳）: 近年の大規模マルチモーダルモデル (LMM) は, 視覚的基盤化, 文書理解, 図形推論のタスクにおいて急速に進歩している。
しかし、印刷回路板(PCB)の図式図を機械可読な空間重み付きネットリストグラフに変換し、コンポーネント属性、接続性、および幾何学を共同でキャプチャする能力は、実用的な電子設計自動化(EDA)ワークフローのバックボーンであるにもかかわらず、ほとんど探索されていない。
このギャップを埋めるために、スキーマ的理解と空間的ネットリストグラフ構築のLMMを評価するために設計された最初の総合的なベンチマークであるOmniSchを紹介する。
OmniSchには1,854の現実世界のスキーマ図が含まれており、(1)スキーマエンティティの視覚的グラウンド化、109.9Kの基底化されたインスタンスで、423.4Kの図のセマンティックラベルをそれらの視覚領域に整列させる、(2)図の推論、図の要素間のトポロジ的関係を理解する、(3) 幾何学的推論、各接続のレイアウト依存重み付けを構築する、(4) 視覚検索のためのツール強化されたエージェント推論、(1)-(3) を達成するための外部ツールを呼び出す、という4つのタスクが含まれている。
この結果から,信頼性の低いきめ細かなグラウンド,不安定なレイアウト・ツー・グラフ解析,不整合なグローバル接続推論,非効率なビジュアル探索など,現在のLMMの解釈における大きなギャップが明らかとなった。
関連論文リスト
- Beyond Pixels: Vector-to-Graph Transformation for Reliable Schematic Auditing [34.54168175788343]
本稿では,CAD図をノードがコンポーネントを表現し,エッジが接続を符号化するプロパティグラフに変換するVector-to-Graph(V2G)パイプラインを提案する。
電気的コンプライアンスチェックの診断ベンチマークでは、V2Gは全てのエラーカテゴリで大きな精度向上を達成し、MLLMのリードは確率レベルに近づいたままである。
論文 参考訳（メタデータ） (2026-02-12T07:50:49Z) - ChartAnchor: Chart Grounding with Structural-Semantic Fidelity [19.798612765001746]
チャートグラウンド(英: Chart grounding)とは、チャートの視覚的外観と構造的意味論の間の双方向のアライメントを指す。
ChartAnchorは、8k以上のチャートテーブルコードトリプルのベンチマークである。
マルチレベル評価フレームワークは、セマンティックバリデーション、スタイリスティック分析、知覚メトリクスを統合して、構造的およびコンテンツレベルの正確性を評価する。
論文 参考訳（メタデータ） (2025-11-30T18:28:09Z) - A Large Language Model Powered Integrated Circuit Footprint Geometry Understanding [28.549303184788858]
LLM4-IC8Kは、ICメカニカル描画を画像として扱い、LLMを構造化幾何学的解釈に活用する新しいフレームワークである。
まず、合成したICフットプリント図上でLMMを訓練し、基本的な幾何学的推論を学習する2段階のフレームワークを提案する。
本モデルでは,提案したベンチマークにおいて,最先端のLMMよりも優れた性能を示す。
論文 参考訳（メタデータ） (2025-07-30T02:16:50Z) - AutoSchemaKG: Autonomous Knowledge Graph Construction through Dynamic Schema Induction from Web-Scale Corpora [51.77079220622184]
完全自律的な知識グラフ構築のためのフレームワークであるAutoKGを提案する。
大規模言語モデルを利用して知識トリプルを同時に抽出し,テキストから直接包括的なスキーマを誘導する。
我々は,9億以上のノードと590億のエッジを持つ知識グラフ群であるATLAS(Automated Triple Linking And induction)を構築した。
論文 参考訳（メタデータ） (2025-05-29T16:34:58Z) - Point or Line? Using Line-based Representation for Panoptic Symbol Spotting in CAD Drawings [67.5600169375126]
ベクトルグラフィカルプリミティブからなるCAD図面におけるパノプティカルシンボルスポッティングの課題について検討する。
既存の手法は通常、画像化、グラフ構築、あるいは点ベースの表現に依存している。
本稿では,プリミティブの行ベースの表現を通じてこれらの課題に対処する新しい手法であるVecFormerを提案する。
論文 参考訳（メタデータ） (2025-05-29T12:33:11Z) - Draw with Thought: Unleashing Multimodal Reasoning for Scientific Diagram Generation [4.246322465055928]
そこで我々は,MLLMを指導し,図形を編集可能なmxGraph XMLコードに再構成する学習自由フレームワークDaw with Thought (DwT)を提案する。
DwTはモデル微調整なしで解釈可能で制御可能な出力を可能にする。
Plot2XMLは、ゴールドスタンダードのXMLアノテーションを備えた247の現実世界の科学図のベンチマークです。
論文 参考訳（メタデータ） (2025-04-13T08:22:09Z) - Visualizing Thought: Conceptual Diagrams Enable Robust Planning in LMMs [59.66595230543127]
概念図はメンタルモデルを外部化し、関係のない詳細を抽象化して、エンティティの相互作用を効率的に捉える。
大規模言語モデル (LLM) と大規模マルチモーダルモデル (LMM) は、主にテキストを通して推論される。
我々は、LMMが複数の自己生成概念図を通した推論を可能にする、一般化可能なフレームワークであるVisual Thinkingを提案する。
論文 参考訳（メタデータ） (2025-03-14T18:27:02Z) - Towards Understanding Graphical Perception in Large Multimodal Models [80.44471730672801]
我々は,グラフにおけるLMMの知覚能力のギャップを分析するための評価フレームワークを開発するために,グラフィカル知覚の理論を利用する。
我々は3つのレベル(チャート、ビジュアル要素、ピクセル)における最先端LMMの知覚能力の評価と診断にフレームワークを適用した。
論文 参考訳（メタデータ） (2025-03-13T20:13:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。