論文の概要: TopoAgent: A Structure-Aware Perception-to-Reasoning Framework for Diagram-to-Graph Topology Extraction with Large Vision-Language Models
- arxiv url: http://arxiv.org/abs/2608.28701v1
- Date: Thu, 27 Aug 2026 15:40:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.719691
- Title: TopoAgent: A Structure-Aware Perception-to-Reasoning Framework for Diagram-to-Graph Topology Extraction with Large Vision-Language Models
- Title（参考訳）: TopoAgent:大規模視覚言語モデルを用いた図-グラフトポロジー抽出のための構造認識型知覚-推論フレームワーク
- Abstract要約: TopoBench-180は、図-グラフトポロジー抽出のための人間検証ベンチマークである。
TopoAgentは、信頼できるトポロジ抽出のための構造認識と推論のためのフレームワークである。
- 参考スコア（独自算出の注目度）: 47.73707314147262
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diagram-to-graph topology extraction aims to extract a graph of entities and their connections from a structural diagram. This task remains challenging for current vision-language models because it requires both fine-grained perceptual grounding and topology-aware reasoning with global consistency. We present TopoBench-180, a human-verified benchmark for diagram-to-graph topology extraction, and TopoAgent, a structure-aware perception-to-reasoning framework for reliable topology extraction using large vision-language models. TopoBench-180 contains 180 structural diagrams spanning Web-style and Network-style categories, paired with canonical graph annotations. TopoAgent progressively extracts the target graph by combining grounded perception, global structural priors, canonical node inventory construction, node-centric local-to-global relation reasoning, and topological consistency enforcement. Experiments on TopoBench-180 show that TopoAgent outperforms strong vision-language model baselines and recent visual reasoning frameworks, especially on edge extraction. More broadly, this work fills an important gap in multimodal structured understanding by establishing a benchmark and framework for diagram-to-graph topology extraction. The benchmark and associated resources will be publicly released at https://huggingface.co/datasets/WayneGuo0011/TopoBench-180.
- Abstract（参考訳）: ダイアグラムからグラフまでのトポロジー抽出は、構造図から実体とその接続のグラフを抽出することを目的としている。
この課題は、世界的一貫性を伴う微粒な知覚的接地とトポロジ的推論の両方を必要とするため、現在の視覚言語モデルでは依然として困難である。
本稿では,図-グラフトポロジ抽出のための人間検証ベンチマークであるTopoBench-180と,大規模視覚言語モデルを用いた信頼性トポロジ抽出のための構造認識型認識・推論フレームワークであるTopoAgentを提案する。
TopoBench-180には、標準グラフアノテーションと組み合わせて、Webスタイルとネットワークスタイルのカテゴリにまたがる180の構造図が含まれている。
TopoAgentは、接地知覚、大域構造先行、標準ノードインベントリの構築、ノード中心の局所-グローバル関係推論、トポロジカル整合性強化を組み合わせることで、対象グラフを段階的に抽出する。
TopoBench-180の実験によると、TopoAgentは、特にエッジ抽出において、強力な視覚言語モデルベースラインや最近の視覚推論フレームワークよりも優れている。
より広範に、この研究は、図からグラフまでのトポロジー抽出のためのベンチマークとフレームワークを確立することで、マルチモーダルな構造化された理解における重要なギャップを埋める。
ベンチマークと関連するリソースはhttps://huggingface.co/datasets/WayneGuo0011/TopoBench-180で公開される。
関連論文リスト
- Global to Local: Topology-Preserving Adaptive Graph Pooling via Granular-Ball [18.207001863893083]
本稿では,新しいトポロジ保存型適応グラフポーリング(TPAGP)手法を提案する。
TPAGPはノードの特徴と位相情報を統合してグラフをグラニュラーボールに分割する。
異なる粒度にまたがる特徴相互作用と最適化を容易にする多粒性グラフネットワークモデルを設計する。
論文 参考訳（メタデータ） (2026-09-04T10:32:20Z) - TopoFormer: Topology Meets Attention for Graph Learning [8.679678575739304]
Topoformerは、トポロジ的構造を注意に優しいシーケンスにエンコードするグラフ表現学習のフレームワークである。
提案手法のコアとなるTopo-Scanは,グラフを短い順序付きトポロジカルトークン列に分解する新しいモジュールである。
論文 参考訳（メタデータ） (2026-07-30T14:18:17Z) - TopoAlign: Topology-Aware Visual Representation Alignment [18.80110544625249]
TopoAlignは、構造の観点からモデル表現を視覚的に比較するためのフレームワークである。
TopoAlignは、トポロジカルな視点から表現構造とアライメントについて有意義な洞察を提供する。
論文 参考訳（メタデータ） (2026-05-25T07:58:26Z) - TagaVLM: Topology-Aware Global Action Reasoning for Vision-Language Navigation [70.23578202012048]
Vision-Language Navigation (VLN) は、アーキテクチャ上のミスマッチのため、大きなビジョン-Language Models (VLM) に固有の課題を提示している。
我々は,VLMのバックボーンにトポロジ構造を明示的に注入するエンドツーエンドフレームワークであるTagaVLM(トポロジ・アウェア・グローバルアクション推論)を提案する。
トポロジ的ノード情報を強化するため、Interleaved Navigation Promptはノードレベルのビジュアルテキストアライメントを強化する。
埋め込みトポロジグラフでは、このモデルはグローバルな行動推論が可能であり、堅牢な経路補正を可能にする。
論文 参考訳（メタデータ） (2026-03-03T13:28:07Z) - OFA-MAS: One-for-All Multi-Agent System Topology Design based on Mixture-of-Experts Graph Generative Models [57.94189874119267]
マルチエージェントシステム(MAS)は複雑な問題を解決するための強力なパラダイムを提供する。
現在のグラフ学習に基づく設計手法は、しばしば「1対1」のパラダイムに準拠している。
自然言語で記述されたタスクに対して適応的な協調グラフを生成する一対一のフレームワークOFA-TADを提案する。
論文 参考訳（メタデータ） (2026-01-19T12:23:44Z) - Towards Graph Foundation Models: Learning Generalities Across Graphs via Task-Trees [50.78679002846741]
タスクツリーを用いたグラフのクロスタスク一般化のための新しい手法を提案する。
本稿では,グラフニューラルネットワーク(GNN)を多種多様なタスクツリー上で事前学習することにより,伝達可能な知識を誘導することを示す。
これにより、最小限の微調整で下流タスクに効率的に適応できる。
論文 参考訳（メタデータ） (2024-12-21T02:07:43Z) - Learning Topological Representations with Bidirectional Graph Attention Network for Solving Job Shop Scheduling Problem [27.904195034688257]
既存の学習に基づくジョブショップスケジューリング問題の解法(JSSP)は、通常、非方向性グラフに適した既製のGNNモデルを使用し、解離グラフ(DG)のリッチで有意義な位相構造を無視する。
本稿では,JSSP を解決するための DG を局所検索フレームワークに組み込むためのトポロジ対応双方向グラフアテンションネットワーク (TBGAT) を提案する。
論文 参考訳（メタデータ） (2024-02-27T15:33:20Z) - Graph Representation Learning via Contrasting Cluster Assignments [57.87743170674533]
GRCCAと呼ばれるクラスタ割り当てを対比して、教師なしグラフ表現モデルを提案する。
クラスタリングアルゴリズムとコントラスト学習を組み合わせることで、局所的およびグローバルな情報を合成的にうまく活用する動機付けがある。
GRCCAは、ほとんどのタスクにおいて強力な競争力を持っている。
論文 参考訳（メタデータ） (2021-12-15T07:28:58Z) - Self-supervised Graph-level Representation Learning with Local and
Global Structure [71.45196938842608]
自己教師付き全グラフ表現学習のためのローカル・インスタンスとグローバル・セマンティック・ラーニング(GraphLoG)という統合フレームワークを提案する。
GraphLoGは、局所的な類似点の保存に加えて、グローバルなセマンティッククラスタをキャプチャする階層的なプロトタイプも導入している。
モデル学習のための効率的なオンライン予測最大化(EM)アルゴリズムがさらに開発された。
論文 参考訳（メタデータ） (2021-06-08T05:25:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。