論文の概要: Visual Graph Reasoning via Knowledge Compilation
- arxiv url: http://arxiv.org/abs/2609.22327v1
- Date: Wed, 16 Sep 2026 08:40:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.307067
- Title: Visual Graph Reasoning via Knowledge Compilation
- Title(参考訳): 知識コンパイルによるビジュアルグラフ推論
- Abstract要約: 本稿では,知識コンパイルによるビジュアルグラフ推論のための,コンパイル中心のパラダイムであるVGCompilerを提案する。
VGCompilerは、視覚入力から構造を保存する中間グラフ表現を復元する表現コンパイラと、回復したグラフ状態下でクエリインテントを実行可能なグラフ操作にコンパイルする演算コンパイラである。
具体的には、Qwen3-VL-8B上にVGCompilerを構築し、実行可能性、コンパイルされたグラフの妥当性、表現品質、操作品質よりも、階層化された報酬で指導された強化学習で学習する。
- 参考スコア(独自算出の注目度): 11.538209622853579
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual graph reasoning requires answering graph-theoretic questions directly from graph images, where graph topology and state are conveyed visually rather than given in symbolic form. Despite recent progress of vision-language models (VLMs), current approaches to visual graph reasoning still fail on simple visual graph problems. This reveals a fundamental limitation of existing approaches: they prioritize final-answer supervision over the intermediate recovery of an explicit graph representation that preserves graph topology and state from visual input. To address this limitation, we propose VGCompiler, a compilation-centric paradigm for visual graph reasoning via knowledge compilation. VGCompiler organizes reasoning around two compilers: a representation compiler that recovers a structure-preserving intermediate graph representation from visual input, and an operation compiler that compiles query intent under the recovered graph state into an executable graph operation. Specifically, we build VGCompiler on Qwen3-VL-8B and train it with reinforcement learning guided by a layered reward over executability, compiled graph validity, representation quality, and operation quality. VGCompiler uses a frozen observer to summarize graph and question conditions into lightweight signatures, enabling archive retrieval and code reuse across similar regimes. Experiments on three benchmarks GVLQA, VisionGraph, and VGCURE, show that Qwen-VGCompiler, built on an 8B backbone, surpasses the strongest closed-source VLM baseline by 28.9% and the strongest code-based baseline by 23.7%, while maintaining high efficiency. We further evaluate VGCompiler on three real-world domains, including metro routing, logistics delivery, and network fault assessment, where it generalizes across heterogeneous visual graphs and domain-grounded tasks.
- Abstract(参考訳): ビジュアルグラフ推論では、グラフトポロジと状態がシンボル形式で与えられるのではなく、視覚的に伝達されるグラフ画像から直接グラフ理論の質問に答える必要がある。
近年の視覚言語モデル(VLM)の進歩にもかかわらず、ビジュアルグラフ推論への現在のアプローチは、単純なビジュアルグラフ問題では依然として失敗している。
これは、グラフトポロジと状態を視覚的な入力から保存する明示的なグラフ表現の中間的な回復よりも、最終回答の監督を優先する、既存のアプローチの根本的な制限を明らかにしている。
この制限に対処するため、知識コンパイルによるビジュアルグラフ推論のためのコンパイル中心パラダイムであるVGCompilerを提案する。
VGCompilerは、視覚入力から構造を保存する中間グラフ表現を復元する表現コンパイラと、回復したグラフ状態下でクエリインテントを実行可能なグラフ操作にコンパイルする演算コンパイラである。
具体的には、Qwen3-VL-8B上にVGCompilerを構築し、実行可能性、コンパイルされたグラフの妥当性、表現品質、操作品質よりも、階層化された報酬で指導された強化学習で学習する。
VGCompilerは凍結したオブザーバを使用して、グラフと質問条件を軽量なシグネチャに要約する。
GVLQA、VisionGraph、VGCUREの3つのベンチマークの実験では、Qwen-VGCompilerは8Bのバックボーン上に構築され、最強のクローズドソースVLMベースラインを28.9%、最強のコードベースラインを23.7%上回り、高い効率を維持している。
我々はさらに、メトロルーティング、ロジスティクス配信、ネットワークフォールトアセスメントを含む3つの現実世界のドメイン上でVGCompilerを評価し、ヘテロジニアスなビジュアルグラフとドメイン基底タスクを一般化する。
関連論文リスト
- GraphVerse: A Comprehensive Visual Graph Reasoning Benchmark for Multimodal Large Language Models [26.945369697013458]
GraphVerseは、MLLMにおける知覚、視覚的推論、テキストベースのグラフ推論を共同で評価するベンチマークである。
中心となるのは、グラフ中心の画像編集戦略のスイートで、グラフイメージをセマンティクスを保持しながら変更する。
VGR-Scoreは最終回答精度以上の推論品質を評価するプロセスセンシティブなメトリクスである。
論文 参考訳(メタデータ) (2026-08-07T03:43:25Z) - GraphContainer: A Unified Platform for Comparing and Debugging Graph RAG Methods [4.927427162899616]
GraphContainerは、多様なグラフRAGを統一し視覚化するように設計された、新しいプラットフォームである。
本稿では、GraphContainerがグラフフォーマットと検索戦略の制御された比較を可能にする方法を示す。
論文 参考訳(メタデータ) (2026-06-05T02:37:37Z) - GraphCogent: Mitigating LLMs' Working Memory Constraints via Multi-Agent Collaboration in Complex Graph Understanding [13.356521655409422]
大規模言語モデル(LLM)は、小規模なグラフ推論タスクでは有望な性能を示すが、複雑なクエリで現実のグラフを扱うと失敗する。
グラフ推論を特殊な認知プロセス(センス、バッファ、実行)に分解する協調エージェントフレームワークであるGraphCogentを提案する。
論文 参考訳(メタデータ) (2025-08-17T14:28:38Z) - Graph is a Natural Regularization: Revisiting Vector Quantization for Graph Representation Learning [12.232364178523822]
本稿では,ベクトル量子化をグラフデータに適用した場合に,コードブックの崩壊が一貫して起こることを示す最初の実証的研究を示す。
グラフトポロジと特徴的類似性を明示的な正規化信号として統合し,コードブックの利用率を高め,トークンの多様性を促進する新しいフレームワークであるRGVQを提案する。
論文 参考訳(メタデータ) (2025-08-08T06:33:45Z) - Align-GRAG: Reasoning-Guided Dual Alignment for Graph Retrieval-Augmented Generation [79.75818239774952]
大きな言語モデル(LLM)は目覚ましい能力を示しているが、幻覚や時代遅れの情報といった問題に苦戦している。
Retrieval-augmented Generation (RAG) は、情報検索システム(IR)を用いて、外部知識のLLM出力を基底にすることで、これらの問題に対処する。
本稿では、検索後句における新しい推論誘導二重アライメントフレームワークであるAlign-GRAGを提案する。
論文 参考訳(メタデータ) (2025-05-22T05:15:27Z) - G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。
一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。
G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
論文 参考訳(メタデータ) (2024-02-12T13:13:04Z) - Variational Graph Generator for Multi-View Graph Clustering [51.89092260088973]
マルチビューグラフクラスタリング(VGMGC)のための変分グラフ生成器を提案する。
この生成器は、複数のグラフに対する事前仮定に基づいて、信頼性のある変分コンセンサスグラフを推論する。
推論されたビュー共通グラフとビュー固有のグラフを機能と一緒に埋め込む。
論文 参考訳(メタデータ) (2022-10-13T13:19:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。