論文の概要: Visual Graph Question Answering with ASP and LLMs for Language Parsing

• arxiv url: http://arxiv.org/abs/2502.09211v1
• Date: Thu, 13 Feb 2025 11:47:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:49:24.562781
• Title: Visual Graph Question Answering with ASP and LLMs for Language Parsing
• Title（参考訳）: ASPとLLMによる言語解析のためのビジュアルグラフ質問回答
• Authors: Jakob Johannes Bauer, Thomas Eiter, Nelson Higuera Ruiz, Johannes Oetsch,
• Abstract要約: 我々は、ASPを視覚と自然言語処理のモジュールと統合する方法の問題に対処し、新しい要求のあるVQAの変種を解決する。 我々のモジュラー型ニューロシンボリックアプローチは、グラフ解析のための光グラフ認識、ラベル解析のための事前訓練された光学文字認識ニューラルネットワーク、言語処理のための大言語モデル(LLM)、推論のためのASPを組み合わせる。
• 参考スコア（独自算出の注目度）: 10.012129232671635
• License:
• Abstract: Visual Question Answering (VQA) is a challenging problem that requires to process multimodal input. Answer-Set Programming (ASP) has shown great potential in this regard to add interpretability and explainability to modular VQA architectures. In this work, we address the problem of how to integrate ASP with modules for vision and natural language processing to solve a new and demanding VQA variant that is concerned with images of graphs (not graphs in symbolic form). Images containing graph-based structures are an ubiquitous and popular form of visualisation. Here, we deal with the particular problem of graphs inspired by transit networks, and we introduce a novel dataset that amends an existing one by adding images of graphs that resemble metro lines. Our modular neuro-symbolic approach combines optical graph recognition for graph parsing, a pretrained optical character recognition neural network for parsing labels, Large Language Models (LLMs) for language processing, and ASP for reasoning. This method serves as a first baseline and achieves an overall average accuracy of 73% on the dataset. Our evaluation provides further evidence of the potential of modular neuro-symbolic systems, in particular with pretrained models that do not involve any further training and logic programming for reasoning, to solve complex VQA tasks.
• Abstract（参考訳）: VQA(Visual Question Answering)は、マルチモーダル入力を処理する必要がある難しい問題である。 Answer-Set Programming(ASP)は、モジュール化されたVQAアーキテクチャに解釈可能性と説明可能性を追加するという、この点において大きな可能性を示しています。 本研究では、ASPを視覚処理や自然言語処理のモジュールと統合して、グラフのイメージ(図形ではない)に関する新たな要求のあるVQA変種を解決する方法の課題に対処する。 グラフベースの構造を含む画像は、ユビキタスで一般的な視覚化形式である。 本稿では、トランジットネットワークにインスパイアされたグラフの特定の問題に対処し、メトロ線に似たグラフのイメージを追加することで、既存のグラフを修正した新しいデータセットを提案する。 我々のモジュラー型ニューロシンボリックアプローチは、グラフ解析のための光グラフ認識、ラベル解析のための事前訓練された光学文字認識ニューラルネットワーク、言語処理のための大言語モデル(LLM)、推論のためのASPを組み合わせる。 この方法は最初のベースラインとして機能し、データセットで全体の平均精度が73%に達する。 我々の評価は、モジュール型ニューロシンボリックシステムの可能性、特に複雑なVQAタスクを解決するために、推論のためのさらなるトレーニングや論理プログラミングを含まない事前訓練されたモデルについて、さらなる証拠を提供する。

関連論文リスト

• VProChart: Answering Chart Question through Visual Perception Alignment Agent and Programmatic Solution Reasoning [13.011899331656018]
  VProChartは、CQA(Chart Question Answering)の課題に対処するために設計された新しいフレームワークである。 軽量な視覚知覚アライメントエージェント(VPAgent)と,プログラム型ソリューション推論アプローチを統合している。 VProChartは既存のメソッドよりも優れており、チャートによる理解と推論の能力を強調している。
  論文  参考訳（メタデータ） (2024-09-03T07:19:49Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• When Graph Data Meets Multimodal: A New Paradigm for Graph Understanding and Reasoning [54.84870836443311]
  本稿では,画像エンコーディングとマルチモーダル技術を統合することで,グラフデータの理解と推論を行う新しいパラダイムを提案する。 このアプローチは, GPT-4Vの高度な機能を利用して, 命令応答形式によるグラフデータの理解を可能にする。 研究は、このパラダイムを様々なグラフタイプで評価し、特に中国のOCRパフォーマンスと複雑な推論タスクにおいて、モデルの強みと弱みを強調した。
  論文  参考訳（メタデータ） (2023-12-16T08:14:11Z)
• Which Modality should I use -- Text, Motif, or Image? : Understanding Graphs with Large Language Models [14.251972223585765]
  本稿では,テキスト,画像,モチーフなどの多様性を持つグラフを符号化する新たな手法を提案する。 また、グラフ構造解析において、LLM(Large Language Models)を評価するための新しいベンチマークであるGraphTMIも提示されている。
  論文  参考訳（メタデータ） (2023-11-16T12:45:41Z)
• GraphextQA: A Benchmark for Evaluating Graph-Enhanced Large Language Models [33.56759621666477]
  本稿では,言語モデルへのグラフ知識の統合を評価するためのベンチマークデータセットを提案する。 提案したデータセットは,グラフの理解能力を評価し,回答生成に利用するように設計されている。 言語のみのモデルと提案したグラフ言語モデルを用いて,ペアグラフの有用性を検証し,課題の難しさを実証する。
  論文  参考訳（メタデータ） (2023-10-12T16:46:58Z)
• Neural Graph Reasoning: Complex Logical Query Answering Meets Graph Databases [63.96793270418793]
  複雑な論理クエリ応答(CLQA)は、グラフ機械学習の最近登場したタスクである。 ニューラルグラフデータベース(NGDB)の概念を紹介する。 NGDBはNeural Graph StorageとNeural Graph Engineで構成されている。
  論文  参考訳（メタデータ） (2023-03-26T04:03:37Z)
• GraphQ IR: Unifying Semantic Parsing of Graph Query Language with Intermediate Representation [91.27083732371453]
  本稿では,グラフクエリ言語,すなわちGraphQ IRに対する統合中間表現(IR)を提案する。 セマンティックギャップをブリッジするIRの自然言語のような表現と、グラフ構造を維持するための正式に定義された構文によって、ニューラルネットワークによるセマンティックパーシングは、ユーザクエリをより効果的にGraphQ IRに変換することができる。 我々のアプローチは、KQA Pro、Overnight、MetaQAにおける最先端のパフォーマンスを一貫して達成できます。
  論文  参考訳（メタデータ） (2022-05-24T13:59:53Z)
• Bilateral Cross-Modality Graph Matching Attention for Feature Fusion in Visual Question Answering [71.6781118080461]
  本稿では,視覚質問応答(VQA)タスクのためのグラフマッチング注意(GMA)ネットワークを提案する。 まず、画像用のグラフを構築するが、構文情報と埋め込み情報の両方の観点から質問用のグラフを構築する。 次に, 2段グラフエンコーダを用いてモダリティ内関係を探索し, 画像と質問の関係を推定するために, 注目に合う双方向のモダリティグラフを提示する。 実験により、我々のネットワークはGQAデータセットとVQA 2.0データセット上で最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2021-12-14T10:01:26Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• Analysis on Image Set Visual Question Answering [0.3359875577705538]
  マルチイメージ環境での視覚質問応答の課題に対処する。 従来のVQAタスクは、単一のイメージからターゲットの回答が生成される単一イメージ設定に重点を置いている。 本報告では,タスクのパフォーマンス向上を目的とした4つのアプローチについて検討する。
  論文  参考訳（メタデータ） (2021-03-31T20:47:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。