論文の概要: GraphextQA: A Benchmark for Evaluating Graph-Enhanced Large Language Models

• arxiv url: http://arxiv.org/abs/2310.08487v1
• Date: Thu, 12 Oct 2023 16:46:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 08:44:57.911340
• Title: GraphextQA: A Benchmark for Evaluating Graph-Enhanced Large Language Models
• Title（参考訳）: GraphextQA: グラフ強化された大規模言語モデルを評価するベンチマーク
• Authors: Yuanchun Shen, Ruotong Liao, Zhen Han, Yunpu Ma, Volker Tresp
• Abstract要約: 本稿では,言語モデルへのグラフ知識の統合を評価するためのベンチマークデータセットを提案する。 提案したデータセットは,グラフの理解能力を評価し,回答生成に利用するように設計されている。 言語のみのモデルと提案したグラフ言語モデルを用いて,ペアグラフの有用性を検証し,課題の難しさを実証する。
• 参考スコア（独自算出の注目度）: 33.56759621666477
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While multi-modal models have successfully integrated information from image, video, and audio modalities, integrating graph modality into large language models (LLMs) remains unexplored. This discrepancy largely stems from the inherent divergence between structured graph data and unstructured text data. Incorporating graph knowledge provides a reliable source of information, enabling potential solutions to address issues in text generation, e.g., hallucination, and lack of domain knowledge. To evaluate the integration of graph knowledge into language models, a dedicated dataset is needed. However, there is currently no benchmark dataset specifically designed for multimodal graph-language models. To address this gap, we propose GraphextQA, a question answering dataset with paired subgraphs, retrieved from Wikidata, to facilitate the evaluation and future development of graph-language models. Additionally, we introduce a baseline model called CrossGNN, which conditions answer generation on the paired graphs by cross-attending question-aware graph features at decoding. The proposed dataset is designed to evaluate graph-language models' ability to understand graphs and make use of it for answer generation. We perform experiments with language-only models and the proposed graph-language model to validate the usefulness of the paired graphs and to demonstrate the difficulty of the task.
• Abstract（参考訳）: マルチモーダルモデルは、画像、ビデオ、オーディオのモダリティからの情報の統合に成功しているが、グラフのモダリティを大きな言語モデル(LLM)に組み込むことは未定である。 この相違は、構造化グラフデータと非構造化テキストデータとの本質的にの相違に起因する。 グラフ知識の導入は信頼できる情報ソースを提供し、幻覚やドメイン知識の欠如といったテキスト生成の問題に対処する潜在的なソリューションを可能にする。 言語モデルへのグラフ知識の統合を評価するには、専用のデータセットが必要である。 しかし、現在マルチモーダルグラフ言語モデル用に設計されたベンチマークデータセットは存在しない。 このギャップに対処するために、Wikidataから取得したグラフ言語モデルの評価と今後の開発を容易にするために、ペア付きサブグラフを用いた質問応答データセットであるGraphextQAを提案する。 さらに,クロスグンと呼ばれるベースラインモデルを導入し,ペアグラフ上での応答生成をデコード時の横断的質問認識グラフ機能によって条件づけする。 提案したデータセットは,グラフの理解能力を評価し,回答生成に利用するように設計されている。 ペアグラフの有用性を検証し,課題の難易度を示すために,言語限定モデルと提案グラフ言語モデルを用いて実験を行った。

関連論文リスト

• Integrating Large Language Models with Graph-based Reasoning for Conversational Question Answering [58.17090503446995]
  我々は,テキストや知識グラフ,テーブル,インフォボックスといった異質な情報源から収集された証拠について,文脈における質問の理解と推論の課題を組み合わせた会話型質問応答タスクに着目する。 提案手法はグラフ構造表現を用いて質問とその文脈に関する情報を集約する。
  論文  参考訳（メタデータ） (2024-06-14T13:28:03Z)
• GraphEdit: Large Language Models for Graph Structure Learning [62.618818029177355]
  グラフ構造学習(GSL)は、グラフ構造データ中のノード間の固有の依存関係と相互作用をキャプチャすることに焦点を当てている。 既存のGSL法は、監督信号として明示的なグラフ構造情報に大きく依存している。 グラフ構造化データの複雑なノード関係を学習するために,大規模言語モデル(LLM)を利用したグラフ編集を提案する。
  論文  参考訳（メタデータ） (2024-02-23T08:29:42Z)
• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)
• GLaM: Fine-Tuning Large Language Models for Domain Knowledge Graph Alignment via Neighborhood Partitioning and Generative Subgraph Encoding [39.67113788660731]
  グラフ対応LAnguage Models (GLaM) を開発するためのフレームワークを紹介する。 特定のグラフに基づく知識でモデルを構築することは、構造に基づく推論のためのモデルの能力を拡張することを実証する。
  論文  参考訳（メタデータ） (2024-02-09T19:53:29Z)
• When Graph Data Meets Multimodal: A New Paradigm for Graph Understanding and Reasoning [54.84870836443311]
  本稿では,画像エンコーディングとマルチモーダル技術を統合することで,グラフデータの理解と推論を行う新しいパラダイムを提案する。 このアプローチは, GPT-4Vの高度な機能を利用して, 命令応答形式によるグラフデータの理解を可能にする。 研究は、このパラダイムを様々なグラフタイプで評価し、特に中国のOCRパフォーマンスと複雑な推論タスクにおいて、モデルの強みと弱みを強調した。
  論文  参考訳（メタデータ） (2023-12-16T08:14:11Z)
• Enhancing Dialogue Generation via Dynamic Graph Knowledge Aggregation [23.54754465832362]
  従来のグラフニューラルネットワーク(GNN)では、グラフに渡すメッセージはテキストとは独立している。 このトレーニング体制は、グラフ知識とテキストの間に意味的なギャップをもたらす。 知識グラフ強化対話生成のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-28T13:21:00Z)
• GPT4Graph: Can Large Language Models Understand Graph Structured Data ? An Empirical Evaluation and Benchmarking [17.7473474499538]
  ChatGPTのような大規模言語モデルは、人工知能にとって欠かせないものとなっている。 本研究では,グラフデータの解釈において,LLMの精度を評価するための調査を行う。 この知見は,言語モデルとグラフ理解のギャップを埋めるための貴重な洞察に寄与する。
  論文  参考訳（メタデータ） (2023-05-24T11:53:19Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• VLG-Net: Video-Language Graph Matching Network for Video Grounding [57.6661145190528]
  ビデオにおける言語クエリのグラウンディングは、言語クエリに関連する時間間隔(またはモーメント)を特定することを目的としている。 我々はこの問題をアルゴリズム的なグラフマッチング問題に再キャストする。 広範に使用されている3つのデータセットに対して,最先端の接地手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-11-19T22:32:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。