論文の概要: GNN is a Counter? Revisiting GNN for Question Answering

• arxiv url: http://arxiv.org/abs/2110.03192v1
• Date: Thu, 7 Oct 2021 05:44:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 16:11:13.297892
• Title: GNN is a Counter? Revisiting GNN for Question Answering
• Title（参考訳）: GNNはカウンタか? 質問応答のためのGNNの再検討
• Authors: Kuan Wang, Yuyu Zhang, Diyi Yang, Le Song and Tao Qin
• Abstract要約: State-of-the-art Question Answering (QA)システムは通常、LMに符号化された知識にアクセスするために、訓練済み言語モデル(LM)を使用する。 知識グラフ(KG)の推論を行うグラフニューラルネットワーク(GNN)に基づく精巧に設計されたモジュール 我々の研究は、既存の知識を意識したGNNモジュールがカウントなどの単純な理由のみを実行することを明らかにしている。
• 参考スコア（独自算出の注目度）: 105.8253992750951
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Question Answering (QA) has been a long-standing research topic in AI and NLP fields, and a wealth of studies have been conducted to attempt to equip QA systems with human-level reasoning capability. To approximate the complicated human reasoning process, state-of-the-art QA systems commonly use pre-trained language models (LMs) to access knowledge encoded in LMs together with elaborately designed modules based on Graph Neural Networks (GNNs) to perform reasoning over knowledge graphs (KGs). However, many problems remain open regarding the reasoning functionality of these GNN-based modules. Can these GNN-based modules really perform a complex reasoning process? Are they under- or over-complicated for QA? To open the black box of GNN and investigate these problems, we dissect state-of-the-art GNN modules for QA and analyze their reasoning capability. We discover that even a very simple graph neural counter can outperform all the existing GNN modules on CommonsenseQA and OpenBookQA, two popular QA benchmark datasets which heavily rely on knowledge-aware reasoning. Our work reveals that existing knowledge-aware GNN modules may only carry out some simple reasoning such as counting. It remains a challenging open problem to build comprehensive reasoning modules for knowledge-powered QA.
• Abstract（参考訳）: 質問回答(QA)は、AIとNLP分野における長年の研究トピックであり、人間レベルの推論能力を備えたQAシステムを実現するために、多くの研究がなされている。 複雑な人間の推論過程を近似するために、最先端のQAシステムは一般的に、訓練済み言語モデル(LM)を使用して、LMに符号化された知識と、グラフニューラルネットワーク(GNN)に基づいた精巧に設計されたモジュールにアクセスし、知識グラフ(KG)の推論を行う。 しかし、これらのGNNベースのモジュールの推論機能に関して多くの問題が残っている。 これらのGNNベースのモジュールは、本当に複雑な推論プロセスを実行できますか? QAのために過度に複雑化されているか? GNNのブラックボックスを開き、これらの問題を調査するために、QAのための最先端のGNNモジュールを識別し、それらの推論能力を解析する。 非常に単純なグラフニューラルカウンタでさえ、知識認識推論に大きく依存する2つの人気のあるQAベンチマークデータセットであるCommonsenseQAとOpenBookQAの既存のGNNモジュールを上回ります。 我々の研究は、既存の知識を意識したGNNモジュールがカウントなどの単純な理由のみを実行することを明らかにしている。 知識駆動qaのための包括的な推論モジュールを構築することは、依然として難しいオープン問題である。

関連論文リスト

• From Graphs to Qubits: A Critical Review of Quantum Graph Neural Networks [56.51893966016221]
  量子グラフニューラルネットワーク(QGNN)は、量子コンピューティングとグラフニューラルネットワーク(GNN)の新たな融合を表す。 本稿では,QGNNの現状を批判的にレビューし,様々なアーキテクチャを探求する。 我々は、高エネルギー物理学、分子化学、ファイナンス、地球科学など多種多様な分野にまたがる応用について論じ、量子的優位性の可能性を強調した。
  論文  参考訳（メタデータ） (2024-08-12T22:53:14Z)
• Systematic Reasoning About Relational Domains With Graph Neural Networks [17.49288661342947]
  グラフニューラルネットワーク(GNN)の使用が自然な選択のように思えるリレーショナルドメインの推論に焦点を当てる。 GNNによる推論に関する以前の研究は、トレーニング中に見られるものよりも長い推論チェーンを必要とするテスト例を提示すると、そのようなモデルは失敗する傾向があることを示している。 これは、GNNには、トレーニング例を体系的な方法で一般化する能力がないことを示唆している。
  論文  参考訳（メタデータ） (2024-07-24T16:17:15Z)
• GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning [21.057810495833063]
  本稿では,LLMの言語理解能力とGNNの推論能力を組み合わせた検索強化世代(RAG)形式の新しい手法であるGNN-RAGを紹介する。 我々のGNN-RAGフレームワークでは、GNNはグラフ情報を抽出するために高密度なサブグラフ推論器として機能する。 実験により、GNN-RAGは2つの広く使用されているKGQAベンチマークで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-05-30T15:14:24Z)
• ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
  本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。 また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。 実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-30T07:18:54Z)
• Logical Message Passing Networks with One-hop Inference on Atomic Formulas [57.47174363091452]
  本稿では,ニューラルネットワーク演算子から知識グラフの埋め込みを分解する,複雑な問合せ応答のためのフレームワークを提案する。 クエリグラフの上に、局所的な原子式上のワンホップ推論とグローバル論理的推論を結びつける論理メッセージパッシングニューラルネットワーク(LMPNN)を提案する。 我々のアプローチは、最先端のニューラルCQAモデルをもたらす。
  論文  参考訳（メタデータ） (2023-01-21T02:34:06Z)
• RELIANT: Fair Knowledge Distillation for Graph Neural Networks [39.22568244059485]
  グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクのパフォーマンスを満足することを示した。 知識蒸留(KD)はGNNを圧縮する一般的な方法である。 本稿では,学生モデルが提示するバイアスを軽減するために,RELIANTという原理的枠組みを提案する。
  論文  参考訳（メタデータ） (2023-01-03T15:21:24Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Neural-Symbolic Models for Logical Queries on Knowledge Graphs [17.290758383645567]
  両世界の利点を享受するニューラルシンボリックモデルであるグラフニューラルネットワーククエリ実行器(GNN-QE)を提案する。 GNN-QEは複雑なFOLクエリを、ファジィ集合上の関係投影と論理演算に分解する。 3つのデータセットの実験により、GNN-QEはFOLクエリに応答する以前の最先端モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-05-16T18:39:04Z)
• Question Answering over Knowledge Bases by Leveraging Semantic Parsing and Neuro-Symbolic Reasoning [73.00049753292316]
  本稿では,意味解析と推論に基づくニューロシンボリック質問回答システムを提案する。 NSQAはQALD-9とLC-QuAD 1.0で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-12-03T05:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。