論文の概要: GNN is a Counter? Revisiting GNN for Question Answering
- arxiv url: http://arxiv.org/abs/2110.03192v1
- Date: Thu, 7 Oct 2021 05:44:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-08 16:11:13.297892
- Title: GNN is a Counter? Revisiting GNN for Question Answering
- Title(参考訳): GNNはカウンタか?
質問応答のためのGNNの再検討
- Authors: Kuan Wang, Yuyu Zhang, Diyi Yang, Le Song and Tao Qin
- Abstract要約: State-of-the-art Question Answering (QA)システムは通常、LMに符号化された知識にアクセスするために、訓練済み言語モデル(LM)を使用する。
知識グラフ(KG)の推論を行うグラフニューラルネットワーク(GNN)に基づく精巧に設計されたモジュール
我々の研究は、既存の知識を意識したGNNモジュールがカウントなどの単純な理由のみを実行することを明らかにしている。
- 参考スコア(独自算出の注目度): 105.8253992750951
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Question Answering (QA) has been a long-standing research topic in AI and NLP
fields, and a wealth of studies have been conducted to attempt to equip QA
systems with human-level reasoning capability. To approximate the complicated
human reasoning process, state-of-the-art QA systems commonly use pre-trained
language models (LMs) to access knowledge encoded in LMs together with
elaborately designed modules based on Graph Neural Networks (GNNs) to perform
reasoning over knowledge graphs (KGs). However, many problems remain open
regarding the reasoning functionality of these GNN-based modules. Can these
GNN-based modules really perform a complex reasoning process? Are they under-
or over-complicated for QA? To open the black box of GNN and investigate these
problems, we dissect state-of-the-art GNN modules for QA and analyze their
reasoning capability. We discover that even a very simple graph neural counter
can outperform all the existing GNN modules on CommonsenseQA and OpenBookQA,
two popular QA benchmark datasets which heavily rely on knowledge-aware
reasoning. Our work reveals that existing knowledge-aware GNN modules may only
carry out some simple reasoning such as counting. It remains a challenging open
problem to build comprehensive reasoning modules for knowledge-powered QA.
- Abstract(参考訳): 質問回答(QA)は、AIとNLP分野における長年の研究トピックであり、人間レベルの推論能力を備えたQAシステムを実現するために、多くの研究がなされている。
複雑な人間の推論過程を近似するために、最先端のQAシステムは一般的に、訓練済み言語モデル(LM)を使用して、LMに符号化された知識と、グラフニューラルネットワーク(GNN)に基づいた精巧に設計されたモジュールにアクセスし、知識グラフ(KG)の推論を行う。
しかし、これらのGNNベースのモジュールの推論機能に関して多くの問題が残っている。
これらのGNNベースのモジュールは、本当に複雑な推論プロセスを実行できますか?
QAのために過度に複雑化されているか?
GNNのブラックボックスを開き、これらの問題を調査するために、QAのための最先端のGNNモジュールを識別し、それらの推論能力を解析する。
非常に単純なグラフニューラルカウンタでさえ、知識認識推論に大きく依存する2つの人気のあるQAベンチマークデータセットであるCommonsenseQAとOpenBookQAの既存のGNNモジュールを上回ります。
我々の研究は、既存の知識を意識したGNNモジュールがカウントなどの単純な理由のみを実行することを明らかにしている。
知識駆動qaのための包括的な推論モジュールを構築することは、依然として難しいオープン問題である。
関連論文リスト
- ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained
Language Models for Question Answering over Knowledge Graph [142.42275983201978]
本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。
また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。
実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
論文 参考訳(メタデータ) (2023-12-30T07:18:54Z) - GNN2R: Weakly-Supervised Rationale-Providing Question Answering over
Knowledge Graphs [13.496565392976292]
本稿では,グラフニューラルネットワークを用いた2段階推論モデル(GNN2R)を提案する。
GNN2Rは、最終回答の根拠として最終回答と推論部分グラフの両方を、弱い監督力で効率的に提供することができる。
論文 参考訳(メタデータ) (2023-12-04T19:58:07Z) - Logical Message Passing Networks with One-hop Inference on Atomic
Formulas [57.47174363091452]
本稿では,ニューラルネットワーク演算子から知識グラフの埋め込みを分解する,複雑な問合せ応答のためのフレームワークを提案する。
クエリグラフの上に、局所的な原子式上のワンホップ推論とグローバル論理的推論を結びつける論理メッセージパッシングニューラルネットワーク(LMPNN)を提案する。
我々のアプローチは、最先端のニューラルCQAモデルをもたらす。
論文 参考訳(メタデータ) (2023-01-21T02:34:06Z) - RELIANT: Fair Knowledge Distillation for Graph Neural Networks [39.22568244059485]
グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクのパフォーマンスを満足することを示した。
知識蒸留(KD)はGNNを圧縮する一般的な方法である。
本稿では,学生モデルが提示するバイアスを軽減するために,RELIANTという原理的枠組みを提案する。
論文 参考訳(メタデータ) (2023-01-03T15:21:24Z) - Graph Neural Networks are Inherently Good Generalizers: Insights by
Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。
PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文 参考訳(メタデータ) (2022-12-18T08:17:32Z) - SimpleMind adds thinking to deep neural networks [3.888848425698769]
ディープニューラルネットワーク(DNN)はデータのパターンを検出し、多くのコンピュータビジョンアプリケーションで汎用性と強力なパフォーマンスを示している。
DNNだけでは、単純で常識的な概念に反する明らかな誤りに陥り、明確な知識を使って探索と意思決定を導く能力に制限がある。
本稿では,医療画像理解に焦点を当てたCognitive AIのためのオープンソースソフトウェアフレームワークであるSimpleMindを紹介する。
論文 参考訳(メタデータ) (2022-12-02T03:38:20Z) - Neural-Symbolic Models for Logical Queries on Knowledge Graphs [17.290758383645567]
両世界の利点を享受するニューラルシンボリックモデルであるグラフニューラルネットワーククエリ実行器(GNN-QE)を提案する。
GNN-QEは複雑なFOLクエリを、ファジィ集合上の関係投影と論理演算に分解する。
3つのデータセットの実験により、GNN-QEはFOLクエリに応答する以前の最先端モデルよりも大幅に改善されている。
論文 参考訳(メタデータ) (2022-05-16T18:39:04Z) - Question Answering over Knowledge Bases by Leveraging Semantic Parsing
and Neuro-Symbolic Reasoning [73.00049753292316]
本稿では,意味解析と推論に基づくニューロシンボリック質問回答システムを提案する。
NSQAはQALD-9とLC-QuAD 1.0で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2020-12-03T05:17:55Z) - Text Modular Networks: Learning to Decompose Tasks in the Language of
Existing Models [61.480085460269514]
本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。
我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
論文 参考訳(メタデータ) (2020-09-01T23:45:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。