論文の概要: Relation-aware Language-Graph Transformer for Question Answering

• arxiv url: http://arxiv.org/abs/2212.00975v1
• Date: Fri, 2 Dec 2022 05:10:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 15:47:18.942315
• Title: Relation-aware Language-Graph Transformer for Question Answering
• Title（参考訳）: 質問応答のための関係認識言語グラフ変換
• Authors: Jinyoung Park, Hyeong Kyu Choi, Juyeon Ko, Hyeonjin Park, Ji-Hoon Kim, Jisu Jeong, Kyungmin Kim, Hyunwoo J. Kim
• Abstract要約: 本稿では,言語とグラフを関連づける質問応答変換器(QAT, Question Answering Transformer)を提案する。 具体的には、QATはメタパストークンを構築し、多様な構造的および意味的関係に基づいて関係中心の埋め込みを学習する。 我々は,CommonsenseQA や OpenBookQA などの常識質問応答データセットと,医療質問応答データセット MedQA-USMLE について,QAT の有効性を検証する。
• 参考スコア（独自算出の注目度）: 21.244992938222246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Question Answering (QA) is a task that entails reasoning over natural language contexts, and many relevant works augment language models (LMs) with graph neural networks (GNNs) to encode the Knowledge Graph (KG) information. However, most existing GNN-based modules for QA do not take advantage of rich relational information of KGs and depend on limited information interaction between the LM and the KG. To address these issues, we propose Question Answering Transformer (QAT), which is designed to jointly reason over language and graphs with respect to entity relations in a unified manner. Specifically, QAT constructs Meta-Path tokens, which learn relation-centric embeddings based on diverse structural and semantic relations. Then, our Relation-Aware Self-Attention module comprehensively integrates different modalities via the Cross-Modal Relative Position Bias, which guides information exchange between relevant entities of different modalities. We validate the effectiveness of QAT on commonsense question answering datasets like CommonsenseQA and OpenBookQA, and on a medical question answering dataset, MedQA-USMLE. On all the datasets, our method achieves state-of-the-art performance. Our code is available at http://github.com/mlvlab/QAT.
• Abstract（参考訳）: 質問回答(QA)は自然言語の文脈を推論するタスクであり、関連する多くの作業は、言語モデル(LM)をグラフニューラルネットワーク(GNN)で拡張し、知識グラフ(KG)情報をエンコードする。 しかし、既存のGNNベースのQAモジュールの多くは、KGのリッチリレーショナル情報を活用せず、LMとKG間の限られた情報相互作用に依存している。 これらの問題に対処するために,言語とグラフを統一的に関連づける質問応答変換器(QAT)を提案する。 具体的には、QATはメタパストークンを構築し、多様な構造的および意味的関係に基づいて関係中心の埋め込みを学習する。 そこで,我々のRelation-Aware Self-Attentionモジュールは,異なるモダリティの関連エンティティ間の情報交換をガイドするクロスモーダル相対位置バイアスを通じて,様々なモダリティを包括的に統合する。 我々は,CommonsenseQA や OpenBookQA などの常識質問応答データセットと医療質問応答データセット MedQA-USMLE に対するQAT の有効性を検証する。 すべてのデータセットにおいて,本手法は最先端の性能を実現する。 私たちのコードはhttp://github.com/mlvlab/qatで利用可能です。

関連論文リスト

• QirK: Question Answering via Intermediate Representation on Knowledge Graphs [6.527176546718545]
  我々は、知識グラフ(KG)上の自然言語質問に答えるシステムQirKを実演する。 QirKは、新興のLarge Language Models(LLMs)の範囲を超えて、構造的に複雑な質問に答えることができます。 QirKのデモビデオはhttps://youtu.be/6c81BLmOZ0Uで公開されている。
  論文  参考訳（メタデータ） (2024-08-14T12:19:25Z)
• FusionMind -- Improving question and answering with external context fusion [0.0]
  事前学習言語モデル(LM)と知識グラフ(KG)を用いて,文脈知識が質問応答目標(QA)に与える影響を検討した。 知識事実のコンテキストを取り入れることで、パフォーマンスが大幅に向上することがわかった。 このことは、文脈的知識事実の統合が、質問応答のパフォーマンスを高める上でより影響があることを示唆している。
  論文  参考訳（メタデータ） (2023-12-31T03:51:31Z)
• ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
  本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。 また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。 実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-30T07:18:54Z)
• Relation-Aware Question Answering for Heterogeneous Knowledge Graphs [37.38138785470231]
  既存の検索に基づくアプローチは、異なるホップにおける特定の関係に集中することで、この課題を解決する。 我々は,現在の関係表現を強化するために,ヘッドテールエンティティや関係間の意味的関係からの情報を利用することができないと主張している。 当社のアプローチは,従来の最先端技術よりも大きなパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2023-12-19T08:01:48Z)
• UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph [89.98762327725112]
  KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。 我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
  論文  参考訳（メタデータ） (2022-12-02T04:08:09Z)
• V-Coder: Adaptive AutoEncoder for Semantic Disclosure in Knowledge Graphs [4.493174773769076]
  本稿では,V-Coderと呼ばれる新しい適応型オートエンコーダを提案する。 実世界のデータセットの評価は、V-Coderが破損したデータからリンクを復元できることを示している。
  論文  参考訳（メタデータ） (2022-07-22T14:51:46Z)
• MGA-VQA: Multi-Granularity Alignment for Visual Question Answering [75.55108621064726]
  視覚的な質問に答えることを学ぶことは、マルチモーダル入力が2つの特徴空間内にあるため、難しい作業である。 視覚質問応答タスク(MGA-VQA)のための多言語アライメントアーキテクチャを提案する。 我々のモデルはアライメントを異なるレベルに分割し、追加のデータやアノテーションを必要とせずにより良い相関関係を学習します。
  論文  参考訳（メタデータ） (2022-01-25T22:30:54Z)
• GreaseLM: Graph REASoning Enhanced Language Models for Question Answering [159.9645181522436]
  GreaseLMは、事前訓練されたLMとグラフニューラルネットワークの符号化された表現を、複数の層にわたるモダリティ相互作用操作で融合する新しいモデルである。 GreaseLMは、状況制約と構造化知識の両方の推論を必要とする問題に、より確実に答えることができる。
  論文  参考訳（メタデータ） (2022-01-21T19:00:05Z)
• Relation-Guided Pre-Training for Open-Domain Question Answering [67.86958978322188]
  複雑なオープンドメイン問題を解決するためのRGPT-QA(Relation-Guided Pre-Training)フレームワークを提案する。 RGPT-QAは, 自然質問, TriviaQA, WebQuestionsにおいて, Exact Matchの精度が2.2%, 2.4%, 6.3%向上したことを示す。
  論文  参考訳（メタデータ） (2021-09-21T17:59:31Z)
• QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering [122.84513233992422]
  学習済み言語モデル(LM)と知識グラフ(KG)の知識を用いて質問に答える問題に対処する新しいモデルであるQA-GNNを提案する。 既存のLMとLM+KGモデルに対する改善と、解釈可能で構造化された推論を行う能力を示しています。
  論文  参考訳（メタデータ） (2021-04-13T17:32:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。