論文の概要: KG-FiD: Infusing Knowledge Graph in Fusion-in-Decoder for Open-Domain Question Answering

• arxiv url: http://arxiv.org/abs/2110.04330v1
• Date: Fri, 8 Oct 2021 18:39:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 15:12:25.644041
• Title: KG-FiD: Infusing Knowledge Graph in Fusion-in-Decoder for Open-Domain Question Answering
• Title（参考訳）: KG-FiD:Open-Domain Question AnsweringのためのFusion-in-Decoderにおける知識グラフの注入
• Authors: Donghan Yu, Chenguang Zhu, Yuwei Fang, Wenhao Yu, Shuohang Wang, Yichong Xu, Xiang Ren, Yiming Yang, Michael Zeng
• Abstract要約: 検索した通路間の構造的関係を知識グラフで利用することにより,ノイズのある通路をフィルタする新しい手法KG-FiDを提案する。 我々は,KG-FiDが解答一致スコアの最大1.5%向上し,計算コストの40%程度でFiDに匹敵する性能が得られることを示した。
• 参考スコア（独自算出の注目度）: 68.00631278030627
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current Open-Domain Question Answering (ODQA) model paradigm often contains a retrieving module and a reading module. Given an input question, the reading module predicts the answer from the relevant passages which are retrieved by the retriever. The recent proposed Fusion-in-Decoder (FiD), which is built on top of the pretrained generative model T5, achieves the state-of-the-art performance in the reading module. Although being effective, it remains constrained by inefficient attention on all retrieved passages which contain a lot of noise. In this work, we propose a novel method KG-FiD, which filters noisy passages by leveraging the structural relationship among the retrieved passages with a knowledge graph. We initiate the passage node embedding from the FiD encoder and then use graph neural network (GNN) to update the representation for reranking. To improve the efficiency, we build the GNN on top of the intermediate layer output of the FiD encoder and only pass a few top reranked passages into the higher layers of encoder and decoder for answer generation. We also apply the proposed GNN based reranking method to enhance the passage retrieval results in the retrieving module. Extensive experiments on common ODQA benchmark datasets (Natural Question and TriviaQA) demonstrate that KG-FiD can improve vanilla FiD by up to 1.5% on answer exact match score and achieve comparable performance with FiD with only 40% of computation cost.
• Abstract（参考訳）: 現在のOpen-Domain Question Answering (ODQA)モデルパラダイムは、しばしば検索モジュールと読み込みモジュールを含んでいる。 入力質問が与えられた場合、読み出しモジュールは、検索者が検索する関連する通路から回答を予測する。 最近提案されたFusion-in-Decoder (FiD)は、事前訓練された生成モデルT5の上に構築されており、読み出しモジュールの最先端性能を実現する。 有効性はあるものの、多くのノイズを含む全ての回収された通路に対する非効率な注意による制約が残っている。 本研究では,知識グラフを用いた検索文間の構造的関係を活かし,雑音通路をフィルタする手法であるkg-fidを提案する。 我々は、FiDエンコーダからのパスノード埋め込みを開始し、グラフニューラルネットワーク(GNN)を使用して、再ランク付けのための表現を更新する。 効率を向上させるため、fidエンコーダの中間層出力の上にgnnを構築し、解答生成のためのエンコーダとデコーダの上位層に数個のトップリランクされたパスだけを渡す。 また,提案手法を適用し,検索モジュールにおける経路検索結果の精度向上を図る。 共通ODQAベンチマークデータセット(Natural Question and TriviaQA)の大規模な実験により、KG-FiDは、解答正確なマッチスコアで最大1.5%のバニラFiDを改善でき、計算コストのわずか40%でFiDと同等のパフォーマンスを達成できることが示された。

関連論文リスト

• FastFiD: Improve Inference Efficiency of Open Domain Question Answering via Sentence Selection [61.9638234358049]
  FastFiDは、エンコードされたパスで文の選択を実行する新しいアプローチである。 これにより、価値ある文を保持するのに役立ち、回答を生成するのに必要な文脈長を減らすことができる。
  論文  参考訳（メタデータ） (2024-08-12T17:50:02Z)
• Graph Neural Network Enhanced Retrieval for Question Answering of LLMs [19.24603296717601]
  既存の検索方法は、参照文書を通路に分割し、それらを分離して扱う。 しかし、これらの節はしばしば相互に関連しており、例えば連続した節や同じキーワードを共有している節などである。 本稿では,グラフニューラルネットワーク(GNN)を利用した新しい検索手法GNN-Retを提案する。
  論文  参考訳（メタデータ） (2024-06-03T17:07:46Z)
• ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
  本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。 また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。 実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-30T07:18:54Z)
• Decoupled DETR For Few-shot Object Detection [4.520231308678286]
  サンプル不均衡と弱い特徴伝搬の深刻な問題に対処するためにFSODモデルを改善した。 出力機能としてデコーダ層を動的に融合できる統一デコーダモジュールを構築しました。 提案するモジュールは,微調整とメタラーニングの両方のパラダイムにおいて,5%から10%の安定的な改善を達成できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-20T07:10:39Z)
• Noisy Pair Corrector for Dense Retrieval [59.312376423104055]
  ノイズペアコレクタ(NPC)と呼ばれる新しい手法を提案する。 NPCは検出モジュールと修正モジュールから構成される。 我々は,テキスト検索ベンチマークのNatural QuestionとTriviaQA,コード検索ベンチマークのStaQCとSO-DSで実験を行った。
  論文  参考訳（メタデータ） (2023-11-07T08:27:14Z)
• RFiD: Towards Rational Fusion-in-Decoder for Open-Domain Question Answering [11.62870729875824]
  Open-Domain Question Answering (ODQA) システムは、複数の節を同時に参照することで回答を生成できるリーダーモデルを必要とする。 この問題に対処するためにRational Fusion-in-Decoder(RFiD)モデルを導入する。
  論文  参考訳（メタデータ） (2023-05-26T15:51:25Z)
• Cost Aggregation Is All You Need for Few-Shot Segmentation [28.23753949369226]
  本稿では,数発のセグメンテーションタスクに取り組むために,変圧器を用いたボリュームアグリゲーション(VAT)を提案する。 VATは畳み込みとトランスフォーマーの両方を使用して、クエリとサポートの間の高次元相関マップを効率的に処理する。 提案手法は,意味対応タスクにおける標準ベンチマークにおいても,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-12-22T06:18:51Z)
• iffDetector: Inference-aware Feature Filtering for Object Detection [70.8678270164057]
  Inference-aware Feature Filtering (IFF)モジュールを導入し、現代の検出器と簡単に組み合わせることができる。 IFFは、畳み込み機能を強化するためにハイレベルなセマンティクスを活用することでクローズドループ最適化を行う。 IFFはCNNベースの物体検出器とプラグアンドプレイ方式で融合でき、計算コストのオーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2020-06-23T02:57:29Z)
• Toward Subgraph-Guided Knowledge Graph Question Generation with Graph Neural Networks [53.58077686470096]
  知識グラフ(KG)質問生成(QG)は,KGから自然言語質問を生成することを目的とする。 本研究は,KGサブグラフから質問を生成し,回答をターゲットとする,より現実的な環境に焦点を当てる。
  論文  参考訳（メタデータ） (2020-04-13T15:43:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。