論文の概要: KG-FiD: Infusing Knowledge Graph in Fusion-in-Decoder for Open-Domain
Question Answering
- arxiv url: http://arxiv.org/abs/2110.04330v1
- Date: Fri, 8 Oct 2021 18:39:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-12 15:12:25.644041
- Title: KG-FiD: Infusing Knowledge Graph in Fusion-in-Decoder for Open-Domain
Question Answering
- Title(参考訳): KG-FiD:Open-Domain Question AnsweringのためのFusion-in-Decoderにおける知識グラフの注入
- Authors: Donghan Yu, Chenguang Zhu, Yuwei Fang, Wenhao Yu, Shuohang Wang,
Yichong Xu, Xiang Ren, Yiming Yang, Michael Zeng
- Abstract要約: 検索した通路間の構造的関係を知識グラフで利用することにより,ノイズのある通路をフィルタする新しい手法KG-FiDを提案する。
我々は,KG-FiDが解答一致スコアの最大1.5%向上し,計算コストの40%程度でFiDに匹敵する性能が得られることを示した。
- 参考スコア(独自算出の注目度): 68.00631278030627
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current Open-Domain Question Answering (ODQA) model paradigm often contains a
retrieving module and a reading module. Given an input question, the reading
module predicts the answer from the relevant passages which are retrieved by
the retriever. The recent proposed Fusion-in-Decoder (FiD), which is built on
top of the pretrained generative model T5, achieves the state-of-the-art
performance in the reading module. Although being effective, it remains
constrained by inefficient attention on all retrieved passages which contain a
lot of noise. In this work, we propose a novel method KG-FiD, which filters
noisy passages by leveraging the structural relationship among the retrieved
passages with a knowledge graph. We initiate the passage node embedding from
the FiD encoder and then use graph neural network (GNN) to update the
representation for reranking. To improve the efficiency, we build the GNN on
top of the intermediate layer output of the FiD encoder and only pass a few top
reranked passages into the higher layers of encoder and decoder for answer
generation. We also apply the proposed GNN based reranking method to enhance
the passage retrieval results in the retrieving module. Extensive experiments
on common ODQA benchmark datasets (Natural Question and TriviaQA) demonstrate
that KG-FiD can improve vanilla FiD by up to 1.5% on answer exact match score
and achieve comparable performance with FiD with only 40% of computation cost.
- Abstract(参考訳): 現在のOpen-Domain Question Answering (ODQA)モデルパラダイムは、しばしば検索モジュールと読み込みモジュールを含んでいる。
入力質問が与えられた場合、読み出しモジュールは、検索者が検索する関連する通路から回答を予測する。
最近提案されたFusion-in-Decoder (FiD)は、事前訓練された生成モデルT5の上に構築されており、読み出しモジュールの最先端性能を実現する。
有効性はあるものの、多くのノイズを含む全ての回収された通路に対する非効率な注意による制約が残っている。
本研究では,知識グラフを用いた検索文間の構造的関係を活かし,雑音通路をフィルタする手法であるkg-fidを提案する。
我々は、FiDエンコーダからのパスノード埋め込みを開始し、グラフニューラルネットワーク(GNN)を使用して、再ランク付けのための表現を更新する。
効率を向上させるため、fidエンコーダの中間層出力の上にgnnを構築し、解答生成のためのエンコーダとデコーダの上位層に数個のトップリランクされたパスだけを渡す。
また,提案手法を適用し,検索モジュールにおける経路検索結果の精度向上を図る。
共通ODQAベンチマークデータセット(Natural Question and TriviaQA)の大規模な実験により、KG-FiDは、解答正確なマッチスコアで最大1.5%のバニラFiDを改善でき、計算コストのわずか40%でFiDと同等のパフォーマンスを達成できることが示された。
関連論文リスト
- ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained
Language Models for Question Answering over Knowledge Graph [142.42275983201978]
本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。
また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。
実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
論文 参考訳(メタデータ) (2023-12-30T07:18:54Z) - Decoupled DETR For Few-shot Object Detection [4.520231308678286]
サンプル不均衡と弱い特徴伝搬の深刻な問題に対処するためにFSODモデルを改善した。
出力機能としてデコーダ層を動的に融合できる統一デコーダモジュールを構築しました。
提案するモジュールは,微調整とメタラーニングの両方のパラダイムにおいて,5%から10%の安定的な改善を達成できる可能性が示唆された。
論文 参考訳(メタデータ) (2023-11-20T07:10:39Z) - Noisy Pair Corrector for Dense Retrieval [59.312376423104055]
ノイズペアコレクタ(NPC)と呼ばれる新しい手法を提案する。
NPCは検出モジュールと修正モジュールから構成される。
我々は,テキスト検索ベンチマークのNatural QuestionとTriviaQA,コード検索ベンチマークのStaQCとSO-DSで実験を行った。
論文 参考訳(メタデータ) (2023-11-07T08:27:14Z) - RFiD: Towards Rational Fusion-in-Decoder for Open-Domain Question
Answering [11.62870729875824]
Open-Domain Question Answering (ODQA) システムは、複数の節を同時に参照することで回答を生成できるリーダーモデルを必要とする。
この問題に対処するためにRational Fusion-in-Decoder(RFiD)モデルを導入する。
論文 参考訳(メタデータ) (2023-05-26T15:51:25Z) - Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。
CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。
MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
論文 参考訳(メタデータ) (2023-04-06T22:16:53Z) - Cost Aggregation Is All You Need for Few-Shot Segmentation [28.23753949369226]
本稿では,数発のセグメンテーションタスクに取り組むために,変圧器を用いたボリュームアグリゲーション(VAT)を提案する。
VATは畳み込みとトランスフォーマーの両方を使用して、クエリとサポートの間の高次元相関マップを効率的に処理する。
提案手法は,意味対応タスクにおける標準ベンチマークにおいても,最先端の性能を実現する。
論文 参考訳(メタデータ) (2021-12-22T06:18:51Z) - Logsig-RNN: a novel network for robust and efficient skeleton-based
action recognition [3.775860173040509]
我々は、ログネイティブ層とリカレント型ニューラルネットワーク(RNN)を組み合わせた新しいモジュール、Logsig-RNNを提案する。
特に,簡単な経路変換層とLogsig-RNNを組み合わせることで,Chalearn2013ジェスチャデータの最先端精度を実現する。
論文 参考訳(メタデータ) (2021-10-25T14:47:15Z) - End-to-End Synthetic Data Generation for Domain Adaptation of Question
Answering Systems [34.927828428293864]
本モデルでは,1つのトランスをベースとしたエンコーダデコーダネットワークをエンドツーエンドにトレーニングし,問合せと問合せの両方を生成する。
簡単に言えば、エンコーダにパスを与え、デコーダに質問と回答トークンをtokenで生成するよう依頼する。
論文 参考訳(メタデータ) (2020-10-12T21:10:18Z) - iffDetector: Inference-aware Feature Filtering for Object Detection [70.8678270164057]
Inference-aware Feature Filtering (IFF)モジュールを導入し、現代の検出器と簡単に組み合わせることができる。
IFFは、畳み込み機能を強化するためにハイレベルなセマンティクスを活用することでクローズドループ最適化を行う。
IFFはCNNベースの物体検出器とプラグアンドプレイ方式で融合でき、計算コストのオーバーヘッドは無視できる。
論文 参考訳(メタデータ) (2020-06-23T02:57:29Z) - Toward Subgraph-Guided Knowledge Graph Question Generation with Graph
Neural Networks [53.58077686470096]
知識グラフ(KG)質問生成(QG)は,KGから自然言語質問を生成することを目的とする。
本研究は,KGサブグラフから質問を生成し,回答をターゲットとする,より現実的な環境に焦点を当てる。
論文 参考訳(メタデータ) (2020-04-13T15:43:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。