論文の概要: Less is More: Data-Efficient Complex Question Answering over Knowledge
Bases
- arxiv url: http://arxiv.org/abs/2010.15881v1
- Date: Thu, 29 Oct 2020 18:42:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-01 22:00:08.094626
- Title: Less is More: Data-Efficient Complex Question Answering over Knowledge
Bases
- Title(参考訳): less is more: 知識ベースよりもデータ効率のよい複雑な質問に答える
- Authors: Yuncheng Hua, Yuan-Fang Li, Guilin Qi, Wei Wu, Jingyao Zhang, Daiqing
Qi
- Abstract要約: 本稿では,複雑な質問応答のためのデータ効率向上学習フレームワークであるNS-CQAモデルを提案する。
我々のフレームワークはニューラルジェネレータとシンボリックエグゼキュータで構成されており、自然言語の質問を原始的なアクションのシーケンスに変換する。
近年の大規模質問応答データセットであるCQAと,マルチホップ質問応答データセットであるWebQuestionsSPの2つのデータセットで評価を行った。
- 参考スコア(独自算出の注目度): 26.026065844896465
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Question answering is an effective method for obtaining information from
knowledge bases (KB). In this paper, we propose the Neural-Symbolic Complex
Question Answering (NS-CQA) model, a data-efficient reinforcement learning
framework for complex question answering by using only a modest number of
training samples. Our framework consists of a neural generator and a symbolic
executor that, respectively, transforms a natural-language question into a
sequence of primitive actions, and executes them over the knowledge base to
compute the answer. We carefully formulate a set of primitive symbolic actions
that allows us to not only simplify our neural network design but also
accelerate model convergence. To reduce search space, we employ the copy and
masking mechanisms in our encoder-decoder architecture to drastically reduce
the decoder output vocabulary and improve model generalizability. We equip our
model with a memory buffer that stores high-reward promising programs. Besides,
we propose an adaptive reward function. By comparing the generated trial with
the trials stored in the memory buffer, we derive the curriculum-guided reward
bonus, i.e., the proximity and the novelty. To mitigate the sparse reward
problem, we combine the adaptive reward and the reward bonus, reshaping the
sparse reward into dense feedback. Also, we encourage the model to generate new
trials to avoid imitating the spurious trials while making the model remember
the past high-reward trials to improve data efficiency. Our NS-CQA model is
evaluated on two datasets: CQA, a recent large-scale complex question answering
dataset, and WebQuestionsSP, a multi-hop question answering dataset. On both
datasets, our model outperforms the state-of-the-art models. Notably, on CQA,
NS-CQA performs well on questions with higher complexity, while only using
approximately 1% of the total training samples.
- Abstract(参考訳): 質問応答は知識ベース(KB)から情報を得る効果的な方法である。
本稿では,ニューラルネットワークを用いた複雑な質問応答のためのデータ効率強化学習フレームワークNS-CQA(Neural-Symbolic Complex Question Answering)モデルを提案する。
我々のフレームワークはニューラルジェネレータとシンボリックエグゼキュータから構成されており、自然言語の質問を原始的な行動列に変換し、それを知識ベース上で実行して答えを計算する。
ニューラルネットワークの設計を単純化するだけでなく、モデル収束を加速するプリミティブなシンボリックアクションのセットを慎重に定式化します。
本稿では,デコーダの出力語彙を大幅に削減し,モデル一般化性を向上させるために,エンコーダデコーダアーキテクチャのコピーとマスキング機構を用いる。
我々は,ハイリワード有望なプログラムを格納するメモリバッファをモデルに装備する。
また,適応型報酬関数を提案する。
生成した試行とメモリバッファに格納された試行を比較して、カリキュラムに導かれた報酬ボーナス、すなわち近さと新しさを導出する。
スパース報酬問題を軽減するため、適応報酬と報酬ボーナスを組み合わせることで、スパース報酬を密集したフィードバックに再構成する。
また,データ効率を向上させるために,過去のハイリワードトライアルを思い出させると同時に,スプリアストライアルの模倣を避けるために,モデルに新たなトライアルの生成を促す。
我々のNS-CQAモデルは、最近の大規模複雑質問応答データセットCQAと、マルチホップ質問応答データセットWebQuestionsSPの2つのデータセットで評価されている。
どちらのデータセットでも、私たちのモデルは最先端のモデルよりも優れています。
特に、CQAでは、NS-CQAはより複雑度の高い質問に対して、全体のトレーニングサンプルの約1%しか使用していない。
関連論文リスト
- A Lightweight Method to Generate Unanswerable Questions in English [18.323248259867356]
本稿では,英語における疑問生成のための簡易なデータ拡張手法について検討する。
回答可能な質問に対して、Antonymとエンティティスワップを実行します。
従来の最先端技術と比較すると、トレーニング不要で軽量な戦略で生成されたデータにより、より良いモデルが得られます。
論文 参考訳(メタデータ) (2023-10-30T10:14:52Z) - QASnowball: An Iterative Bootstrapping Framework for High-Quality
Question-Answering Data Generation [67.27999343730224]
QAデータ拡張のための反復型ブートストラップフレームワーク(QASnowball)を導入する。
QASnowballは、教師付きサンプルのシードセットに基づいて、大規模で高品質なQAデータを反復的に生成することができる。
本研究では, 高資源の英語シナリオと中資源の中国語シナリオで実験を行い, 実験結果から, QASnowball が生成したデータによりQAモデルを容易に作成できることが示唆された。
論文 参考訳(メタデータ) (2023-09-19T05:20:36Z) - Toward Unsupervised Realistic Visual Question Answering [70.67698100148414]
現実的なVQA(RVQA)の問題について検討し、モデルが答えられない質問(UQ)を拒絶し、答えられる質問(AQ)に答えなければならない。
1)データセットには不整合UQが多すぎること,(2)多数の注釈付きUQがトレーニングに必要とされること,の2つの欠点を最初に指摘した。
我々は、既存のVQAデータセットのAQと約29万の人間の注釈付きUQを組み合わせた新しいテストデータセットRGQAを提案する。
これは、画像と質問をランダムにペアリングして得られる擬似UQと、それを結合する。
論文 参考訳(メタデータ) (2023-03-09T06:58:29Z) - Adapting Neural Link Predictors for Data-Efficient Complex Query
Answering [45.961111441411084]
本稿では,複雑な問合せタスクに対して,ニューラルネットワーク予測スコアを再校正するために最適化されたパラメータ効率のスコア強調モデルを提案する。
CQD$mathcalA$は現在の最先端手法よりもはるかに正確な結果が得られる。
論文 参考訳(メタデータ) (2023-01-29T00:17:16Z) - Stacking Neural Network Models for Automatic Short Answer Scoring [0.0]
本稿では,ニューラルネットワークとXGBoostに基づく重ね合わせモデルを用いて文埋め込み機能を持つ分類プロセスを提案する。
ベストモデルではF1スコアの0.821が、同じデータセットで前の作業を上回った。
論文 参考訳(メタデータ) (2020-10-21T16:00:09Z) - Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。
我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
論文 参考訳(メタデータ) (2020-05-22T21:34:34Z) - Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
教師なし質問回答(QA)を改善するための2つのアプローチを提案する。
まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。
第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
論文 参考訳(メタデータ) (2020-05-06T15:56:06Z) - Template-Based Question Generation from Retrieved Sentences for Improved
Unsupervised Question Answering [98.48363619128108]
擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。
関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2020-04-24T17:57:45Z) - ManyModalQA: Modality Disambiguation and QA over Diverse Inputs [73.93607719921945]
本稿では, エージェントが3つの異なるモダリティを考慮し, 質問に答えなければならない, マルチモーダルな質問応答課題, ManyModalQAを提案する。
われわれはウィキペディアをスクラップしてデータを収集し、クラウドソーシングを利用して質問と回答のペアを収集する。
論文 参考訳(メタデータ) (2020-01-22T14:39:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。