論文の概要: KEPR: Knowledge Enhancement and Plausibility Ranking for Generative
Commonsense Question Answering
- arxiv url: http://arxiv.org/abs/2305.08347v1
- Date: Mon, 15 May 2023 04:58:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-16 16:11:03.935605
- Title: KEPR: Knowledge Enhancement and Plausibility Ranking for Generative
Commonsense Question Answering
- Title（参考訳）: kepr: ジェネレーティブ・コモンセンス質問応答における知識の強化と可能性ランキング
- Authors: Zhifeng Li and Bowei Zou and Yifan Fan and Yu Hong
- Abstract要約: 本稿では,ジェネレート・Then-Rankパイプラインアーキテクチャに基づく知識向上と可視性ランキング手法を提案する。
具体的には、キーワードのWiktionary Commonsense知識の観点から質問を拡張し、正規化パターンで修正する。
ELECTRAに基づく回答ランキングモデルを構築し、学習中にロジスティック回帰を行う。
- 参考スコア（独自算出の注目度）: 11.537283115693432
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative commonsense question answering (GenCQA) is a task of automatically
generating a list of answers given a question. The answer list is required to
cover all reasonable answers. This presents the considerable challenges of
producing diverse answers and ranking them properly. Incorporating a variety of
closely-related background knowledge into the encoding of questions enables the
generation of different answers. Meanwhile, learning to distinguish positive
answers from negative ones potentially enhances the probabilistic estimation of
plausibility, and accordingly, the plausibility-based ranking. Therefore, we
propose a Knowledge Enhancement and Plausibility Ranking (KEPR) approach
grounded on the Generate-Then-Rank pipeline architecture. Specifically, we
expand questions in terms of Wiktionary commonsense knowledge of keywords, and
reformulate them with normalized patterns. Dense passage retrieval is utilized
for capturing relevant knowledge, and different PLM-based (BART, GPT2 and T5)
networks are used for generating answers. On the other hand, we develop an
ELECTRA-based answer ranking model, where logistic regression is conducted
during training, with the aim of approximating different levels of plausibility
in a polar classification scenario. Extensive experiments on the benchmark
ProtoQA show that KEPR obtains substantial improvements, compared to the strong
baselines. Within the experimental models, the T5-based GenCQA with KEPR
obtains the best performance, which is up to 60.91% at the primary canonical
metric Inc@3. It outperforms the existing GenCQA models on the current
leaderboard of ProtoQA.
- Abstract（参考訳）: gencqa(generative commonsense question answering)は、質問に対して回答のリストを自動的に生成するタスクである。
答えリストは、すべての合理的な答えをカバーするために必要です。
これは、多様な回答を生み出し、それらを適切にランク付けする、かなりの課題を提示します。
様々な関連する背景知識を質問のエンコーディングに組み込むことで、異なる回答を生成することができる。
一方、正の回答と負の回答を区別する学習は、可能性の確率的推定を増大させる可能性がある。
そこで本稿では,Generate-Then-Rankパイプラインアーキテクチャに基づくKEPR(Knowledge Enhancement and Plausibility Ranking)アプローチを提案する。
具体的には、キーワードのWiktionary Commonsense知識の観点から質問を拡張し、正規化パターンで修正する。
関連する知識の取得にデンスパス検索を用い、回答を生成するために異なるPLM(BART, GPT2, T5)ネットワークを使用する。
一方,極性分類のシナリオにおいて,異なるレベルの信頼性を近似する目的で,トレーニング中にロジスティック回帰を行うエレクトラベース回答ランキングモデルを開発した。
ベンチマークProtoQAの大規模な実験では、KEPRは強いベースラインに比べて大幅に改善されている。
実験モデルでは、ケプラーのt5ベースのgencqaが最高の性能を得ており、これは主要な標準メートル法である inc@3 において最大60.91%である。
ProtoQAの現在のリーダーボードでは、既存のGenCQAモデルよりも優れています。
関連論文リスト
- Prompting Large Language Models with Chain-of-Thought for Few-Shot
Knowledge Base Question Generation [19.327008532572645]
知識ベースに関する質問生成(KBQG)は、論理形式を自然言語の質問に変換することを目的としている。
推論のためのコンテキスト内学習戦略であるChain-of-Thoughtプロンプトを提案する。
3つのKBQGデータセットに対して広範な実験を行う。
論文 参考訳（メタデータ） (2023-10-12T15:08:14Z) - Generate then Select: Open-ended Visual Question Answering Guided by
World Knowledge [155.81786738036578]
Open-ended Visual Question Answering (VQA)タスクでは、視覚と自然言語の入力をAIモデルが共同で推論する必要がある。
GPT-3のような事前訓練された言語モデル(PLM)がこのタスクに適用され、強力な世界知識源であることが示されている。
我々は,世界的知識によって導かれるジェネレータ選択戦略をデプロイする新しいVQAパイプラインであるRASOを提案する。
論文 参考訳（メタデータ） (2023-05-30T08:34:13Z) - An Empirical Comparison of LM-based Question and Answer Generation
Methods [79.31199020420827]
質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。
本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。
実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-05-26T14:59:53Z) - Knowledge Transfer from Answer Ranking to Answer Generation [97.38378660163414]
我々は、訓練されたAS2モデルから知識を伝達することで、GenQAモデルをトレーニングすることを提案する。
また,AS2モデル予測スコアを損失重み付けおよびスコア条件付き入出力整形に用いることを提案する。
論文 参考訳（メタデータ） (2022-10-23T21:51:27Z) - Answer Generation for Questions With Multiple Information Sources in
E-Commerce [0.0]
本稿では,関連性やあいまいさの予測を別々に行うことで,上記ソースに存在する豊富な情報を利用する新しいパイプライン(MSQAP)を提案する。
これは、仕様、類似の質問、データレビューなど、さまざまなソースに存在する情報を組み合わせた自然言語の回答を自動的に生成する、eコマース領域における最初の作業である。
論文 参考訳（メタデータ） (2021-11-27T23:19:49Z) - Calculating Question Similarity is Enough:A New Method for KBQA Tasks [8.056701645706404]
本稿では、事前学習言語モデル(PLM)と知識グラフ(KG)を用いたコーパス生成-検索手法(CGRM)を提案する。
まず,mT5モデルに基づいて,知識マスキング言語モデリングと質問生成という2つの新しい事前学習タスクを設計した。
第2に、一連のルールで知識グラフのトリプルを前処理した後、kT5モデルは、処理されたトリプルに基づいて自然言語QAペアを生成する。
論文 参考訳（メタデータ） (2021-11-15T10:31:46Z) - RnG-KBQA: Generation Augmented Iterative Ranking for Knowledge Base
Question Answering [57.94658176442027]
KBQAのランク・アンド・ジェネレートアプローチであるRnG-KBQAを提案する。
我々はGrailQA と WebQSP データセット上で,最先端の新たな結果を得る。
論文 参考訳（メタデータ） (2021-09-17T17:58:28Z) - Exploring Question-Specific Rewards for Generating Deep Questions [42.243227323241584]
我々は、生成した質問の流布度、妥当性、回答可能性を改善するために、ターゲットとする3つの異なる報酬を設計する。
質問固有報酬の最適化は、一般的に自動評価指標の性能向上につながる。
論文 参考訳（メタデータ） (2020-11-02T16:37:30Z) - Few-Shot Complex Knowledge Base Question Answering via Meta
Reinforcement Learning [55.08037694027792]
複雑な質問答え(CQA)は、知識ベース(KB)上の複雑な自然言語質問に答える。
従来のニューラルプログラム誘導(NPI)アプローチは、質問の種類が異なる場合、不均一なパフォーマンスを示す。
本稿では,CQAにおけるプログラム誘導のためのメタ強化学習手法を提案する。
論文 参考訳（メタデータ） (2020-10-29T18:34:55Z) - PRover: Proof Generation for Interpretable Reasoning over Rules [81.40404921232192]
本稿では,ルールベース上の二項質問に応答し,対応する証明を生成するトランスフォーマーモデルを提案する。
本モデルは,効率的な制約付き学習パラダイムを用いて,証明グラフに対応するノードやエッジを予測できることを学習する。
我々は、QAと証明生成のための有望な結果を示すために、合成、手書き、人文による規則ベースの実験を行う。
論文 参考訳（メタデータ） (2020-10-06T15:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。