論文の概要: TSGP: Two-Stage Generative Prompting for Unsupervised Commonsense Question Answering

• arxiv url: http://arxiv.org/abs/2211.13515v1
• Date: Thu, 24 Nov 2022 10:19:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 14:39:49.776421
• Title: TSGP: Two-Stage Generative Prompting for Unsupervised Commonsense Question Answering
• Title（参考訳）: TSGP:unsupervised Commonsense Question Answeringのための2段階生成プロンプト
• Authors: Yueqing Sun, Yu Zhang, Le Qi, Qi Shi
• Abstract要約: 教師なしのコモンセンス質問応答には、ラベル付きタスクデータに頼らずに効果的なコモンセンス知識をマイニングする必要がある。 2段階のプロンプトに基づく教師なしコモンセンス質問応答フレームワーク(TSGP)を提案する。 CommonsenseQA、OpenBookQA、SocialIQAの3つの異なる共通センス推論タスクに関する実験結果と分析により、TSGPは教師なし設定における言語モデルの推論能力を大幅に改善することを示した。
• 参考スコア（独自算出の注目度）: 4.965306353273393
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised commonsense question answering requires mining effective commonsense knowledge without the rely on the labeled task data. Previous methods typically retrieved from traditional knowledge bases or used pre-trained language models (PrLMs) to generate fixed types of knowledge, which have poor generalization ability. In this paper, we aim to address the above limitation by leveraging the implicit knowledge stored in PrLMs and propose a two-stage prompt-based unsupervised commonsense question answering framework (TSGP). Specifically, we first use knowledge generation prompts to generate the knowledge required for questions with unlimited types and possible candidate answers independent of specified choices. Then, we further utilize answer generation prompts to generate possible candidate answers independent of specified choices. Experimental results and analysis on three different commonsense reasoning tasks, CommonsenseQA, OpenBookQA, and SocialIQA, demonstrate that TSGP significantly improves the reasoning ability of language models in unsupervised settings. Our code is available at: https://github.com/Yueqing-Sun/TSGP.
• Abstract（参考訳）: 教師なしコモンセンス質問応答には、ラベル付きタスクデータに頼ることなく効果的なコモンセンス知識をマイニングする必要がある。 従来の手法は通常、従来の知識ベースや事前学習された言語モデル(prlm)から抽出され、一般化能力に乏しい固定タイプの知識を生成する。 本稿では,prlmに格納されている暗黙の知識を活用して,上記の制限に対処し,二段階のプロンプトに基づく非教師なし質問応答フレームワーク(tsgp)を提案する。 具体的には、まず、知識生成プロンプトを使用して、無制限な型と可能な候補解を持つ質問に必要な知識を生成する。 次に, 回答生成プロンプトを利用して, 選択によらず候補回答を生成する。 CommonsenseQA、OpenBookQA、SocialIQAの3つの異なる共通センス推論タスクに関する実験結果と分析により、TSGPは教師なし設定における言語モデルの推論能力を大幅に改善することを示した。 私たちのコードは、https://github.com/Yueqing-Sun/TSGP.comで利用可能です。

関連論文リスト

• Self-Bootstrapped Visual-Language Model for Knowledge Selection and Question Answering [11.183845003492964]
  私たちはPassage Retrieval(DPR)を使って関連する知識を取得し、モデルが質問に答える手助けをします。 DPRは自然言語空間における検索を行うが、画像情報の総合的な取得は保証されない。 本稿では、視覚言語モデルを利用して、DPRが検索した重要な知識を選択し、質問に答える新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-22T07:44:20Z)
• Don't Just Say "I don't know"! Self-aligning Large Language Models for Responding to Unknown Questions with Explanations [70.6395572287422]
  自己調整法は,回答を拒否するだけでなく,未知の質問の解答不能を説明できる。 我々は, LLM自体を微調整し, 未知の質問に対する応答を所望の通りに調整するために, 偏差駆動による自己計算を行い, 有資格データを選択する。
  論文  参考訳（メタデータ） (2024-02-23T02:24:36Z)
• Open-ended Commonsense Reasoning with Unrestricted Answer Scope [47.14397700770702]
  Open-ended Commonsense Reasoning は、1) 回答候補の短いリスト、2) 事前定義された回答スコープを提供することなく、Commonsenseの問題を解決するものとして定義される。 本研究では,事前学習した言語モデルを用いて,外部知識に基づく推論経路を反復的に検索する。 推論パスは、常識的な質問に対する最も正確な答えを特定するのに役立つ。
  論文  参考訳（メタデータ） (2023-10-18T02:45:54Z)
• Generate then Select: Open-ended Visual Question Answering Guided by World Knowledge [155.81786738036578]
  Open-ended Visual Question Answering (VQA)タスクでは、視覚と自然言語の入力をAIモデルが共同で推論する必要がある。 GPT-3のような事前訓練された言語モデル(PLM)がこのタスクに適用され、強力な世界知識源であることが示されている。 我々は,世界的知識によって導かれるジェネレータ選択戦略をデプロイする新しいVQAパイプラインであるRASOを提案する。
  論文  参考訳（メタデータ） (2023-05-30T08:34:13Z)
• Prophet: Prompting Large Language Models with Complementary Answer Heuristics for Knowledge-based Visual Question Answering [30.858737348472626]
  知識に基づく視覚的質問応答(VQA)は、質問に答えるために、画像以外の外部知識を必要とする。 近年の研究では,暗黙の知識エンジンとして強力な大規模言語モデル (LLM) を用いることで,回答に必要な知識を獲得している。 本稿では,知識に基づくVQAの解答をLCMに促すための,概念的にシンプルで柔軟な,汎用的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-03T13:05:15Z)
• Asking for Knowledge: Training RL Agents to Query External Knowledge Using Language [121.56329458876655]
  グリッドワールドベースのQ-BabyAIとテキストベースのQ-TextWorldの2つの新しい環境を紹介した。 本稿では,意味のある知識を問うための言語コマンドを生成する「知識の探索(AFK)」エージェントを提案する。
  論文  参考訳（メタデータ） (2022-05-12T14:20:31Z)
• Enhancing Question Generation with Commonsense Knowledge [33.289599417096206]
  質問生成プロセスにコモンセンス知識を導入するためのマルチタスク学習フレームワークを提案する。 SQuAD実験の結果,提案手法は自動評価と人的評価の両方でQG性能を著しく向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-06-19T08:58:13Z)
• KRISP: Integrating Implicit and Symbolic Knowledge for Open-Domain Knowledge-Based VQA [107.7091094498848]
  VQAの最も難しい質問の1つは、質問に答えるために画像に存在しない外部の知識を必要とする場合です。 本研究では,解答に必要な知識が与えられたり記入されたりしないオープンドメイン知識を,トレーニング時やテスト時にも検討する。 知識表現と推論には2つのタイプがあります。 まず、トランスベースのモデルで教師なし言語事前トレーニングと教師付きトレーニングデータから効果的に学ぶことができる暗黙的な知識。
  論文  参考訳（メタデータ） (2020-12-20T20:13:02Z)
• Differentiable Open-Ended Commonsense Reasoning [80.94997942571838]
  我々は、自然言語で書かれたコモンセンス事実のコーパスのみを資源として、オープンエンドコモンセンス推論(OpenCSR)について研究する。 OpenCSRへのアプローチとして、知識ファクトに対するマルチホップ推論のための効率的な微分可能なモデルDrFactを提案する。
  論文  参考訳（メタデータ） (2020-10-24T10:07:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。