論文の概要: ArT: All-round Thinker for Unsupervised Commonsense Question-Answering

• arxiv url: http://arxiv.org/abs/2112.13428v1
• Date: Sun, 26 Dec 2021 18:06:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-29 03:15:02.120036
• Title: ArT: All-round Thinker for Unsupervised Commonsense Question-Answering
• Title（参考訳）: ArT:unsupervised Commonsense Question-Answeringのための全ラウンド思考者
• Authors: Jiawei Wang and Hai Zhao
• Abstract要約: 本稿では,知識生成における関連性を完全に取り除き,オールラウンド思考者(ArT)のアプローチを提案する。 我々は、COPA、SocialIQA、SCTの3つの共通センスQAベンチマークで評価した。
• 参考スコア（独自算出の注目度）: 54.068032948300655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Without labeled question-answer pairs for necessary training, unsupervised commonsense question-answering (QA) appears to be extremely challenging due to its indispensable unique prerequisite on commonsense source like knowledge bases (KBs), which are usually highly resource consuming in construction. Recently pre-trained language models (PrLMs) show effectiveness as an alternative for commonsense clues when they play a role of knowledge generator. However, existing work simply generates hundreds of pseudo-answers, or roughly performs knowledge generation according to templates once for all, which may result in much noise and thus hinders the quality of generated knowledge. Motivated by human thinking experience, we propose an approach of All-round Thinker (ArT) by fully taking association during knowledge generating. In detail, our model first focuses on key parts in the given context, and then generates highly related knowledge on such a basis in an association way like human thinking. Besides, for casual reasoning, a reverse thinking mechanism is proposed to conduct bidirectional inferring between cause and effect. ArT is totally unsupervised and KBs-free. We evaluate it on three commonsense QA benchmarks: COPA, SocialIQA and SCT. On all scales of PrLM backbones, ArT shows its brilliant performance and outperforms previous advanced unsupervised models.
• Abstract（参考訳）: 必要なトレーニングのためのラベル付き質問応答ペアがなければ、教師なしのコモンセンス質問応答(qa)は、通常建設で非常にリソースを消費するナレッジベース(kbs)のようなコモンセンスソース上で必須のユニークな前提条件であるため、非常に困難に思える。 近年のプレトレーニング言語モデル(PrLM)は,知識生成者の役割を果たす上で,常識的手がかりの代替としての有効性を示す。 しかし、既存の研究は単に数百の擬似回答を生成したり、テンプレートに従って大まかに知識生成を行うだけで、ノイズが大きくなり、生成した知識の品質を損なう可能性がある。 人間の思考経験に感化され,知識生成における関連性を完全に取り入れたオールラウンド思考者(ArT)のアプローチを提案する。 具体的には、このモデルは、まず与えられたコンテキストにおける重要な部分に焦点を当て、その後、人間思考のような関連づけられた方法で、非常に関連する知識を生成します。 また, カジュアル推論では, 原因と効果の双方向推論を行うための逆思考機構が提案されている。 ArTは完全に教師なし、KBフリーである。 我々は、COPA、SocialIQA、SCTの3つの共通センスQAベンチマークで評価した。 PrLMバックボーンのあらゆるスケールにおいて、ArTは優れた性能を示し、以前の高度な教師なしモデルより優れている。

関連論文リスト

• Multi-hop Commonsense Knowledge Injection Framework for Zero-Shot Commonsense Question Answering [6.086719709100659]
  本稿では,新しいマルチホップコモンセンス知識注入フレームワークを提案する。 本フレームワークは,5つの共通知識質問応答ベンチマークにおいて,最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-05-10T07:13:47Z)
• CIKQA: Learning Commonsense Inference with a Unified Knowledge-in-the-loop QA Paradigm [120.98789964518562]
  我々は,コモンセンス知識の大規模化により,すべてのコモンセンスをカバーできるような,各タスクに十分なトレーニングセットをアノテートすることは不可能である,と論じる。 モデルのコモンセンス推論能力について,2つの観点から検討する。 我々は、このベンチマークを知識-イン-ループ質問回答(CIKQA)を用いたCommonsense Inferenceと命名した。
  論文  参考訳（メタデータ） (2022-10-12T14:32:39Z)
• Rainier: Reinforced Knowledge Introspector for Commonsense Question Answering [74.90418840431425]
  そこで,Rainier(Reinforced Knowledge Introspector,Reinforced Knowledge Introspector,Reinforced Knowledge Introspector)を提案する。 我々のアプローチは、GPT-3で生成された知識を模倣することから始まり、強化学習を通して独自の知識を生み出すことを学ぶ。 本研究は,GPT-3より桁違いに小さいモデルで生成した知識が,GPT-3から抽出した知識の質を超えうることを報告した最初の事例である。
  論文  参考訳（メタデータ） (2022-10-06T17:34:06Z)
• A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA [67.75989848202343]
  本稿では,知識に基づくVQAに向けて,エンド・ツー・エンドのレトリバー・リーダー・フレームワークを提案する。 我々は、視覚言語による事前学習モデルからの多モーダルな暗黙の知識に光を当て、知識推論の可能性を掘り下げた。 提案手法では,知識検索のガイダンスを提供するだけでなく,質問応答に対してエラーが発生しやすいケースも排除できる。
  論文  参考訳（メタデータ） (2022-06-30T02:35:04Z)
• elBERto: Self-supervised Commonsense Learning for Question Answering [131.51059870970616]
  本稿では、市販QAモデルアーキテクチャと互換性のあるコモンセンスフレームワークの自己教師型双方向表現学習を提案する。 このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルに強制する。 elBERtoは、単純な語彙的類似性比較が役に立たないような、アウト・オブ・パラグラフや非エフェクトな問題に対して、大幅に改善されている。
  論文  参考訳（メタデータ） (2022-03-17T16:23:45Z)
• Enhancing Question Generation with Commonsense Knowledge [33.289599417096206]
  質問生成プロセスにコモンセンス知識を導入するためのマルチタスク学習フレームワークを提案する。 SQuAD実験の結果,提案手法は自動評価と人的評価の両方でQG性能を著しく向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-06-19T08:58:13Z)
• Unsupervised Commonsense Question Answering with Self-Talk [71.63983121558843]
  本稿では,コモンセンスタスクの代替として,セルフトークに基づく教師なしフレームワークを提案する。 探索に基づく探索学習にインスパイアされた我々のアプローチは、質問を求める多くの情報で言語モデルに問い合わせる。 実験結果から,ゼロショット言語モデルベースラインの性能が大幅に向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-11T20:43:37Z)
• What Does My QA Model Know? Devising Controlled Probes using Expert Knowledge [36.13528043657398]
  我々は,現在最先端のQAモデルが,単語定義や一般的な分類学的推論に関する一般的な知識を持っているかどうかを検討する。 さまざまなタイプの専門家の知識からデータセットを自動的に構築するための方法論を使用します。 評価の結果,変圧器を用いたQAモデルはすでにある種の構造的語彙的知識を認識できないことが確認された。
  論文  参考訳（メタデータ） (2019-12-31T15:05:54Z)
• Teaching Pretrained Models with Commonsense Reasoning: A Preliminary KB-Based Approach [24.954288132238293]
  本研究では,コンセプションネットにおける構造化知識を活用することで,コモンセンス推論を用いた事前学習モデルを教える手法を提案する。 実験結果から,これらのトレーニング例を改良すると,事前学習したモデルは,常識的推論を必要とするタスクにおける性能を常に向上することが示された。
  論文  参考訳（メタデータ） (2019-09-20T23:58:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。