論文の概要: Unsupervised Commonsense Question Answering with Self-Talk

• arxiv url: http://arxiv.org/abs/2004.05483v2
• Date: Tue, 15 Sep 2020 18:55:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 12:40:15.302961
• Title: Unsupervised Commonsense Question Answering with Self-Talk
• Title（参考訳）: セルフトークによる教師なしコモンセンス質問応答
• Authors: Vered Shwartz, Peter West, Ronan Le Bras, Chandra Bhagavatula, and Yejin Choi
• Abstract要約: 本稿では,コモンセンスタスクの代替として,セルフトークに基づく教師なしフレームワークを提案する。 探索に基づく探索学習にインスパイアされた我々のアプローチは、質問を求める多くの情報で言語モデルに問い合わせる。 実験結果から,ゼロショット言語モデルベースラインの性能が大幅に向上することが示唆された。
• 参考スコア（独自算出の注目度）: 71.63983121558843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language understanding involves reading between the lines with implicit background knowledge. Current systems either rely on pre-trained language models as the sole implicit source of world knowledge, or resort to external knowledge bases (KBs) to incorporate additional relevant knowledge. We propose an unsupervised framework based on self-talk as a novel alternative to multiple-choice commonsense tasks. Inspired by inquiry-based discovery learning (Bruner, 1961), our approach inquires language models with a number of information seeking questions such as "$\textit{what is the definition of ...}$" to discover additional background knowledge. Empirical results demonstrate that the self-talk procedure substantially improves the performance of zero-shot language model baselines on four out of six commonsense benchmarks, and competes with models that obtain knowledge from external KBs. While our approach improves performance on several benchmarks, the self-talk induced knowledge even when leading to correct answers is not always seen as useful by human judges, raising interesting questions about the inner-workings of pre-trained language models for commonsense reasoning.
• Abstract（参考訳）: 自然言語理解は暗黙の背景知識を持つ行間を読むことを伴う。 現在のシステムは、世界知識の唯一の暗黙の源として事前訓練された言語モデルに依存するか、または追加の関連する知識を組み込むために外部知識ベース(KB)を利用する。 本稿では,マルチチョイス・コモンセンスタスクの代替として,セルフトークに基づく教師なしフレームワークを提案する。 調査に基づく発見学習(Bruner, 1961)に触発されて,我々のアプローチは,"$\textit{what is the definition of ...}$"など,多くの情報を求める言語モデルを用いて,新たな背景知識の発見を行う。 実験の結果,6つのcommonsenseベンチマークのうち4つにおいて,ゼロショット言語モデルのベースラインの性能が大幅に向上し,外部kbから知識を得るモデルと競合することがわかった。 提案手法は,いくつかのベンチマークの性能向上に寄与するが,正しい回答を導いた場合でも,自己学習による知識が必ずしも人間の判断に有用であるとは限らない。

関連論文リスト

• A Knowledge Plug-and-Play Test Bed for Open-domain Dialogue Generation [51.31429493814664]
  マルチソース対話知識の選択と応答生成を評価するために,ウィキペディアのマルチソースウィザードというベンチマークを示す。 本稿では,すでに訓練済みの対話モデルを用いて,未確認の情報源からの新たなサポート知識を利用するための新たな課題である対話知識プラグイン・アンド・プレイを提案する。
  論文  参考訳（メタデータ） (2024-03-06T06:54:02Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Zero-shot Commonsense Question Answering with Cloze Translation and Consistency Optimization [20.14487209460865]
  自然質問をクローズスタイルの文に翻訳できる4つの翻訳手法について検討する。 提案手法は知識ベース改良モデルと相補的なデータセットであり,それらを組み合わせることで,最先端のゼロショット性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-01-01T07:12:49Z)
• Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
  本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。 このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。 特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
  論文  参考訳（メタデータ） (2021-10-15T21:58:03Z)
• Natural Language Processing with Commonsense Knowledge: A Survey [9.634283896785611]
  本稿では,様々なNLPタスクへのコモンセンス知識の統合について検討する。 我々は、異なるNLPタスクにまたがるコモンセンス知識とその応用を組み込むための重要な方法論を強調した。 また,コモンセンス推論を用いたNLPシステムの高度化における課題と動向について検討した。
  論文  参考訳（メタデータ） (2021-08-10T13:25:29Z)
• Contextualized Knowledge-aware Attentive Neural Network: Enhancing Answer Selection with Knowledge [77.77684299758494]
  ナレッジグラフ(KG)による外部知識による回答選択モデル向上のアプローチを幅広く検討しています。 まず、KGの外部知識とテキスト情報との密接な相互作用を考慮し、QA文表現を学習するコンテキスト知識相互作用学習フレームワークであるナレッジアウェアニューラルネットワーク(KNN)を紹介します。 KG情報の多様性と複雑性に対処するために, カスタマイズされたグラフ畳み込みネットワーク (GCN) を介して構造情報を用いた知識表現学習を改善し, コンテキストベースおよび知識ベースの文表現を総合的に学習する コンテキスト型知識認識型アテンシブニューラルネットワーク (CKANN) を提案する。
  論文  参考訳（メタデータ） (2021-04-12T05:52:20Z)
• Are Pre-trained Language Models Knowledgeable to Ground Open Domain Dialogues? [20.598241369838668]
  我々は、事前学習された言語モデルを用いた知識基底対話生成について研究する。 知識を含む対話を微調整することで、事前学習された言語モデルは最先端のモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-11-19T08:22:49Z)
• Knowledge-driven Data Construction for Zero-shot Evaluation in Commonsense Question Answering [80.60605604261416]
  本稿では,共通認識課題にまたがるゼロショット質問応答のための新しいニューラルシンボリック・フレームワークを提案する。 言語モデル、トレーニング体制、知識ソース、データ生成戦略のセットを変えて、タスク間の影響を測定します。 個別の知識グラフは特定のタスクに適しているが、グローバルな知識グラフはさまざまなタスクに対して一貫した利得をもたらす。
  論文  参考訳（メタデータ） (2020-11-07T22:52:21Z)
• Question Answering over Knowledge Base using Language Model Embeddings [0.0]
  本稿では,知識ベース質問回答タスクにおける事前学習言語モデルの利用に焦点を当てる。 さらに,これらの埋め込みを知識ベースから質問まで,双方向の注意機構で微調整した。 提案手法は,質問事項を表現するためのマルチヘッドアテンション機構を備えた,単純な畳み込みニューラルネットワークアーキテクチャに基づいている。
  論文  参考訳（メタデータ） (2020-10-17T22:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。