論文の概要: Zero-shot Commonsense Question Answering with Cloze Translation and Consistency Optimization

• arxiv url: http://arxiv.org/abs/2201.00136v1
• Date: Sat, 1 Jan 2022 07:12:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-05 01:11:09.601784
• Title: Zero-shot Commonsense Question Answering with Cloze Translation and Consistency Optimization
• Title（参考訳）: cloze翻訳と一貫性最適化を用いたゼロショットコモンセンス質問応答
• Authors: Zi-Yi Dou, Nanyun Peng
• Abstract要約: 自然質問をクローズスタイルの文に翻訳できる4つの翻訳手法について検討する。 提案手法は知識ベース改良モデルと相補的なデータセットであり,それらを組み合わせることで,最先端のゼロショット性能を実現することができることを示す。
• 参考スコア（独自算出の注目度）: 20.14487209460865
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Commonsense question answering (CQA) aims to test if models can answer questions regarding commonsense knowledge that everyone knows. Prior works that incorporate external knowledge bases have shown promising results, but knowledge bases are expensive to construct and are often limited to a fixed set of relations. In this paper, we instead focus on better utilizing the \textit{implicit knowledge} stored in pre-trained language models. While researchers have found that the knowledge embedded in pre-trained language models can be extracted by having them fill in the blanks of carefully designed prompts for relation extraction and text classification, it remains unclear if we can adopt this paradigm in CQA where the inputs and outputs take much more flexible forms. To this end, we investigate four translation methods that can translate natural questions into cloze-style sentences to better solicit commonsense knowledge from language models, including a syntactic-based model, an unsupervised neural model, and two supervised neural models. In addition, to combine the different translation methods, we propose to encourage consistency among model predictions on different translated questions with unlabeled data. We demonstrate the effectiveness of our methods on three CQA datasets in zero-shot settings. We show that our methods are complementary to a knowledge base improved model, and combining them can lead to state-of-the-art zero-shot performance. Analyses also reveal distinct characteristics of the different cloze translation methods and provide insights on why combining them can lead to great improvements.
• Abstract（参考訳）: Commonsense Question answering (CQA)は、モデルが誰もが知っている常識に関する質問に答えられるかどうかをテストすることを目的としている。 外部知識ベースを組み込んだ先行研究は有望な結果を示しているが、知識ベースは構築に費用がかかり、しばしば一定の関係に制限される。 本稿では,事前学習された言語モデルに格納された \textit{implicit knowledge} の活用に注目する。 研究者らは、事前学習された言語モデルに埋め込まれた知識を、関係抽出とテキスト分類のために慎重に設計されたプロンプトの空白に埋め込むことで抽出できることを発見したが、入力と出力がより柔軟になるCQAにこのパラダイムを適用できるかどうかは不明である。 そこで本研究では,自然質問をクローゼスタイルの文に翻訳して,構文ベースモデル,教師なしニューラルモデル,および2つの教師付きニューラルモデルを含む,言語モデルからのコモンセンス知識をよりよく求める4つの翻訳手法について検討する。 さらに、異なる翻訳手法を組み合わせるために、異なる翻訳質問に対するモデル予測とラベルなしデータとの整合性を促進することを提案する。 ゼロショット設定における3つのCQAデータセットに対する手法の有効性を示す。 提案手法は知識ベースを改良したモデルに補完し,それらを組み合わせるとゼロショット性能が向上することを示す。 分析はまた、異なるクローゼ翻訳法の特徴を明らかにし、それらの組み合わせが大きな改善をもたらす理由についての洞察を提供する。

関連論文リスト

• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Is neural language acquisition similar to natural? A chronological probing study [0.0515648410037406]
  本稿では,MultiBERTやT5といったトランスフォーマー英語モデルの時系列探索について述べる。 コーパスの学習過程において,モデルが学習した言語に関する情報を比較した。 その結果,1)訓練の初期段階に言語情報を取得すること,2)両言語モデルが様々な言語レベルから様々な特徴を捉える能力を示した。
  論文  参考訳（メタデータ） (2022-07-01T17:24:11Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Syntax-informed Question Answering with Heterogeneous Graph Transformer [2.139714421848487]
  本稿では、事前学習されたニューラルネットワークモデルを拡張し、微調整する言語インフォームド質問応答手法を提案する。 本稿では,トークンと仮想トークンを接続する依存関係グラフ構造と領域グラフィック構造という形で,構文情報の追加によるアプローチについて説明する。
  論文  参考訳（メタデータ） (2022-04-01T07:48:03Z)
• elBERto: Self-supervised Commonsense Learning for Question Answering [131.51059870970616]
  本稿では、市販QAモデルアーキテクチャと互換性のあるコモンセンスフレームワークの自己教師型双方向表現学習を提案する。 このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルに強制する。 elBERtoは、単純な語彙的類似性比較が役に立たないような、アウト・オブ・パラグラフや非エフェクトな問題に対して、大幅に改善されている。
  論文  参考訳（メタデータ） (2022-03-17T16:23:45Z)
• Knowledge-driven Data Construction for Zero-shot Evaluation in Commonsense Question Answering [80.60605604261416]
  本稿では,共通認識課題にまたがるゼロショット質問応答のための新しいニューラルシンボリック・フレームワークを提案する。 言語モデル、トレーニング体制、知識ソース、データ生成戦略のセットを変えて、タスク間の影響を測定します。 個別の知識グラフは特定のタスクに適しているが、グローバルな知識グラフはさまざまなタスクに対して一貫した利得をもたらす。
  論文  参考訳（メタデータ） (2020-11-07T22:52:21Z)
• Unsupervised Commonsense Question Answering with Self-Talk [71.63983121558843]
  本稿では,コモンセンスタスクの代替として,セルフトークに基づく教師なしフレームワークを提案する。 探索に基づく探索学習にインスパイアされた我々のアプローチは、質問を求める多くの情報で言語モデルに問い合わせる。 実験結果から,ゼロショット言語モデルベースラインの性能が大幅に向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-11T20:43:37Z)
• How Much Knowledge Can You Pack Into the Parameters of a Language Model? [44.81324633069311]
  構造化されていないテキストでトレーニングされたニューラルネットワークモデルは、自然言語クエリを使用して暗黙的に知識を格納し、取得することができる。 我々は、事前学習したモデルを微調整して、外部の文脈や知識にアクセスせずに質問に答えることにより、このアプローチの実用性を測定する。
  論文  参考訳（メタデータ） (2020-02-10T18:55:58Z)
• REALM: Retrieval-Augmented Language Model Pre-Training [37.3178586179607]
  言語モデルの事前学習を潜伏知識検索システムで強化し,ウィキペディアのような大規模コーパスから文書を検索し,出席できるようにする。 本研究では,このような知識検索を教師なしで事前学習する方法を初めて示す。 オープンドメイン質問回答(Open-QA)の課題を微調整し,検索型言語モデル事前学習(REALM)の有効性を実証する。
  論文  参考訳（メタデータ） (2020-02-10T18:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。