論文の概要: elBERto: Self-supervised Commonsense Learning for Question Answering

• arxiv url: http://arxiv.org/abs/2203.09424v1
• Date: Thu, 17 Mar 2022 16:23:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-18 18:41:38.985219
• Title: elBERto: Self-supervised Commonsense Learning for Question Answering
• Title（参考訳）: elBERto: 質問応答のための自己指導型コモンセンス学習
• Authors: Xunlin Zhan, Yuan Li, Xiao Dong, Xiaodan Liang, Zhiting Hu, and Lawrence Carin
• Abstract要約: 本稿では、市販QAモデルアーキテクチャと互換性のあるコモンセンスフレームワークの自己教師型双方向表現学習を提案する。 このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルに強制する。 elBERtoは、単純な語彙的類似性比較が役に立たないような、アウト・オブ・パラグラフや非エフェクトな問題に対して、大幅に改善されている。
• 参考スコア（独自算出の注目度）: 131.51059870970616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Commonsense question answering requires reasoning about everyday situations and causes and effects implicit in context. Typically, existing approaches first retrieve external evidence and then perform commonsense reasoning using these evidence. In this paper, we propose a Self-supervised Bidirectional Encoder Representation Learning of Commonsense (elBERto) framework, which is compatible with off-the-shelf QA model architectures. The framework comprises five self-supervised tasks to force the model to fully exploit the additional training signals from contexts containing rich commonsense. The tasks include a novel Contrastive Relation Learning task to encourage the model to distinguish between logically contrastive contexts, a new Jigsaw Puzzle task that requires the model to infer logical chains in long contexts, and three classic SSL tasks to maintain pre-trained models language encoding ability. On the representative WIQA, CosmosQA, and ReClor datasets, elBERto outperforms all other methods, including those utilizing explicit graph reasoning and external knowledge retrieval. Moreover, elBERto achieves substantial improvements on out-of-paragraph and no-effect questions where simple lexical similarity comparison does not help, indicating that it successfully learns commonsense and is able to leverage it when given dynamic context.
• Abstract（参考訳）: 常識的な質問に答えるには、日常の状況や原因や影響を暗黙的に考える必要がある。 通常、既存の手法はまず外部の証拠を回収し、これらの証拠を用いて常識的推論を行う。 本稿では,市販QAモデルアーキテクチャと互換性のある,自己教師型双方向エンコーダ表現学習(elBERto)フレームワークを提案する。 このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルを強制する。 このタスクには、論理的にコントラストのあるコンテキストを区別するようモデルに奨励する新しいContrastive Relation Learningタスク、長いコンテキストで論理的なチェーンを推論する必要がある新しいJigsaw Puzzleタスク、事前訓練されたモデル言語エンコーディング能力を維持するための3つの古典的なSSLタスクが含まれる。 代表的なWIQA、CosmosQA、ReClorデータセットでは、elBERtoは明示的なグラフ推論や外部知識検索など、他の方法よりも優れている。 さらにelbertoは、単純な語彙の類似性比較が役に立たないパラグラフと無影響の質問に対して実質的な改善を達成し、それがコモンセンスをうまく学習し、与えられた動的文脈においてそれを活用できることを示している。

関連論文リスト

• SINKT: A Structure-Aware Inductive Knowledge Tracing Model with Large Language Model [64.92472567841105]
  知識追跡(KT)は、学生が次の質問に正しく答えるかどうかを判断することを目的としている。 大規模言語モデルを用いた構造認識帰納的知識追跡モデル(SINKT) SINKTは、学生の知識状態と質問表現とを相互作用させることで、対象の質問に対する学生の反応を予測する。
  論文  参考訳（メタデータ） (2024-07-01T12:44:52Z)
• Multi-hop Commonsense Knowledge Injection Framework for Zero-Shot Commonsense Question Answering [6.086719709100659]
  本稿では,新しいマルチホップコモンセンス知識注入フレームワークを提案する。 本フレームワークは,5つの共通知識質問応答ベンチマークにおいて,最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-05-10T07:13:47Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• ReAct: Synergizing Reasoning and Acting in Language Models [44.746116256516046]
  大規模言語モデル (LLM) は, 推論トレースとタスク固有動作の両方を, インターリーブ方式で生成可能であることを示す。 我々はReActという名前のアプローチを多種多様な言語と意思決定タスクに適用する。 ReActは、単純なウィキペディアAPIと対話することで、チェーン・オブ・ソート推論でよく見られる幻覚やエラーの伝播の問題を克服する。
  論文  参考訳（メタデータ） (2022-10-06T01:00:32Z)
• Utterance Rewriting with Contrastive Learning in Multi-turn Dialogue [22.103162555263143]
  比較学習とマルチタスク学習を導入し、問題を共同でモデル化する。 提案手法は,複数の公開データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-22T10:13:27Z)
• GreaseLM: Graph REASoning Enhanced Language Models for Question Answering [159.9645181522436]
  GreaseLMは、事前訓練されたLMとグラフニューラルネットワークの符号化された表現を、複数の層にわたるモダリティ相互作用操作で融合する新しいモデルである。 GreaseLMは、状況制約と構造化知識の両方の推論を必要とする問題に、より確実に答えることができる。
  論文  参考訳（メタデータ） (2022-01-21T19:00:05Z)
• Zero-shot Commonsense Question Answering with Cloze Translation and Consistency Optimization [20.14487209460865]
  自然質問をクローズスタイルの文に翻訳できる4つの翻訳手法について検討する。 提案手法は知識ベース改良モデルと相補的なデータセットであり,それらを組み合わせることで,最先端のゼロショット性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-01-01T07:12:49Z)
• Question Answering over Knowledge Bases by Leveraging Semantic Parsing and Neuro-Symbolic Reasoning [73.00049753292316]
  本稿では,意味解析と推論に基づくニューロシンボリック質問回答システムを提案する。 NSQAはQALD-9とLC-QuAD 1.0で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-12-03T05:17:55Z)
• Knowledge-driven Data Construction for Zero-shot Evaluation in Commonsense Question Answering [80.60605604261416]
  本稿では,共通認識課題にまたがるゼロショット質問応答のための新しいニューラルシンボリック・フレームワークを提案する。 言語モデル、トレーニング体制、知識ソース、データ生成戦略のセットを変えて、タスク間の影響を測定します。 個別の知識グラフは特定のタスクに適しているが、グローバルな知識グラフはさまざまなタスクに対して一貫した利得をもたらす。
  論文  参考訳（メタデータ） (2020-11-07T22:52:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。