論文の概要: Ask Question First for Enhancing Lifelong Language Learning

• arxiv url: http://arxiv.org/abs/2208.08367v1
• Date: Wed, 17 Aug 2022 15:58:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-18 12:10:55.041420
• Title: Ask Question First for Enhancing Lifelong Language Learning
• Title（参考訳）: 生涯の言語学習を強化するためにまず質問する
• Authors: Han Wang, Ruiliu Fu, Xuejun Zhang, Jun Zhou, Qingwei Zhao
• Abstract要約: Lifelong言語学習は、従来のタスクの知識を維持しながら、NLPタスクをストリームすることを目的としている。 これまでの研究では、すべてのデータを"begin token (textitB) + context (textitC) + question (textitQ + answer (textitA)"として、さまざまなタスクにフォーマットすることを検討してきた。 本稿では,Ask Question First and Replay Question (AQF-RQ)を提案する。
• 参考スコア（独自算出の注目度）: 12.766084031891815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lifelong language learning aims to stream learning NLP tasks while retaining knowledge of previous tasks. Previous works based on the language model and following data-free constraint approaches have explored formatting all data as "begin token (\textit{B}) + context (\textit{C}) + question (\textit{Q}) + answer (\textit{A})" for different tasks. However, they still suffer from catastrophic forgetting and are exacerbated when the previous task's pseudo data is insufficient for the following reasons: (1) The model has difficulty generating task-corresponding pseudo data, and (2) \textit{A} is prone to error when \textit{A} and \textit{C} are separated by \textit{Q} because the information of the \textit{C} is diminished before generating \textit{A}. Therefore, we propose the Ask Question First and Replay Question (AQF-RQ), including a novel data format "\textit{BQCA}" and a new training task to train pseudo questions of previous tasks. Experimental results demonstrate that AQF-RQ makes it easier for the model to generate more pseudo data that match corresponding tasks, and is more robust to both sufficient and insufficient pseudo-data when the task boundary is both clear and unclear. AQF-RQ can achieve only 0.36\% lower performance than multi-task learning.
• Abstract（参考訳）: Lifelong言語学習は、従来のタスクの知識を維持しながら、NLPタスクをストリームすることを目的としている。 言語モデルとデータフリーな制約アプローチに基づく以前の研究は、異なるタスクに対してすべてのデータを"begin token (\textit{B}) + context (\textit{C}) + question (\textit{Q}) + answer (\textit{A})"としてフォーマットすることを模索してきた。 しかし、前のタスクの擬似データが不足している場合、その前のタスクの擬似データが、(1)疑似データに対するタスク対応を生成するのに困難であり、(2) \textit{a} が \textit{a} と \textit{c} が \textit{q} によって分離される場合、(2) \textit{c} の情報は \textit{a} を生成する前に減少する。 そこで本研究では,新しいデータ形式 "\textit{bqca}" と,従来課題の疑似質問を学習するための新しいトレーニングタスクを含む,ask question first and replay question (aqf-rq)を提案する。 実験結果から,タスク境界が明確かつ不明瞭である場合には,AQF-RQにより,対応するタスクにマッチする疑似データを容易に生成でき,十分な疑似データと不十分な疑似データの両方に対してより堅牢であることが示された。 AQF-RQ はマルチタスク学習よりも 0.36 %低い性能しか達成できない。

関連論文リスト

• Event Extraction as Question Generation and Answering [72.04433206754489]
  イベント抽出に関する最近の研究は、質問回答(QA)としてタスクを再編成した。 そこで我々は,QGA-EEを提案する。QGモデルにより,定型テンプレートを使わずに,リッチな文脈情報を含む質問を生成することができる。 実験の結果、QGA-EEはACE05の英語データセットで以前のシングルタスクベースのモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-07-10T01:46:15Z)
• PAXQA: Generating Cross-lingual Question Answering Examples at Training Scale [53.92008514395125]
  PAXQA(クロスリンガル(x)QAのアノテーションの計画)は、クロスリンガルQAを2段階に分解する。 本稿では、並列ビットから制約されたエンティティを抽出する語彙制約機械翻訳の新たな利用法を提案する。 これらのデータセットに基づいて微調整されたモデルは、複数の抽出されたQAデータセット上で、先行合成データ生成モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-24T15:46:26Z)
• Toward Unsupervised Realistic Visual Question Answering [70.67698100148414]
  現実的なVQA(RVQA)の問題について検討し、モデルが答えられない質問(UQ)を拒絶し、答えられる質問(AQ)に答えなければならない。 1)データセットには不整合UQが多すぎること,(2)多数の注釈付きUQがトレーニングに必要とされること,の2つの欠点を最初に指摘した。 我々は、既存のVQAデータセットのAQと約29万の人間の注釈付きUQを組み合わせた新しいテストデータセットRGQAを提案する。 これは、画像と質問をランダムにペアリングして得られる擬似UQと、それを結合する。
  論文  参考訳（メタデータ） (2023-03-09T06:58:29Z)
• Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions [50.114651561111245]
  マルチステップ質問応答のための新しいアプローチであるIRCoTを提案する。 CoTのステップで検索をインターリーブし、CoTで検索を誘導し、検索結果を用いてCoTを改善する。
  論文  参考訳（メタデータ） (2022-12-20T18:26:34Z)
• Modern Question Answering Datasets and Benchmarks: A Survey [5.026863544662493]
  質問回答(QA)は、自然言語処理(NLP)の最も重要なタスクの一つである。 NLP技術を用いて、大量の非構造化コーパスに基づいて、与えられた質問に対する対応する回答を生成することを目的としている。 本稿では,ディープラーニングの時代にリリースされた,影響力あるQAデータセットについて検討する。
  論文  参考訳（メタデータ） (2022-06-30T05:53:56Z)
• New Methods & Metrics for LFQA tasks [0.0]
  長い形式の質問応答タスクでは、クエリに関連する文書を検索し、それを使用して段落長の回答を作成する必要がある。 この作業では、トレイン/バリデーション/テストのデータセットのオーバーラップ、自動メトリクスの欠如、検索したドキュメントに“接地”されていない回答の生成に対処する。
  論文  参考訳（メタデータ） (2021-12-26T18:38:05Z)
• Understanding Unnatural Questions Improves Reasoning over Text [54.235828149899625]
  生テキストに対する複雑な質問応答(CQA)は難しい課題である。 効果的なCQAモデルを学ぶには、大量の人間が注釈付けしたデータが必要である。 我々は、自然の人間生成の質問を非自然の機械生成の質問に投影することで、高品質なプログラマ(パーザ)を学ぶという課題に対処する。
  論文  参考訳（メタデータ） (2020-10-19T10:22:16Z)
• Template-Based Question Generation from Retrieved Sentences for Improved Unsupervised Question Answering [98.48363619128108]
  擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。 関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-04-24T17:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。