論文の概要: Cooperative Learning of Zero-Shot Machine Reading Comprehension

• arxiv url: http://arxiv.org/abs/2103.07449v1
• Date: Fri, 12 Mar 2021 18:22:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-15 14:34:22.967225
• Title: Cooperative Learning of Zero-Shot Machine Reading Comprehension
• Title（参考訳）: Zero-Shot Machine Reading Comprehensionの協調学習
• Authors: Hongyin Luo, Seunghak Yu, James Glass
• Abstract要約: 質問生成と回答のための協調的自己学習モデルを提案する。 注釈なしで任意のテキストコーポラで質問生成と回答モデルをトレーニングできます。 私たちのモデルは、標準質問応答ベンチマークで最先端の事前学習された言語モデルよりも優れています。
• 参考スコア（独自算出の注目度）: 9.868221447090855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained language models have significantly improved the performance of down-stream tasks, for example extractive question answering, by providing high-quality contextualized word embeddings. However, learning question answering models still need large-scale data annotation in specific domains. In this work, we propose a cooperative, self-play learning model for question generation and answering. We implemented a masked answer entity extraction task with an interactive learning environment, containing a question generator and a question extractor. Given a passage with a mask, a question generator asks a question about the masked entity, meanwhile the extractor is trained to extract the masked entity with the generated question and raw texts. With this strategy, we can train question generation and answering models on any textual corpora without annotation. To further improve the performances of the question answering model, we propose a reinforcement learning method that rewards generated questions that improves the extraction learning. Experimental results showed that our model outperforms the state-of-the-art pretrained language models on standard question answering benchmarks, and reaches the state-of-the-art performance under the zero-shot learning setting.
• Abstract（参考訳）: 事前学習された言語モデルは、高品質のコンテキスト化された単語埋め込みを提供することで、抽出的質問応答などの下流タスクのパフォーマンスを大幅に向上させた。 しかし、質問応答モデルの学習には、特定の領域で大規模なデータアノテーションが必要である。 本研究では,質問生成と回答のための協調型自己学習モデルを提案する。 質問生成器と質問抽出器を含む対話型学習環境を備えたマスク付き回答エンティティ抽出タスクを実装した。 マスクを持つ通路を与えられた場合、質問生成器はマスクされた実体について質問する一方、抽出器は生成された質問と生のテキストでマスクされた実体を取り出すように訓練される。 この戦略により、注釈なしで任意のテキストコーポラの質問生成と回答モデルをトレーニングできます。 そこで本研究では,質問応答モデルの性能向上を図るために,生成した質問に報酬を与える強化学習手法を提案する。 実験結果から,本モデルは標準質問応答ベンチマークにおいて最先端言語モデルよりも優れており,ゼロショット学習環境下では最先端言語性能に到達した。

関連論文リスト

• Large Vision-Language Models for Remote Sensing Visual Question Answering [0.0]
  リモートセンシング視覚質問回答(RSVQA)は、複雑な衛星画像の自然言語質問への答えを解釈する難しいタスクである。 伝統的なアプローチは、しばしば別々の視覚特徴抽出器と言語処理モデルに依存しており、計算集約的で、オープンエンドの質問を扱う能力に制限がある。 RSVQAプロセスの合理化にLVLM(Large Vision-Language Model)を用いた新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-16T18:32:38Z)
• Crafting Interpretable Embeddings by Asking LLMs Questions [89.49960984640363]
  大規模言語モデル(LLM)は、自然言語処理タスクの増大に対して、テキスト埋め込みを急速に改善した。 質問応答埋め込み (QA-Emb) を導入し, 各特徴がLLMに対して質問された質問に対する回答を表す。 我々はQA-Embを用いて、言語刺激に対するfMRIボクセル応答を予測するための解釈可能なモデルを柔軟に生成する。
  論文  参考訳（メタデータ） (2024-05-26T22:30:29Z)
• SEMQA: Semi-Extractive Multi-Source Question Answering [94.04430035121136]
  本稿では,複数ソースを半抽出的に要約することで,複数の質問に答える新しいQAタスクを提案する。 この種の最初のデータセットであるQuoteSumを作成し、自然および生成された質問に対する人間による半抽出的な回答を提示する。
  論文  参考訳（メタデータ） (2023-11-08T18:46:32Z)
• Adapting Pre-trained Generative Models for Extractive Question Answering [4.993041970406846]
  本稿では、事前学習された生成モデルのパワーを用いて、抽出されたQAタスクに対処する新しいアプローチを提案する。 本稿では,既存の最先端モデルと比較して,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-11-06T09:01:02Z)
• Weakly Supervised Visual Question Answer Generation [2.7605547688813172]
  視覚情報とキャプションから手続き的に質問応答対を合成的に生成する弱教師付き手法を提案する。 我々は,VQAデータセットの総合的な実験分析を行い,BLEUスコアのSOTA手法を著しく上回る結果を得た。
  論文  参考訳（メタデータ） (2023-06-11T08:46:42Z)
• Momentum Contrastive Pre-training for Question Answering [54.57078061878619]
  MCROSSはモーメントコントラスト学習フレームワークを導入し、クローゼのような解答確率と自然な問合せのサンプルペアを一致させる。 本手法は,教師付きシナリオとゼロショットシナリオの両方において,すべてのベースラインと比較して顕著な改善を実現している。
  論文  参考訳（メタデータ） (2022-12-12T08:28:22Z)
• Automatic Short Math Answer Grading via In-context Meta-learning [2.0263791972068628]
  本研究では,数学質問に対する児童生徒の回答に対する自動短解格付けの問題について検討する。 我々は、数学的な内容に適応した人気のある言語モデルBERTの変種である MathBERT をベースモデルとして使用しています。 第二に、言語モデルへの入力としてスコアリングサンプルを提供する、コンテキスト内学習アプローチを用いる。
  論文  参考訳（メタデータ） (2022-05-30T16:26:02Z)
• Asking Questions Like Educational Experts: Automatically Generating Question-Answer Pairs on Real-World Examination Data [10.353009081072992]
  本稿では,実世界の検査データ上での質問応答対生成課題に対処し,RASに関する新たな統合フレームワークを提案する。 本稿では,質問文とキーフレーズを反復的に生成・最適化するマルチエージェント通信モデルを提案する。 実験結果から,質問応答対生成タスクにおいて,本モデルが大きなブレークスルーをもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2021-09-11T04:10:57Z)
• Learning to Ask Conversational Questions by Optimizing Levenshtein Distance [83.53855889592734]
  明示的な編集動作によって最小レベンシュテイン距離(MLD)を最適化する強化反復シーケンス編集(RISE)フレームワークを導入する。 RISEは会話の特徴に関連するトークンに注意を払うことができる。 2つのベンチマークデータセットの実験結果から、RISEは最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T08:44:19Z)
• Understanding Unnatural Questions Improves Reasoning over Text [54.235828149899625]
  生テキストに対する複雑な質問応答(CQA)は難しい課題である。 効果的なCQAモデルを学ぶには、大量の人間が注釈付けしたデータが必要である。 我々は、自然の人間生成の質問を非自然の機械生成の質問に投影することで、高品質なプログラマ(パーザ)を学ぶという課題に対処する。
  論文  参考訳（メタデータ） (2020-10-19T10:22:16Z)
• Visual Question Answering with Prior Class Semantics [50.845003775809836]
  候補解のセマンティクスに関連する追加情報を利用する方法を示す。 セマンティック空間における回帰目標を用いて解答予測プロセスを拡張する。 提案手法は,様々な質問タイプに対して,一貫性と精度の向上をもたらす。
  論文  参考訳（メタデータ） (2020-05-04T02:46:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。