論文の概要: Bridging the Gap between Language Model and Reading Comprehension: Unsupervised MRC via Self-Supervision

• arxiv url: http://arxiv.org/abs/2107.08582v1
• Date: Mon, 19 Jul 2021 02:14:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-21 01:15:38.225222
• Title: Bridging the Gap between Language Model and Reading Comprehension: Unsupervised MRC via Self-Supervision
• Title（参考訳）: 言語モデルと読み理解のギャップを埋める:セルフスーパービジョンによる教師なしMRC
• Authors: Ning Bian, Xianpei Han, Bo Chen, Hongyu Lin, Ben He, Le Sun
• Abstract要約: 教師なし機械読解(MRC)のための新しいフレームワークを提案する。 MRC - Spotting-MLM のための自己スーパービジョン・プレテキスト・タスクを設計し、自己教師付き学習を通じて文書中の回答の範囲を見つけることを学ぶ。 実験の結果,本手法は教師なしMRCの最先端性能を実現することがわかった。
• 参考スコア（独自算出の注目度）: 34.01738910736325
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite recent success in machine reading comprehension (MRC), learning high-quality MRC models still requires large-scale labeled training data, even using strong pre-trained language models (PLMs). The pre-training tasks for PLMs are not question-answering or MRC-based tasks, making existing PLMs unable to be directly used for unsupervised MRC. Specifically, MRC aims to spot an accurate answer span from the given document, but PLMs focus on token filling in sentences. In this paper, we propose a new framework for unsupervised MRC. Firstly, we propose to learn to spot answer spans in documents via self-supervised learning, by designing a self-supervision pretext task for MRC - Spotting-MLM. Solving this task requires capturing deep interactions between sentences in documents. Secondly, we apply a simple sentence rewriting strategy in the inference stage to alleviate the expression mismatch between questions and documents. Experiments show that our method achieves a new state-of-the-art performance for unsupervised MRC.
• Abstract（参考訳）: 近年の機械読み取り理解(MRC)の成功にもかかわらず、高品質のMRCモデルを学習するには、強力な事前学習言語モデル(PLM)を使用しても、大規模なラベル付きトレーニングデータが必要である。 PLM の事前訓練タスクは質問応答や MRC ベースのタスクではなく、既存の PLM は教師なし MRC に直接使用できない。 特に、mrcは与えられた文書から正確な回答スパンを見つけることを目指しているが、plmは文中のトークンの記入に焦点を当てている。 本稿では,教師なしMCCのための新しいフレームワークを提案する。 まず,MRC-Sptting-MLMのための自己超越型プリテキストタスクを設計し,自己教師型学習を用いて文書中の回答の範囲を抽出することを提案する。 この問題を解決するには文書中の文間の深い相互作用を捉える必要がある。 次に,質問と文書間の表現ミスマッチを緩和するために,単純な文書き換え戦略を推論段階で適用する。 実験の結果,本手法は教師なしMRCの最先端性能を実現する。

関連論文リスト

• Teach model to answer questions after comprehending the document [1.4264737570114632]
  Multi-choice Machine Reading (MRC)は自然言語処理(NLP)の挑戦的な拡張である 本稿では,MSCタスクを2段階に分割することで,文書の理解を深める2段階の知識蒸留法を提案する。
  論文  参考訳（メタデータ） (2023-07-18T02:38:02Z)
• Multi-Task Instruction Tuning of LLaMa for Specific Scenarios: A Preliminary Study on Writing Assistance [60.40541387785977]
  小さな基礎モデルは、命令駆動データを用いて微調整された場合、多様なタスクに対処する際、顕著な習熟度を示すことができる。 本研究は, 汎用的な指導よりも, 1つないし数つの特定のタスクに主眼を置いている, 実践的な問題設定について検討する。 実験結果から,命令データに対する微調整LLaMAは,タスクの記述能力を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-05-22T16:56:44Z)
• KECP: Knowledge Enhanced Contrastive Prompting for Few-shot Extractive Question Answering [28.18555591429343]
  我々はKECP(Knowledge Enhanced Contrastive Prompt-tuning)という新しいフレームワークを提案する。 PLMにポインタヘッドを追加する代わりに、タスクを非自己回帰型マスケッド言語モデリング(MLM)生成問題に変換する。 提案手法は,数ショット設定における最先端のアプローチを大きなマージンで一貫して上回っている。
  論文  参考訳（メタデータ） (2022-05-06T08:31:02Z)
• Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
  大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。 大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。 本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。 第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
  論文  参考訳（メタデータ） (2022-04-11T15:55:20Z)
• Analysing the Effect of Masking Length Distribution of MLM: An Evaluation Framework and Case Study on Chinese MRC Datasets [0.8566457170664925]
  Masked Language Model (MLM) は、様々な PTM で広く使われている自己学習型訓練対象である。 異なる機械読解タスクでは、解答の長さも異なり、解答はしばしば語、句、文である。 本稿では,MRCデータセットにおけるマスキング長分布と解答長の相関関係から,機械読解タスクにおける4つの成功のうち,どれ程が得られたかを明らかにする。
  論文  参考訳（メタデータ） (2021-09-29T04:07:05Z)
• REPT: Bridging Language Models and Machine Reading Comprehensionvia Retrieval-Based Pre-training [45.21249008835556]
  一般PLMとMRCのギャップを埋めるRetrieval-based Pre-TrainingアプローチであるREPTを提案する。 特に,事前学習中のエビデンス抽出を強化するために,二つの自己監督タスクを導入する。 我々のアプローチは、明示的な監督なしに証拠抽出能力を高めることができる。
  論文  参考訳（メタデータ） (2021-05-10T08:54:46Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• Enhancing Answer Boundary Detection for Multilingual Machine Reading Comprehension [86.1617182312817]
  そこで我々は,句境界管理を付加するために,微調整段階における2つの補助的タスクを提案する。 混合機械読解タスクは、質問または通過を他の言語に翻訳し、言語横断の問合せペアを構築する。 Webから抽出した知識フレーズを活用する言語に依存しない知識マスキングタスク。
  論文  参考訳（メタデータ） (2020-04-29T10:44:00Z)
• Retrospective Reader for Machine Reading Comprehension [90.6069071495214]
  機械読み取り理解(英: Machine reading comprehension、MRC)とは、機械が与えられた文節に基づいて質問に対する正しい答えを決定することを要求するAIチャレンジである。 不可解な質問が MRC タスクに関与している場合、検証モジュールと呼ばれる本質的な検証モジュールがエンコーダに加えて特に必要となる。 本稿では, MRC タスクに対して, 解答不能な質問に対して, より優れた検証器設計を提案する。
  論文  参考訳（メタデータ） (2020-01-27T11:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。