論文の概要: Analysing the Effect of Masking Length Distribution of MLM: An
Evaluation Framework and Case Study on Chinese MRC Datasets
- arxiv url: http://arxiv.org/abs/2110.15712v1
- Date: Wed, 29 Sep 2021 04:07:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-13 04:51:25.555731
- Title: Analysing the Effect of Masking Length Distribution of MLM: An
Evaluation Framework and Case Study on Chinese MRC Datasets
- Title(参考訳): MLMのマスキング長さ分布の影響分析:中国のMRCデータセットの評価フレームワークとケーススタディ
- Authors: Changchang. Zeng and Shaobo. Li
- Abstract要約: Masked Language Model (MLM) は、様々な PTM で広く使われている自己学習型訓練対象である。
異なる機械読解タスクでは、解答の長さも異なり、解答はしばしば語、句、文である。
本稿では,MRCデータセットにおけるマスキング長分布と解答長の相関関係から,機械読解タスクにおける4つの成功のうち,どれ程が得られたかを明らかにする。
- 参考スコア(独自算出の注目度): 0.8566457170664925
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine reading comprehension (MRC) is a challenging natural language
processing (NLP) task. Recently, the emergence of pre-trained models (PTM) has
brought this research field into a new era, in which the training objective
plays a key role. The masked language model (MLM) is a self-supervised training
objective that widely used in various PTMs. With the development of training
objectives, many variants of MLM have been proposed, such as whole word
masking, entity masking, phrase masking, span masking, and so on. In different
MLM, the length of the masked tokens is different. Similarly, in different
machine reading comprehension tasks, the length of the answer is also
different, and the answer is often a word, phrase, or sentence. Thus, in MRC
tasks with different answer lengths, whether the length of MLM is related to
performance is a question worth studying. If this hypothesis is true, it can
guide us how to pre-train the MLM model with a relatively suitable mask length
distribution for MRC task. In this paper, we try to uncover how much of MLM's
success in the machine reading comprehension tasks comes from the correlation
between masking length distribution and answer length in MRC dataset. In order
to address this issue, herein, (1) we propose four MRC tasks with different
answer length distributions, namely short span extraction task, long span
extraction task, short multiple-choice cloze task, long multiple-choice cloze
task; (2) four Chinese MRC datasets are created for these tasks; (3) we also
have pre-trained four masked language models according to the answer length
distributions of these datasets; (4) ablation experiments are conducted on the
datasets to verify our hypothesis. The experimental results demonstrate that
our hypothesis is true.
- Abstract(参考訳): 機械読み取り理解(MRC)は、自然言語処理(NLP)の課題である。
近年、プレトレーニングモデル(PTM)の出現により、この研究分野は新たな時代へと発展し、トレーニング目標が重要な役割を担っている。
マスク付き言語モデル(MLM)は、様々な PTM で広く使われている自己教師型訓練目標である。
訓練目的の開発により、全単語マスキング、エンティティマスキング、フレーズマスキング、スパンマスキングなど、mlmの多くの変種が提案されている。
異なるMLMでは、マスクされたトークンの長さが異なる。
同様に、異なる機械による理解作業では、答えの長さも異なり、答えはしばしば単語、句、文である。
したがって, MLM の長さが異なる MRC タスクでは, MLM の長さが性能に関係しているかどうかが検討に値する。
もしこの仮説が本当なら、MRCタスクに対して比較的適切なマスク長分布を持つMLMモデルを事前訓練する方法を導き出すことができる。
本稿では,機械読解タスクにおけるMLMの成功の大部分が,マスク長分布とMRCデータセットの解答長の相関によるものであるかを明らかにする。
In order to address this issue, herein, (1) we propose four MRC tasks with different answer length distributions, namely short span extraction task, long span extraction task, short multiple-choice cloze task, long multiple-choice cloze task; (2) four Chinese MRC datasets are created for these tasks; (3) we also have pre-trained four masked language models according to the answer length distributions of these datasets; (4) ablation experiments are conducted on the datasets to verify our hypothesis.
実験結果は我々の仮説が正しいことを示している。
関連論文リスト
- Pre-training LLMs using human-like development data corpus [3.5757761767474876]
我々は,子どもが見るのとほぼ同じ数のトークンを用いて,文脈的単語表現を学習する能力について,LLM(Large Language Models)を事前訓練し評価する。
異なるアーキテクチャで、エポック間のパフォーマンスの変化を評価し、タスクの厳密で厳密なトラックに対する事前トレーニングメトリクスを報告します。
論文 参考訳(メタデータ) (2023-11-08T13:13:23Z) - M4LE: A Multi-Ability Multi-Range Multi-Task Multi-Domain Long-Context
Evaluation Benchmark for Large Language Models [61.06694491246026]
M4LEは、大規模言語モデル(LLM)の時系列能力を評価するためのベンチマークである。
M4LEは、36のNLPタスクタイプと12のドメインからなる多様なNLPタスクプールに基づいている。
我々は,11個のLLM,特に長文入力に最適化されたLLMについて,系統評価を行った。
論文 参考訳(メタデータ) (2023-10-30T03:11:30Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳(メタデータ) (2023-10-10T16:38:49Z) - LaGR-SEQ: Language-Guided Reinforcement Learning with Sample-Efficient
Querying [71.86163159193327]
大規模言語モデル(LLM)は、最近、テキストを介してコンテキスト対応の応答を提供するという、印象的な能力を実証した。
この能力は、パターン補完に関連するシーケンシャルな意思決定タスクにおいて、妥当なソリューションを予測するために使われる可能性がある。
第一強化学習(RL)エージェントによって部分的に完了したタスクに対する解を提案するために,LLMのこの予測能力を利用するLaGRを紹介した。
論文 参考訳(メタデータ) (2023-08-21T02:07:35Z) - Enhancing In-Context Learning with Answer Feedback for Multi-Span
Question Answering [9.158919909909146]
本稿では,LLMが望ましくない出力を通知するなど,ラベル付きデータを活用する新しい手法を提案する。
3つのマルチスパン質問応答データセットとキーフレーズ抽出データセットの実験により、我々の新しいプロンプト戦略はLLMの文脈内学習性能を一貫して改善することを示した。
論文 参考訳(メタデータ) (2023-06-07T15:20:24Z) - Multi-Task Instruction Tuning of LLaMa for Specific Scenarios: A
Preliminary Study on Writing Assistance [60.40541387785977]
小さな基礎モデルは、命令駆動データを用いて微調整された場合、多様なタスクに対処する際、顕著な習熟度を示すことができる。
本研究は, 汎用的な指導よりも, 1つないし数つの特定のタスクに主眼を置いている, 実践的な問題設定について検討する。
実験結果から,命令データに対する微調整LLaMAは,タスクの記述能力を大幅に向上することが示された。
論文 参考訳(メタデータ) (2023-05-22T16:56:44Z) - How does the task complexity of masked pretraining objectives affect
downstream performance? [10.958094201870871]
Masked Language Modeling (MLM) は、広く使われている自己学習の目的である。
マスキングスキームの目的は、下流のタスクよりも優れています。
複雑性の欠如が劣化に不可欠な役割を担っていると仮定して、我々はどれだけの複雑さを実行する必要があるかを調査する。
論文 参考訳(メタデータ) (2023-05-18T14:11:57Z) - Transcormer: Transformer for Sentence Scoring with Sliding Language
Modeling [95.9542389945259]
文スコアリングは文の可能性を測ることを目的としており、多くの自然言語処理シナリオで広く使われている。
文スコアリングのための新しいテキストスライディング言語モデリング(SLM)を備えたトランスフォーマーモデルであるtextitTranscormerを提案する。
論文 参考訳(メタデータ) (2022-05-25T18:00:09Z) - Bridging the Gap between Language Model and Reading Comprehension:
Unsupervised MRC via Self-Supervision [34.01738910736325]
教師なし機械読解(MRC)のための新しいフレームワークを提案する。
MRC - Spotting-MLM のための自己スーパービジョン・プレテキスト・タスクを設計し、自己教師付き学習を通じて文書中の回答の範囲を見つけることを学ぶ。
実験の結果,本手法は教師なしMRCの最先端性能を実現することがわかった。
論文 参考訳(メタデータ) (2021-07-19T02:14:36Z) - Masked Language Modeling and the Distributional Hypothesis: Order Word
Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。
本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。
以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文 参考訳(メタデータ) (2021-04-14T06:30:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。