論文の概要: ElitePLM: An Empirical Study on General Language Ability Evaluation of
Pretrained Language Models
- arxiv url: http://arxiv.org/abs/2205.01523v1
- Date: Tue, 3 May 2022 14:18:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-04 14:04:25.096797
- Title: ElitePLM: An Empirical Study on General Language Ability Evaluation of
Pretrained Language Models
- Title（参考訳）: ElitePLM:事前学習言語モデルの一般言語能力評価に関する実証的研究
- Authors: Junyi Li, Tianyi Tang, Zheng Gong, Lixin Yang, Zhuohao Yu, Zhipeng
Chen, Jingyuan Wang, Wayne Xin Zhao and Ji-Rong Wen
- Abstract要約: 本稿では,事前学習型言語モデル(ElitePLM)の汎用言語能力評価に関する大規模実証的研究について述べる。
実験の結果,(1)訓練対象の異なるPLMは異なる能力試験に適しており,(2)下流タスクの微調整PLMはデータサイズや分布に敏感であり,(3)PLMは類似タスク間の転送性に優れていた。
- 参考スコア（独自算出の注目度）: 78.08792285698853
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Nowadays, pretrained language models (PLMs) have dominated the majority of
NLP tasks. While, little research has been conducted on systematically
evaluating the language abilities of PLMs. In this paper, we present a
large-scale empirical study on general language ability evaluation of PLMs
(ElitePLM). In our study, we design four evaluation dimensions, i.e. memory,
comprehension, reasoning, and composition, to measure ten widely-used PLMs
within five categories. Our empirical results demonstrate that: (1) PLMs with
varying training objectives and strategies are good at different ability tests;
(2) fine-tuning PLMs in downstream tasks is usually sensitive to the data size
and distribution; (3) PLMs have excellent transferability between similar
tasks. Moreover, the prediction results of PLMs in our experiments are released
as an open resource for more deep and detailed analysis on the language
abilities of PLMs. This paper can guide the future work to select, apply, and
design PLMs for specific tasks. We have made all the details of experiments
publicly available at https://github.com/RUCAIBox/El itePLM.
- Abstract（参考訳）: 現在、プレトレーニング言語モデル(PLM)がNLPタスクの大部分を占めている。
PLMの言語能力を体系的に評価する研究はほとんど行われていない。
本稿では,PLM(ElitePLM)の汎用言語能力評価に関する大規模な実証的研究を行う。
本研究では, 記憶, 理解, 推論, 構成の4つの評価次元を設計し, 広く利用されている10個のPLMを5つのカテゴリで測定した。
その結果,(1)訓練目標や戦略の異なるplmは能力テストに適しており,(2)下流タスクにおけるplmの微調整はデータサイズや分布に敏感であり,(3)plmは類似したタスク間の転送性に優れることがわかった。
さらに,本実験におけるPLMの予測結果は,PLMの言語能力についてより深く詳細な分析を行うためのオープンリソースとしてリリースされた。
本稿では, PLM の選択, 適用, 設計を行うための今後の課題について紹介する。
実験の詳細はhttps://github.com/RUCAIBox/El itePLM.comで公開しています。
関連論文リスト
- On Effectively Learning of Knowledge in Continual Pre-training [51.40374687930742]
我々は、モデルが構造化されていないテキストから、完全に自己教師された方法でより多くの知識を学習するのを助ける2つのソリューションを開発する。
最高の知識を得るために、私たちは、継続的事前学習における知識の完全な自己教師型学習を初めて探求します。
論文 参考訳（メタデータ） (2022-04-17T12:33:34Z) - PaLM: Scaling Language Modeling with Pathways [180.69584031908113]
我々は,パスウェイズ言語モデル PaLM と呼ばれるトランスフォーマー言語モデルを用いて,540ビリオンのパラメータを訓練した。
我々はPathwaysという新しいMLシステムを用いて,6144 TPU v4チップ上でPaLMをトレーニングした。
数百の言語理解および生成ベンチマーク上で、最先端の数発の学習結果を達成し、スケーリングの継続的なメリットを実証する。
論文 参考訳（メタデータ） (2022-04-05T16:11:45Z) - Generating Training Data with Language Models: Towards Zero-Shot
Language Understanding [35.92571138322246]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。
NLUタスクのゼロショット学習に両タイプのPLMを用いる簡単な手法を提案する。
提案手法は,GLUEベンチマークの7つの分類タスクに対して高い性能を示す。
論文 参考訳（メタデータ） (2022-02-09T16:02:18Z) - Do Multi-Lingual Pre-trained Language Models Reveal Consistent Token
Attributions in Different Languages? [42.47155960879255]
多言語 PLM が異なる言語で一貫したトークン属性を示すかどうかは不明である。
3つの下流タスクにおける広範囲な実験により、多言語 PLM は多言語同義語に大きく異なる属性を割り当てることを示した。
スペイン語は、PLMのトレーニングに使用される際、異なる言語で最も一貫性のあるトークン属性を達成している。
論文 参考訳（メタデータ） (2021-12-23T04:40:06Z) - Knowledge Enhanced Pretrained Language Models: A Compreshensive Survey [8.427521246916463]
事前学習型言語モデル(PLM)は,大規模テキストコーパス上で情報表現を学習することで,新たなパラダイムを確立した。
この新しいパラダイムは、自然言語処理の分野全体に革命をもたらし、さまざまなNLPタスクに対して、新しい最先端のパフォーマンスを設定した。
この問題に対処するため, PLM への知識統合は近年, 非常に活発な研究領域となり, 様々なアプローチが開発されている。
論文 参考訳（メタデータ） (2021-10-16T03:27:56Z) - CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented
Dialog Systems [56.302581679816775]
本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。
命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。
これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
論文 参考訳（メタデータ） (2021-09-10T03:23:06Z) - A Primer on Pretrained Multilingual Language Models [18.943173499882885]
MLLM(Multilingual Language Models)は、多数の言語に事前学習の能力をもたらすための実行可能な選択肢として登場した。
本報告では,MLLMに関する研究分野について概説する。
論文 参考訳（メタデータ） (2021-07-01T18:01:46Z) - Knowledge Inheritance for Pre-trained Language Models [57.51305807391381]
我々は「知識継承(KI)」という新しい事前学習フレームワークを導入する。
KIは、自己学習と教師指導の両方を組み合わせて、より大きなPLMを効率的に訓練する。
KIは生涯学習と知識伝達を十分に支援できることを示す。
論文 参考訳（メタデータ） (2021-05-28T14:43:26Z) - Masked Language Modeling and the Distributional Hypothesis: Order Word
Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。
本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。
以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文 参考訳（メタデータ） (2021-04-14T06:30:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。