論文の概要: Investigating Numeracy Learning Ability of a Text-to-Text Transfer Model
- arxiv url: http://arxiv.org/abs/2109.04672v1
- Date: Fri, 10 Sep 2021 05:33:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-13 22:41:09.443397
- Title: Investigating Numeracy Learning Ability of a Text-to-Text Transfer Model
- Title(参考訳): テキスト・テキスト・トランスファーモデルにおける数理学習能力の検討
- Authors: Kuntal Kumar Pal and Chitta Baral
- Abstract要約: 本稿では,テキストからテキストへの移動学習モデル(T5)の数値学習能力について検討する。
数値化、等級予測、列内の最小値と最大値の探索、ソートという4つの数値処理について検討する。
T5モデルは適度に性能が良いが、4つのタスクすべてにわたる外挿設定ではかなり苦労している。
- 参考スコア(独自算出の注目度): 18.922352061424302
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The transformer-based pre-trained language models have been tremendously
successful in most of the conventional NLP tasks. But they often struggle in
those tasks where numerical understanding is required. Some possible reasons
can be the tokenizers and pre-training objectives which are not specifically
designed to learn and preserve numeracy. Here we investigate the ability of
text-to-text transfer learning model (T5), which has outperformed its
predecessors in the conventional NLP tasks, to learn numeracy. We consider four
numeracy tasks: numeration, magnitude order prediction, finding minimum and
maximum in a series, and sorting. We find that, although T5 models perform
reasonably well in the interpolation setting, they struggle considerably in the
extrapolation setting across all four tasks.
- Abstract(参考訳): トランスフォーマーをベースとした事前学習言語モデルは、従来のNLPタスクの多くで非常に成功した。
しかし、数値理解が必要なタスクでは、しばしば苦労する。
いくつか考えられる理由は、数字の学習と保存を特別に意図していないトークン化と事前学習の目的である。
本稿では,従来のnlpタスクに先行するテキストからテキストへの転送学習モデル(t5)の学習能力について検討する。
我々は,数量化,マグニチュードオーダー予測,シリーズ内の最小値と最大値の探索,ソートという4つの数値化タスクを検討する。
T5モデルは補間環境では合理的に良好に機能するが、4つのタスクすべてにわたる補間環境ではかなり苦労している。
関連論文リスト
- Improving Cross-task Generalization of Unified Table-to-text Models with
Compositional Task Configurations [63.04466647849211]
メソッドは通常、タスク情報をエンコーダのプレフィックスとして単純なデータセット名でエンコードする。
本稿では,エンコーダがタスク間の一般化を改善するためのプロンプトセットであるコンポジションタスク構成を提案する。
これは、モデルがトレーニング中に異なるタスク間で共有知識をより良く学習できるだけでなく、新しい構成を構築することでモデルを制御できることを示している。
論文 参考訳(メタデータ) (2022-12-17T02:20:14Z) - Conciseness: An Overlooked Language Task [11.940413163824887]
タスクを定義し、要約や単純化といった関連するタスクとは異なることを示す。
大規模なニューラルネットワークモデルによるゼロショットセットアップがよく機能しない場合、簡潔性は難しい課題であることを示す。
論文 参考訳(メタデータ) (2022-11-08T09:47:11Z) - Effective Cross-Task Transfer Learning for Explainable Natural Language
Inference with T5 [50.574918785575655]
2つのタスクのパフォーマンス向上という文脈において、逐次微調整とマルチタスク学習のモデルを比較した。
この結果から,2つのタスクのうち,第1のタスクにおいて逐次マルチタスク学習は良好に調整できるが,第2のタスクでは性能が低下し,過度な適合に苦しむことが明らかとなった。
論文 参考訳(メタデータ) (2022-10-31T13:26:08Z) - Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。
実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文 参考訳(メタデータ) (2022-10-23T00:37:08Z) - Plex: Towards Reliability using Pretrained Large Model Extensions [69.13326436826227]
我々は,視覚と言語モダリティのための事前訓練された大規模モデル拡張であるViT-PlexとT5-Plexを開発した。
Plexは信頼性タスク間の最先端性を大幅に改善し、従来のプロトコルを単純化する。
最大1Bパラメータまでのモデルサイズに対するスケーリング効果と,最大4B例までのデータセットサイズを事前トレーニングした。
論文 参考訳(メタデータ) (2022-07-15T11:39:37Z) - Arithmetic-Based Pretraining -- Improving Numeracy of Pretrained
Language Models [67.48894919842576]
最先端の事前訓練された言語モデルは、数式を必要とするタスクにアウト・オブ・ボックスを適用すると、その能力より劣る傾向にある。
本稿では,Arithmetic-Based Pretrainingと呼ばれる拡張事前学習手法を提案する。
本実験は,算数性の向上を必要とする3つのタスクにおいて,算術的事前学習の有効性を示す。
論文 参考訳(メタデータ) (2022-05-13T16:10:13Z) - Grad2Task: Improved Few-shot Text Classification Using Gradients for
Task Representation [24.488427641442694]
本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。
私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。
我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
論文 参考訳(メタデータ) (2022-01-27T15:29:30Z) - LFPT5: A Unified Framework for Lifelong Few-shot Language Learning Based
on Prompt Tuning of T5 [3.04585143845864]
本稿では,T5の即時チューニングに基づくLFLL(Lifelong Few-shot Language Learning)の統一フレームワークを提案する。
LFPT5と呼ばれる我々のフレームワークはPTの強力な数発学習能力を最大限に活用し、タスクソルバとデータジェネレータとしてモデルを同時に訓練する。
広範な実験により、LFPT5は様々な種類のタスクに適用でき、異なるLFLL設定で従来のメソッドよりも大幅に優れていたことが実証された。
論文 参考訳(メタデータ) (2021-10-14T12:06:29Z) - NT5?! Training T5 to Perform Numerical Reasoning [0.8827543048499855]
テキスト上の数値推論(NRoT)は、既存の事前学習目標ではうまく対処できないユニークな課題を提示します。
T5マルチタスクフレームワークを複数の数値推論データセットでトレーニングすることで、手動で分割機能を設計することなく、難易度を高めることができることを示した。
論文 参考訳(メタデータ) (2021-04-15T08:34:44Z) - mT5: A massively multilingual pre-trained text-to-text transformer [60.0210636815514]
The Text-to-Text Transfer Transformer (T5) は、統一されたテキスト・トゥ・テキストフォーマットとスケールを利用して、英語のNLPタスクで最先端の結果を得る。
101言語をカバーする新しいCommon Crawlベースのデータセットで事前トレーニングを行ったマルチ言語版T5であるmT5を紹介する。
論文 参考訳(メタデータ) (2020-10-22T17:58:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。