論文の概要: Investigating Numeracy Learning Ability of a Text-to-Text Transfer Model

• arxiv url: http://arxiv.org/abs/2109.04672v1
• Date: Fri, 10 Sep 2021 05:33:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-13 22:41:09.443397
• Title: Investigating Numeracy Learning Ability of a Text-to-Text Transfer Model
• Title（参考訳）: テキスト・テキスト・トランスファーモデルにおける数理学習能力の検討
• Authors: Kuntal Kumar Pal and Chitta Baral
• Abstract要約: 本稿では,テキストからテキストへの移動学習モデル(T5)の数値学習能力について検討する。 数値化、等級予測、列内の最小値と最大値の探索、ソートという4つの数値処理について検討する。 T5モデルは適度に性能が良いが、4つのタスクすべてにわたる外挿設定ではかなり苦労している。
• 参考スコア（独自算出の注目度）: 18.922352061424302
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The transformer-based pre-trained language models have been tremendously successful in most of the conventional NLP tasks. But they often struggle in those tasks where numerical understanding is required. Some possible reasons can be the tokenizers and pre-training objectives which are not specifically designed to learn and preserve numeracy. Here we investigate the ability of text-to-text transfer learning model (T5), which has outperformed its predecessors in the conventional NLP tasks, to learn numeracy. We consider four numeracy tasks: numeration, magnitude order prediction, finding minimum and maximum in a series, and sorting. We find that, although T5 models perform reasonably well in the interpolation setting, they struggle considerably in the extrapolation setting across all four tasks.
• Abstract（参考訳）: トランスフォーマーをベースとした事前学習言語モデルは、従来のNLPタスクの多くで非常に成功した。 しかし、数値理解が必要なタスクでは、しばしば苦労する。 いくつか考えられる理由は、数字の学習と保存を特別に意図していないトークン化と事前学習の目的である。 本稿では,従来のnlpタスクに先行するテキストからテキストへの転送学習モデル(t5)の学習能力について検討する。 我々は,数量化,マグニチュードオーダー予測,シリーズ内の最小値と最大値の探索,ソートという4つの数値化タスクを検討する。 T5モデルは補間環境では合理的に良好に機能するが、4つのタスクすべてにわたる補間環境ではかなり苦労している。

関連論文リスト

• Number Cookbook: Number Understanding of Language Models and How to Improve It [63.9542740221096]
  大規模言語モデル(LLM)は、基本的な数値的な理解と処理において予期せぬ誤りを犯しながら、複雑な推論タスクの増大を解決することができる。 本稿では,LLMの数値理解と処理能力(NUPA)について包括的に検討する。
  論文  参考訳（メタデータ） (2024-11-06T08:59:44Z)
• Limits of Transformer Language Models on Learning to Compose Algorithms [77.2443883991608]
  我々は,LLaMAモデルのトレーニングと,複数の個別サブタスクの合成学習を必要とする4つのタスクにおけるGPT-4とGeminiの促進について検討した。 その結果,現在最先端のTransformer言語モデルにおける構成学習は,非常に非効率なサンプルであることが示唆された。
  論文  参考訳（メタデータ） (2024-02-08T16:23:29Z)
• Improving Cross-task Generalization of Unified Table-to-text Models with Compositional Task Configurations [63.04466647849211]
  メソッドは通常、タスク情報をエンコーダのプレフィックスとして単純なデータセット名でエンコードする。 本稿では,エンコーダがタスク間の一般化を改善するためのプロンプトセットであるコンポジションタスク構成を提案する。 これは、モデルがトレーニング中に異なるタスク間で共有知識をより良く学習できるだけでなく、新しい構成を構築することでモデルを制御できることを示している。
  論文  参考訳（メタデータ） (2022-12-17T02:20:14Z)
• Effective Cross-Task Transfer Learning for Explainable Natural Language Inference with T5 [50.574918785575655]
  2つのタスクのパフォーマンス向上という文脈において、逐次微調整とマルチタスク学習のモデルを比較した。 この結果から,2つのタスクのうち,第1のタスクにおいて逐次マルチタスク学習は良好に調整できるが,第2のタスクでは性能が低下し,過度な適合に苦しむことが明らかとなった。
  論文  参考訳（メタデータ） (2022-10-31T13:26:08Z)
• Plex: Towards Reliability using Pretrained Large Model Extensions [69.13326436826227]
  我々は,視覚と言語モダリティのための事前訓練された大規模モデル拡張であるViT-PlexとT5-Plexを開発した。 Plexは信頼性タスク間の最先端性を大幅に改善し、従来のプロトコルを単純化する。 最大1Bパラメータまでのモデルサイズに対するスケーリング効果と,最大4B例までのデータセットサイズを事前トレーニングした。
  論文  参考訳（メタデータ） (2022-07-15T11:39:37Z)
• Arithmetic-Based Pretraining -- Improving Numeracy of Pretrained Language Models [67.48894919842576]
  最先端の事前訓練された言語モデルは、数式を必要とするタスクにアウト・オブ・ボックスを適用すると、その能力より劣る傾向にある。 本稿では,Arithmetic-Based Pretrainingと呼ばれる拡張事前学習手法を提案する。 本実験は,算数性の向上を必要とする3つのタスクにおいて,算術的事前学習の有効性を示す。
  論文  参考訳（メタデータ） (2022-05-13T16:10:13Z)
• Grad2Task: Improved Few-shot Text Classification Using Gradients for Task Representation [24.488427641442694]
  本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。 私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。 我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
  論文  参考訳（メタデータ） (2022-01-27T15:29:30Z)
• LFPT5: A Unified Framework for Lifelong Few-shot Language Learning Based on Prompt Tuning of T5 [3.04585143845864]
  本稿では,T5の即時チューニングに基づくLFLL(Lifelong Few-shot Language Learning)の統一フレームワークを提案する。 LFPT5と呼ばれる我々のフレームワークはPTの強力な数発学習能力を最大限に活用し、タスクソルバとデータジェネレータとしてモデルを同時に訓練する。 広範な実験により、LFPT5は様々な種類のタスクに適用でき、異なるLFLL設定で従来のメソッドよりも大幅に優れていたことが実証された。
  論文  参考訳（メタデータ） (2021-10-14T12:06:29Z)
• NT5?! Training T5 to Perform Numerical Reasoning [0.8827543048499855]
  テキスト上の数値推論(NRoT)は、既存の事前学習目標ではうまく対処できないユニークな課題を提示します。 T5マルチタスクフレームワークを複数の数値推論データセットでトレーニングすることで、手動で分割機能を設計することなく、難易度を高めることができることを示した。
  論文  参考訳（メタデータ） (2021-04-15T08:34:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。