論文の概要: NumGPT: Improving Numeracy Ability of Generative Pre-trained Models

• arxiv url: http://arxiv.org/abs/2109.03137v1
• Date: Tue, 7 Sep 2021 15:06:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-08 14:50:24.836477
• Title: NumGPT: Improving Numeracy Ability of Generative Pre-trained Models
• Title（参考訳）: NumGPT: 生成事前学習モデルの栄養能力向上
• Authors: Zhihua Jin, Xin Jiang, Xingbo Wang, Qun Liu, Yong Wang, Xiaozhe Ren, Huamin Qu
• Abstract要約: テキスト中の数値特性を明示的にモデル化する生成事前学習モデルであるNumGPTを提案する。 具体的には、プロトタイプベースの数値埋め込みを利用して、数値の行列をエンコードし、個々の埋め込みをエンコードし、数値の指数をエンコードする。 数値認識損失関数は、NumGPTの事前学習目的に数値を統合するように設計されている。
• 参考スコア（独自算出の注目度）: 59.931394234642816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing generative pre-trained language models (e.g., GPT) focus on modeling the language structure and semantics of general texts. However, those models do not consider the numerical properties of numbers and cannot perform robustly on numerical reasoning tasks (e.g., math word problems and measurement estimation). In this paper, we propose NumGPT, a generative pre-trained model that explicitly models the numerical properties of numbers in texts. Specifically, it leverages a prototype-based numeral embedding to encode the mantissa of the number and an individual embedding to encode the exponent of the number. A numeral-aware loss function is designed to integrate numerals into the pre-training objective of NumGPT. We conduct extensive experiments on four different datasets to evaluate the numeracy ability of NumGPT. The experiment results show that NumGPT outperforms baseline models (e.g., GPT and GPT with DICE) on a range of numerical reasoning tasks such as measurement estimation, number comparison, math word problems, and magnitude classification. Ablation studies are also conducted to evaluate the impact of pre-training and model hyperparameters on the performance.
• Abstract（参考訳）: 既存の生成事前学習言語モデル(GPTなど)は、一般的なテキストの言語構造と意味論のモデリングに重点を置いている。 しかし、これらのモデルは数の数値的性質を考慮せず、数値推論タスク(例えば、数学用語の問題や測定推定など)で頑健に実行できない。 本稿では,テキスト中の数値特性を明示的にモデル化する生成事前学習モデルであるNumGPTを提案する。 具体的には、プロトタイプベースの数字埋め込みを利用して、数字のマンティッサをエンコードし、数字の指数をエンコードする。 numgpt の事前学習目標に numeral-aware loss function を組み込むように設計されている。 我々は,NumGPTの数値化能力を評価するために,4つの異なるデータセットについて広範な実験を行った。 実験の結果,NumGPTは,測度推定,数の比較,数語問題,等級分類などの数値推論タスクにおいて,ベースラインモデル(例えば,GPTやGPT with DICE)よりも優れていた。 予備訓練とモデルハイパーパラメータが性能に与える影響を評価するためのアブレーション研究も行われている。

関連論文リスト

• NumeroLogic: Number Encoding for Enhanced LLMs' Numerical Reasoning [27.584258258635945]
  言語モデルは数値データを扱い、算術演算を行うのに苦労する。 本稿では,各数字の前に数字の個数を含めることで,数がどのように表現されるかを簡単に調整する。 モデルにまず数字の数を考慮させることで、実際の数字を生成する前に推論プロセスを強化する。
  論文  参考訳（メタデータ） (2024-03-30T19:46:59Z)
• Exploring the Numerical Reasoning Capabilities of Language Models: A Comprehensive Analysis on Tabular Data [10.124148115680315]
  本研究では,4つのレベルに10種類以上の推論型を持つ数値推論スキルのための階層型分類法を提案する。 我々は、それらに特有の推論課題を特定するために、最先端モデルの包括的評価を行う。 以上の結果から,すべての数値推論型に対してモデルが常に排他的でないことが示唆された。
  論文  参考訳（メタデータ） (2023-11-03T20:05:30Z)
• NumHG: A Dataset for Number-Focused Headline Generation [28.57003500212883]
  見出し生成(英: Headline generation)は、抽象的な要約において重要なタスクであり、全長の記事を簡潔で単行のテキストに凝縮しようと試みている。 我々はNumHGという新しいデータセットを導入し、27,000以上の注釈付き数字に富んだニュース記事を詳細な調査のために提供している。 我々は,従来の見出し生成タスクから,数値的精度,妥当性,可読性の観点から,人間の評価を用いて5つの優れたモデルを評価する。
  論文  参考訳（メタデータ） (2023-09-04T09:03:53Z)
• FERMAT: An Alternative to Accuracy for Numerical Reasoning [11.893004722079557]
  数値推論は、既存のデータセットの単一スコアを用いて測定される。 我々は、FERMATと呼ばれる、英語の数値推論のための多視点評価セットを導入する。 FerMATは、数理解、数学的操作、訓練依存など、様々な重要な数値推論の側面でモデルを評価する。
  論文  参考訳（メタデータ） (2023-05-27T15:00:45Z)
• A Causal Framework to Quantify the Robustness of Mathematical Reasoning with Language Models [81.15974174627785]
  入力空間における直接的介入に対する頑健さと感度の観点から言語モデルの振舞いについて検討する。 しかし, GPT-3 Davinciモデル(175B)は, 他のGPTモデルと比較して, 頑健さと感度の両面で劇的な改善を実現している。
  論文  参考訳（メタデータ） (2022-10-21T15:12:37Z)
• Arithmetic-Based Pretraining -- Improving Numeracy of Pretrained Language Models [67.48894919842576]
  最先端の事前訓練された言語モデルは、数式を必要とするタスクにアウト・オブ・ボックスを適用すると、その能力より劣る傾向にある。 本稿では,Arithmetic-Based Pretrainingと呼ばれる拡張事前学習手法を提案する。 本実験は,算数性の向上を必要とする3つのタスクにおいて,算術的事前学習の有効性を示す。
  論文  参考訳（メタデータ） (2022-05-13T16:10:13Z)
• Impact of Pretraining Term Frequencies on Few-Shot Reasoning [51.990349528930125]
  事前学習された言語モデルが、事前学習データにおいてあまり頻度の低い用語でどの程度理にかなっているかを検討する。 我々は,様々な数値推論タスクにおいて,GPTに基づく言語モデルに対して,この相関関係の強さを計測する。 LMは数秒の数値推論タスクにおいて高い性能を示すが,本研究の結果は,事前学習データを超えるモデルが実際にどれだけ一般化されるのかという疑問を提起する。
  論文  参考訳（メタデータ） (2022-02-15T05:43:54Z)
• Numerical reasoning in machine reading comprehension tasks: are we there yet? [79.07883990966077]
  数値推論に基づく機械読解は、加算、減算、ソート、数え上げなどの算術演算を併用して、理解を読み取るタスクである。 DROPベンチマークは、この課題を解決することを目的としたNLPモデルの設計にインスピレーションを与えた最近のデータセットである。 DROPリーダーボードにおけるこれらのモデルの現在の立場は、標準メトリクスよりも、モデルがほぼ人間に近いパフォーマンスを達成したことを示唆している。
  論文  参考訳（メタデータ） (2021-09-16T20:13:56Z)
• Investigating the Limitations of the Transformers with Simple Arithmetic Tasks [10.23804850480924]
  その結果,表層形状における数値の表現方法がモデルの精度に強い影響を与えていることがわかった。 現代の事前学習型言語モデルは,ごく少数の例から容易に算術を学習できると結論付けている。
  論文  参考訳（メタデータ） (2021-02-25T17:22:53Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。