論文の概要: Evaluating Transformer Language Models on Arithmetic Operations Using Number Decomposition

• arxiv url: http://arxiv.org/abs/2304.10977v1
• Date: Fri, 21 Apr 2023 14:21:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-24 14:33:49.665359
• Title: Evaluating Transformer Language Models on Arithmetic Operations Using Number Decomposition
• Title（参考訳）: 数分解を用いた算術演算におけるトランスフォーマー言語モデルの評価
• Authors: Matteo Muffo, Aldo Cocco, Enrico Bertino
• Abstract要約: 算術演算を行うトランスフォーマー言語モデルの性能を評価する。 GPT-3と同じテストセット上で、加算、減算、乗算を行うタスクでそれらをテストする。 その結果,5桁加算作業の精度は63%向上した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, Large Language Models such as GPT-3 showed remarkable capabilities in performing NLP tasks in the zero and few shot settings. On the other hand, the experiments highlighted the difficulty of GPT-3 in carrying out tasks that require a certain degree of reasoning, such as arithmetic operations. In this paper we evaluate the ability of Transformer Language Models to perform arithmetic operations following a pipeline that, before performing computations, decomposes numbers in units, tens, and so on. We denote the models fine-tuned with this pipeline with the name Calculon and we test them in the task of performing additions, subtractions and multiplications on the same test sets of GPT-3. Results show an increase of accuracy of 63% in the five-digit addition task. Moreover, we demonstrate the importance of the decomposition pipeline introduced, since fine-tuning the same Language Model without decomposing numbers results in 0% accuracy in the five-digit addition task.
• Abstract（参考訳）: 近年、GPT-3のような大規模言語モデルでは、ゼロと少ないショット設定でNLPタスクを実行する際、顕著な機能を示した。 一方,実験では算術演算のようなある程度の推論を必要とするタスクの実行におけるgpt-3の難しさが強調された。 本稿では,トランスフォーマー言語モデルが演算処理を行う前に,単位数やテン数などの数値を分解するパイプラインに追従して算術演算を行う能力を評価する。 我々は、このパイプラインで微調整されたモデルをCalculonと表現し、GPT-3の同じテストセット上で加算、減算、乗算を行うタスクでそれらをテストする。 その結果,5桁加算作業では63%の精度向上が認められた。 さらに、数値を分解せずに同じ言語モデルを微調整することで、5桁加算タスクにおいて0%の精度が得られる分解パイプラインの重要性を示す。

関連論文リスト

• The Surprising Effectiveness of Test-Time Training for Abstract Reasoning [64.36534512742736]
  モデル推論能力向上のためのメカニズムとして,テストタイムトレーニング(TTT)の有効性を検討する。 TTTはARCタスクのパフォーマンスを大幅に改善し、ベースとなる微調整モデルと比較して最大6倍の精度向上を実現した。 本研究は,ニューラルネットワークモデルにおける抽象的推論改善の道筋として,明示的な記号探索が唯一の道ではないことを示唆している。
  論文  参考訳（メタデータ） (2024-11-11T18:59:45Z)
• How Numerical Precision Affects Mathematical Reasoning Capabilities of LLMs [69.55103380185612]
  本稿では,変圧器を用いた大規模言語モデルの数学的タスクにおける有効性に影響を与える重要な要因として,数値的精度を同定する。 その結果,数値精度の低いトランスフォーマーでは,繰り返し加算や整数乗算などの算術的なタスクに対処できないことがわかった。 対照的に、標準的な数値精度のトランスフォーマーは、モデルサイズを大幅に小さくすることで、これらのタスクを効率的に処理することができる。
  論文  参考訳（メタデータ） (2024-10-17T17:59:35Z)
• Dissecting Multiplication in Transformers: Insights into LLMs [23.109124772063574]
  本稿では,この領域における変圧器の不完全性を探索し,説明するために,典型的な算術的タスクである整数乗法に焦点を当てる。 n桁整数乗算を行うために訓練されたバニラ変圧器の包括的解析を行う。 乗算タスクにおける変換器の性能向上のための改良を提案する。
  論文  参考訳（メタデータ） (2024-07-22T04:07:26Z)
• Positional Description Matters for Transformers Arithmetic [58.4739272381373]
  トランスフォーマーは、大きな能力にもかかわらず、算術的なタスクに干渉することが多い。 位置エンコーディングを直接修正するか、あるいは算術タスクの表現を変更して、標準的な位置エンコーディングを異なる方法で活用することで、問題を解決する方法をいくつか提案する。
  論文  参考訳（メタデータ） (2023-11-22T00:31:01Z)
• GPT Can Solve Mathematical Problems Without a Calculator [24.114064917059565]
  大規模言語モデルでは,データ漏洩を伴わずに,ほぼ100%の精度で算術演算を正確に行うことができることを示す。 また、GLM-10Bから微調整した我々のMathGLMは、5000サンプルの中国の数学問題テストセットにおいて、GPT-4と同様の性能を発揮することを示した。
  論文  参考訳（メタデータ） (2023-09-06T06:18:16Z)
• Synthesis of Mathematical programs from Natural Language Specifications [0.0]
  様々なビジネス領域で遭遇する決定問題は、数学的なプログラム、すなわち最適化問題としてモデル化することができる。 このようなモデリングを行うプロセスは、しばしばオペレーション研究や高度なアルゴリズムで訓練された専門家の関与を必要とする。 本研究は,データ拡張とビーム後処理によるCodeT5の有効性を評価する。 これらの拡張により、CodeT5baseは実行精度0.73となり、ChatGPTでは0.41、Codexでは0.36より大幅に向上した。
  論文  参考訳（メタデータ） (2023-03-30T06:10:00Z)
• Editing Models with Task Arithmetic [69.97273155842966]
  事前訓練されたモデルの振る舞いを変えることは、機械学習システムの開発において一般的なプラクティスである。 タスクを微調整した後、同じモデルの重みから事前学習したモデルの重みを減らしてタスクベクトルを構築する。 これらのタスクベクトルは、否定や加算といった算術演算によって変更・結合可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-08T05:50:53Z)
• NumGPT: Improving Numeracy Ability of Generative Pre-trained Models [59.931394234642816]
  テキスト中の数値特性を明示的にモデル化する生成事前学習モデルであるNumGPTを提案する。 具体的には、プロトタイプベースの数値埋め込みを利用して、数値の行列をエンコードし、個々の埋め込みをエンコードし、数値の指数をエンコードする。 数値認識損失関数は、NumGPTの事前学習目的に数値を統合するように設計されている。
  論文  参考訳（メタデータ） (2021-09-07T15:06:12Z)
• Investigating the Limitations of the Transformers with Simple Arithmetic Tasks [10.23804850480924]
  その結果,表層形状における数値の表現方法がモデルの精度に強い影響を与えていることがわかった。 現代の事前学習型言語モデルは,ごく少数の例から容易に算術を学習できると結論付けている。
  論文  参考訳（メタデータ） (2021-02-25T17:22:53Z)
• Language Models are Few-Shot Learners [61.36677350504291]
  言語モデルのスケールアップにより、タスクに依存しない、少数ショットのパフォーマンスが大幅に向上することを示す。 我々は、1750億のパラメータを持つ自動回帰言語モデルであるGPT-3を訓練し、その性能を数ショットでテストする。 GPT-3は、翻訳、質問応答、クローズタスクを含む多くのNLPデータセットで高いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-05-28T17:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。