論文の概要: RevOrder: A Novel Method for Enhanced Arithmetic in Language Models
- arxiv url: http://arxiv.org/abs/2402.03822v2
- Date: Sat, 24 Feb 2024 01:11:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 18:40:42.931406
- Title: RevOrder: A Novel Method for Enhanced Arithmetic in Language Models
- Title(参考訳): RevOrder: 言語モデルにおける算術的強化のための新しい方法
- Authors: Si Shen, Peijun Shen, Danhao Zhu
- Abstract要約: RevOrder は出力の桁を 1-digit (nD by 1D) 乗算タスクの追加、減算、n-digit で反転させる。
本手法はCSID(Count of Sequential Intermediate Digits)を$mathcalO(1)$に大幅に削減する。
- 参考スコア(独自算出の注目度): 0.9043578619916238
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents RevOrder, a novel technique aimed at improving arithmetic
operations in large language models (LLMs) by reversing the output digits in
addition, subtraction, and n-digit by 1-digit (nD by 1D) multiplication tasks.
Our method significantly reduces the Count of Sequential Intermediate Digits
(CSID) to $\mathcal{O}(1)$, a new metric we introduce to assess equation
complexity. Through comprehensive testing, RevOrder not only achieves perfect
accuracy in basic arithmetic operations but also substantially boosts LLM
performance in division tasks, particularly with large numbers where
traditional models struggle. Implementation of RevOrder is cost-effective for
both training and inference phases. Moreover, applying RevOrder to fine-tune
the LLaMA2-7B model on the GSM8K math task results in a considerable
improvement, reducing equation calculation errors by 46% and increasing overall
scores from 41.6 to 44.4.
- Abstract(参考訳): 本稿では,大言語モデル(LLM)における算術演算の改善を目的とした新しい手法であるRevOrderを提案する。
本手法は,方程式の複雑性を評価するための新しい指標である$\mathcal{o}(1)$ に対して,シーケンシャル中間桁 (csid) のカウントを大幅に削減する。
総合的なテストを通じて、RevOrderは基本的な算術演算において完全な精度を達成するだけでなく、分割タスク、特に従来のモデルが苦戦する多数のタスクにおけるLLM性能を大幅に向上させる。
RevOrderの実装は、トレーニングと推論フェーズの両方に費用対効果がある。
さらに、GSM8Kの数学タスク上でLLaMA2-7Bモデルを微調整するためにRevOrderを適用すると、方程式計算誤差が46%減少し、総合スコアが41.6から44.4に増加した。
関連論文リスト
- Reverse That Number! Decoding Order Matters in Arithmetic Learning [49.5504492920404]
本研究は,最少の桁から出力を優先順位付けすることで,桁順を再評価する新たな戦略を導入する。
従来のSOTA法と比較すると,通常のトレーニングで使用するトークンの3分の1しか必要とせず,精度の全体的な改善が見られた。
論文 参考訳(メタデータ) (2024-03-09T09:04:53Z) - The Fine-Grained Complexity of Gradient Computation for Training Large
Language Models [12.853829771559916]
大規模言語モデル(LLM)は、ここ数年で基本的な貢献をしている。
本研究では,1層注目ネットワークの損失関数勾配の計算の難易度問題に対して,ほぼ同じ結果を示す。
論文 参考訳(メタデータ) (2024-02-07T00:45:31Z) - Exploring Equation as a Better Intermediate Meaning Representation for
Numerical Reasoning [53.2491163874712]
我々は数値推論の問題を解くために方程式をIMRとして利用する。
本稿では、方程式(ブリッジ)の生成を分解したブースティング数値推論法を提案する。
本手法では,GSM8K,SVAMP,Algebraデータセットの2.2%,0.9%,1.7%の性能向上を実現している。
論文 参考訳(メタデータ) (2023-08-21T09:35:33Z) - Evaluating and Improving Tool-Augmented Computation-Intensive Math
Reasoning [75.74103236299477]
CoT(Chain-of- Thought prompting)とツール拡張は、大きな言語モデルを改善するための効果的なプラクティスとして検証されている。
ツールインターフェース,すなわち textbfDELI を用いた推論ステップを考慮に入れた新しい手法を提案する。
CARPと他の6つのデータセットの実験結果から、提案されたDELIは、主に競合ベースラインを上回っていることが示された。
論文 参考訳(メタデータ) (2023-06-04T17:02:59Z) - Towards Constituting Mathematical Structures for Learning to Optimize [101.80359461134087]
近年,機械学習を利用してデータから最適化アルゴリズムを自動学習する技術が注目されている。
ジェネリックL2Oアプローチは反復更新ルールをパラメータ化し、ブラックボックスネットワークとして更新方向を学ぶ。
一般的なアプローチは広く適用できるが、学習されたモデルは過度に適合し、配布外テストセットにうまく一般化できない。
本稿では, 分布外問題に対して広く適用でき, 一般化された, 数学に着想を得た構造を持つ新しいL2Oモデルを提案する。
論文 参考訳(メタデータ) (2023-05-29T19:37:28Z) - Dynamic Stashing Quantization for Efficient Transformer Training [4.930533932212726]
大規模言語モデル(LLM)は、自然言語処理(NLP)タスクにおいて、印象的なパフォーマンスを示している。
LLMトレーニングに必要な膨大な計算量とメモリアクセスは、ハードウェアコストの点で極めて高価である。
本稿では,動的スタッシング量子化(DSQ)と呼ばれる新しい動的量子化戦略を提案する。
論文 参考訳(メタデータ) (2023-03-09T14:44:31Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳(メタデータ) (2022-10-02T05:03:38Z) - Learning Division with Neural Arithmetic Logic Modules [2.019622939313173]
2つの数字を分割する最も単純なレベルでも、体系的な方法で頑健に学習する分割が課題であることを示す。
我々はニューラル・リシパル・ユニット(NRU)とニューラル・マルチプリケーティブ・リシパル・ユニット(NMRU)と呼ばれる2つの新しい手法を提案する。
論文 参考訳(メタデータ) (2021-10-11T11:56:57Z) - Sublinear Least-Squares Value Iteration via Locality Sensitive Hashing [49.73889315176884]
本稿では、実行時の複雑さをアクション数にサブリニアに持つ最初の証明可能なLeast-Squares Value Iteration(LSVI)アルゴリズムを提示する。
我々は, 近似最大内積探索理論と強化学習の後悔分析との関係を構築する。
論文 参考訳(メタデータ) (2021-05-18T05:23:53Z) - Low-Complexity Set-Membership Normalized LMS Algorithm for Sparse System
Modeling [0.0]
本稿では, 未知のシステムの空間性を利用するために, 2つの低複雑さな集合メンバーシップ正規化最小二乗法 (LCSM-NLMS1 と LCSM-NLMS2) アルゴリズムを提案する。
数値計算の結果、これらのアルゴリズムを最先端の空間認識アルゴリズムと比較した場合に類似した性能を示す。
論文 参考訳(メタデータ) (2020-07-12T20:56:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。