論文の概要: RevOrder: A Novel Method for Enhanced Arithmetic in Language Models

• arxiv url: http://arxiv.org/abs/2402.03822v2
• Date: Sat, 24 Feb 2024 01:11:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 18:40:42.931406
• Title: RevOrder: A Novel Method for Enhanced Arithmetic in Language Models
• Title（参考訳）: RevOrder: 言語モデルにおける算術的強化のための新しい方法
• Authors: Si Shen, Peijun Shen, Danhao Zhu
• Abstract要約: RevOrder は出力の桁を 1-digit (nD by 1D) 乗算タスクの追加、減算、n-digit で反転させる。 本手法はCSID(Count of Sequential Intermediate Digits)を$mathcalO(1)$に大幅に削減する。
• 参考スコア（独自算出の注目度）: 0.9043578619916238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents RevOrder, a novel technique aimed at improving arithmetic operations in large language models (LLMs) by reversing the output digits in addition, subtraction, and n-digit by 1-digit (nD by 1D) multiplication tasks. Our method significantly reduces the Count of Sequential Intermediate Digits (CSID) to $\mathcal{O}(1)$, a new metric we introduce to assess equation complexity. Through comprehensive testing, RevOrder not only achieves perfect accuracy in basic arithmetic operations but also substantially boosts LLM performance in division tasks, particularly with large numbers where traditional models struggle. Implementation of RevOrder is cost-effective for both training and inference phases. Moreover, applying RevOrder to fine-tune the LLaMA2-7B model on the GSM8K math task results in a considerable improvement, reducing equation calculation errors by 46% and increasing overall scores from 41.6 to 44.4.
• Abstract（参考訳）: 本稿では,大言語モデル(LLM)における算術演算の改善を目的とした新しい手法であるRevOrderを提案する。 本手法は,方程式の複雑性を評価するための新しい指標である$\mathcal{o}(1)$ に対して,シーケンシャル中間桁 (csid) のカウントを大幅に削減する。 総合的なテストを通じて、RevOrderは基本的な算術演算において完全な精度を達成するだけでなく、分割タスク、特に従来のモデルが苦戦する多数のタスクにおけるLLM性能を大幅に向上させる。 RevOrderの実装は、トレーニングと推論フェーズの両方に費用対効果がある。 さらに、GSM8Kの数学タスク上でLLaMA2-7Bモデルを微調整するためにRevOrderを適用すると、方程式計算誤差が46%減少し、総合スコアが41.6から44.4に増加した。

関連論文リスト

• An Early FIRST Reproduction and Improvements to Single-Token Decoding for Fast Listwise Reranking [50.81324768683995]
  FIRSTは、学習からランクへの目的を統合し、最初の生成されたトークンのみのロジットを活用する新しいアプローチである。 我々は、FIRSTの評価をTRECディープラーニングデータセット(DL19-22)に拡張し、様々な領域でその堅牢性を検証する。 我々の実験は、単一トークンの高速リランクは、ドメイン外リランクの品質を損なうものではないことを確認した。
  論文  参考訳（メタデータ） (2024-11-08T12:08:17Z)
• Enhancing Mathematical Reasoning in LLMs by Stepwise Correction [39.67266805233599]
  Best-of-N復号法は、大規模言語モデル(LLM)に複数の解を生成するように指示し、それぞれがスコアリング関数を使用してスコアし、数学的な推論問題に対する最終解として最も高いスコアを選択する。 本稿では,LLMが生成した推論経路の誤りステップを特定し,修正するのに役立つ,ステップワイズ補正(StepCo)という新しいプロンプト手法を提案する。 バリデーション・then-reviseプロセスは、回答の正しさを向上するだけでなく、生成に必要なパスを減らしてトークン消費を減らす。
  論文  参考訳（メタデータ） (2024-10-16T18:18:42Z)
• BEATS: Optimizing LLM Mathematical Capabilities with BackVerify and Adaptive Disambiguate based Efficient Tree Search [22.672130194493793]
  大規模言語モデル(LLM)は、幅広いタスクやドメインで例外的なパフォーマンスを示している。 彼らは数学の厳密で論理的な性質のため、数学の問題を解くのに依然として困難に直面している。 本稿では,数学的問題解決能力を高めるための新しい手法BEATSを提案する。
  論文  参考訳（メタデータ） (2024-09-26T15:47:42Z)
• Improve Mathematical Reasoning in Language Models by Automated Process Supervision [22.72856086318912]
  高品質プロセス監視データの効率的な収集のために,textitOmegaPRM という新しいモンテカルロ木探索アルゴリズムを提案する。 プロセスリワードモデル(PRM)をトレーニングするために、150万以上のプロセス監視アノテーションを収集することができます。 我々は,Gemini Proモデルの数学推論性能を改良し,MATHベンチマークで69.4%の成功率を達成した。
  論文  参考訳（メタデータ） (2024-06-05T19:25:40Z)
• Reverse That Number! Decoding Order Matters in Arithmetic Learning [49.5504492920404]
  本研究は,最少の桁から出力を優先順位付けすることで,桁順を再評価する新たな戦略を導入する。 従来のSOTA法と比較すると,通常のトレーニングで使用するトークンの3分の1しか必要とせず,精度の全体的な改善が見られた。
  論文  参考訳（メタデータ） (2024-03-09T09:04:53Z)
• Exploring Equation as a Better Intermediate Meaning Representation for Numerical Reasoning [53.2491163874712]
  我々は数値推論の問題を解くために方程式をIMRとして利用する。 本稿では、方程式(ブリッジ)の生成を分解したブースティング数値推論法を提案する。 本手法では,GSM8K,SVAMP,Algebraデータセットの2.2%,0.9%,1.7%の性能向上を実現している。
  論文  参考訳（メタデータ） (2023-08-21T09:35:33Z)
• Evaluating and Improving Tool-Augmented Computation-Intensive Math Reasoning [75.74103236299477]
  CoT(Chain-of- Thought prompting)とツール拡張は、大きな言語モデルを改善するための効果的なプラクティスとして検証されている。 ツールインターフェース,すなわち textbfDELI を用いた推論ステップを考慮に入れた新しい手法を提案する。 CARPと他の6つのデータセットの実験結果から、提案されたDELIは、主に競合ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2023-06-04T17:02:59Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Learning Division with Neural Arithmetic Logic Modules [2.019622939313173]
  2つの数字を分割する最も単純なレベルでも、体系的な方法で頑健に学習する分割が課題であることを示す。 我々はニューラル・リシパル・ユニット(NRU)とニューラル・マルチプリケーティブ・リシパル・ユニット(NMRU)と呼ばれる2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-10-11T11:56:57Z)
• Sublinear Least-Squares Value Iteration via Locality Sensitive Hashing [49.73889315176884]
  本稿では、実行時の複雑さをアクション数にサブリニアに持つ最初の証明可能なLeast-Squares Value Iteration(LSVI)アルゴリズムを提示する。 我々は, 近似最大内積探索理論と強化学習の後悔分析との関係を構築する。
  論文  参考訳（メタデータ） (2021-05-18T05:23:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。