論文の概要: IGC: Integrating a Gated Calculator into an LLM to Solve Arithmetic Tasks Reliably and Efficiently

• arxiv url: http://arxiv.org/abs/2501.00684v1
• Date: Wed, 01 Jan 2025 00:01:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:16:34.035215
• Title: IGC: Integrating a Gated Calculator into an LLM to Solve Arithmetic Tasks Reliably and Efficiently
• Title（参考訳）: IGC: 算数演算をLCMに統合して算術的タスクを信頼性・効率よく解決する
• Authors: Florian Dietz, Dietrich Klakow,
• Abstract要約: Integrated Gated Calculator (IGC)は,GPU上で計算器をエミュレートすることで,大規模言語モデルが演算を行うことを可能にするモジュールである。 モジュールでLlamaモデルを微調整し、BigBench Arithmeticベンチマークでテストします。 当社のアプローチでは,実行に1回のイテレーションしか必要とせず,外部ツールも必要ありません。
• 参考スコア（独自算出の注目度）: 17.525220958618988
• License:
• Abstract: Solving arithmetic tasks is a simple and fundamental skill, yet modern Large Language Models (LLMs) have great difficulty with them. We introduce the Integrated Gated Calculator (IGC), a module that enables LLMs to perform arithmetic by emulating a calculator on the GPU. We finetune a Llama model with our module and test it on the BigBench Arithmetic benchmark, where it beats the State of the Art, outperforming all models on the benchmark, including models almost two orders of magnitude larger. Our approach takes only a single iteration to run and requires no external tools. It performs arithmetic operations entirely inside the LLM without the need to produce intermediate tokens. It is computationally efficient, interpretable, and avoids side-effects on tasks that do not require arithmetic operations. It reliably achieves 98\% to 99\% accuracy across multiple training runs and for all subtasks, including the substantially harder subtask of multiplication, which was previously unsolved.
• Abstract（参考訳）: 算術的タスクの解決は単純で基本的なスキルであるが、現代のLarge Language Models (LLM) はそれらを非常に困難にしている。 我々は,GPU上で計算器をエミュレートすることで,LLMが演算を行うことを可能にするモジュールであるIGC(Integrated Gated Calculator)を紹介する。 私たちはLlamaモデルをモジュールで微調整し、BigBench Arithmeticベンチマークでそれをテストします。 当社のアプローチでは,実行に1回のイテレーションしか必要とせず,外部ツールも必要ありません。 中間トークンを生成することなく、LSM内で算術演算を実行する。 計算効率が高く、解釈可能であり、算術演算を必要としないタスクに対する副作用を避ける。 複数のトレーニングランと、以前は未解決だった乗算のかなり難しいサブタスクを含む、すべてのサブタスクに対して、確実に98\%から99\%の精度を達成する。

関連論文リスト

• Skipping Computations in Multimodal LLMs [63.29737699997859]
  本研究では,マルチモーダル大言語モデル(MLLM)における推論時の冗長性について検討する。 ブロック全体,FFN,自己保持層をスキップするなど,計算をスキップするさまざまな手法を提案する。 本研究は,推定時に大量の計算を回避できることを実証した。
  論文  参考訳（メタデータ） (2024-10-12T09:21:45Z)
• Executing Arithmetic: Fine-Tuning Large Language Models as Turing Machines [7.695524275630717]
  大規模言語モデル(LLM)は、広範囲の自然言語処理と推論タスクで顕著な機能を示している。 チューリングマシンをエミュレートすることで,LCMがステップバイステップの計算を実行することを学べる構成可能な算術演算フレームワーク(CAEF)を提案する。 評価では, LLaMA 3.1-8B モデル上での7つの一般的な数学的操作に対して, CAEF は100%近い精度を達成している。
  論文  参考訳（メタデータ） (2024-10-10T13:23:49Z)
• Interpreting and Improving Large Language Models in Arithmetic Calculation [72.19753146621429]
  大規模言語モデル(LLM)は、多くのアプリケーションにまたがる顕著な可能性を示している。 本研究では,LLMが計算を行う特定のメカニズムを明らかにする。 LLMの計算性能を高めるために、これらの必須ヘッド/MLPを選択的に微調整する潜在的な利点について検討する。
  論文  参考訳（メタデータ） (2024-09-03T07:01:46Z)
• MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic [6.46176287368784]
  textbfGPTスケールモデルをマージするための textbfModel textbfExclusive textbfTask textbfArithmetic を提案する。 提案するMetaGPTは,データに依存しず,検索処理を回避し,低コストで実装が容易なメタGPTである。
  論文  参考訳（メタデータ） (2024-06-17T10:12:45Z)
• OccamLLM: Fast and Exact Language Model Arithmetic in a Single Step [7.7168728919692855]
  本稿では,1つの自己回帰的なステップで正確な算術を可能にするフレームワークを提案する。 我々は LLM の隠蔽状態を用いて演算を行う記号的アーキテクチャを制御する。 シンボルモデル(OccamLlama)としてOccamNetを用いたLlama 3の実装は,1つの算術演算において100%の精度を実現する。
  論文  参考訳（メタデータ） (2024-06-04T04:17:40Z)
• Enabling High-Sparsity Foundational Llama Models with Efficient Pretraining and Deployment [56.44025052765861]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、そのサイズは計算のボトルネックを生み出している。 そこで本研究では,高性能LLMの高精度かつ疎結合な基本バージョンを作成するための新しいアプローチを提案する。 スパース量子化LLaMAの最大8.6倍のCPU上での総高速化を示す。
  論文  参考訳（メタデータ） (2024-05-06T16:03:32Z)
• Self-Selected Attention Span for Accelerating Large Language Model Inference [10.305434265471938]
  大規模言語モデル(LLM)は困難なタスクを解くことができる。 LLMの推論計算は、新しいトークンを生成する際に出席しなければならないトークンの数が増えるため、非常に非効率である。 LLMの問題解決能力を利用して、推論時間の効率を最適化する。
  論文  参考訳（メタデータ） (2024-04-14T19:36:04Z)
• Reverse That Number! Decoding Order Matters in Arithmetic Learning [49.5504492920404]
  本研究は,最少の桁から出力を優先順位付けすることで,桁順を再評価する新たな戦略を導入する。 従来のSOTA法と比較すると,通常のトレーニングで使用するトークンの3分の1しか必要とせず,精度の全体的な改善が見られた。
  論文  参考訳（メタデータ） (2024-03-09T09:04:53Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)
• MathPrompter: Mathematical Reasoning using Large Language Models [7.953723258038284]
  大規模言語モデル (LLM) は算術的推論タスクを解く際の性能に制限がある。 MathPrompterはZero-shot-of- Thoughtプロンプト技術を使って複数の代数式やPython関数を生成し、異なる方法で同じ数学問題を解く。
  論文  参考訳（メタデータ） (2023-03-04T04:43:49Z)
• PAL: Program-aided Language Models [112.94785609781503]
  自然言語問題を理解するために,プログラム支援言語モデル(PaL)を提案する。 PaLはソリューションステップをPythonインタプリタのようなプログラムランタイムにオフロードする。 私たちは12のベンチマークで新しい最先端の結果を設定しました。
  論文  参考訳（メタデータ） (2022-11-18T18:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。