論文の概要: Solving the multiplication problem of a large language model system
using a graph-based method
- arxiv url: http://arxiv.org/abs/2310.13016v1
- Date: Wed, 18 Oct 2023 08:02:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 02:16:01.788391
- Title: Solving the multiplication problem of a large language model system
using a graph-based method
- Title（参考訳）: グラフに基づく大規模言語モデルシステムの乗算問題の解法
- Authors: Turker Tuncer and Sengul Dogan and Mehmet Baygin and Prabal Datta
Barua and Abdul Hafeez-Baig and Ru-San Tan and Subrata Chakraborty and U.
Rajendra Acharya
- Abstract要約: ChatGPTには優れた自然言語処理能力があるが、算術問題を解くには不十分である。
我々は,人間のような数値演算をエミュレートするグラフベースの乗算アルゴリズムを開発した。
提案アルゴリズムは,1000,000個の乗算タスクに対して100%精度が得られた。
- 参考スコア（独自算出の注目度）: 20.43440908151311
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The generative pre-trained transformer (GPT)-based chatbot software ChatGPT
possesses excellent natural language processing capabilities but is inadequate
for solving arithmetic problems, especially multiplication. Its GPT structure
uses a computational graph for multiplication, which has limited accuracy
beyond simple multiplication operations. We developed a graph-based
multiplication algorithm that emulated human-like numerical operations by
incorporating a 10k operator, where k represents the maximum power to base 10
of the larger of two input numbers. Our proposed algorithm attained 100%
accuracy for 1,000,000 large number multiplication tasks, effectively solving
the multiplication challenge of GPT-based and other large language models. Our
work highlights the importance of blending simple human insights into the
design of artificial intelligence algorithms. Keywords: Graph-based
multiplication; ChatGPT; Multiplication problem
- Abstract（参考訳）: 生成事前学習型トランスフォーマー(GPT)ベースのチャットボットソフトウェアChatGPTは、優れた自然言語処理能力を持っているが、算術問題、特に乗算の解決には不十分である。
gpt構造は、単純な乗算演算以上の精度に制限のある乗算に計算グラフを用いる。
本研究では,2つの入力数のうち,kがベース10の最大パワーを表す10k演算子を組み込んで,人間のような数値演算をエミュレートするグラフベース乗算アルゴリズムを開発した。
提案手法は,100万の乗算タスクに対して100%精度を実現し,gptおよび他の大規模言語モデルの乗算課題を効果的に解決した。
我々の研究は、人工知能アルゴリズムの設計に単純な人間の洞察を混ぜることの重要性を強調している。
キーワード:グラフベースの乗算、ChatGPT、乗算問題
関連論文リスト
- Executing Arithmetic: Fine-Tuning Large Language Models as Turing Machines [7.695524275630717]
大規模言語モデル(LLM)は、広範囲の自然言語処理と推論タスクで顕著な機能を示している。
チューリングマシンをエミュレートすることで,LCMがステップバイステップの計算を実行することを学べる構成可能な算術演算フレームワーク(CAEF)を提案する。
評価では, LLaMA 3.1-8B モデル上での7つの一般的な数学的操作に対して, CAEF は100%近い精度を達成している。
論文 参考訳（メタデータ） (2024-10-10T13:23:49Z) - Offline Imitation Learning Through Graph Search and Retrieval [57.57306578140857]
模倣学習は、ロボットが操作スキルを取得するための強力な機械学習アルゴリズムである。
本稿では,グラフ検索と検索により,最適下実験から学習する,シンプルで効果的なアルゴリズムGSRを提案する。
GSRは、ベースラインに比べて10%から30%高い成功率、30%以上の熟練を達成できる。
論文 参考訳（メタデータ） (2024-07-22T06:12:21Z) - Dissecting Multiplication in Transformers: Insights into LLMs [23.109124772063574]
本稿では,この領域における変圧器の不完全性を探索し,説明するために,典型的な算術的タスクである整数乗法に焦点を当てる。
n桁整数乗算を行うために訓練されたバニラ変圧器の包括的解析を行う。
乗算タスクにおける変換器の性能向上のための改良を提案する。
論文 参考訳（メタデータ） (2024-07-22T04:07:26Z) - MathScale: Scaling Instruction Tuning for Mathematical Reasoning [70.89605383298331]
大規模言語モデル(LLM)は問題解決において顕著な能力を示した。
しかし、数学的な問題を解く能力は依然として不十分である。
高品質な数学的推論データを作成するためのシンプルでスケーラブルな方法であるMathScaleを提案する。
論文 参考訳（メタデータ） (2024-03-05T11:42:59Z) - Positional Description Matters for Transformers Arithmetic [58.4739272381373]
トランスフォーマーは、大きな能力にもかかわらず、算術的なタスクに干渉することが多い。
位置エンコーディングを直接修正するか、あるいは算術タスクの表現を変更して、標準的な位置エンコーディングを異なる方法で活用することで、問題を解決する方法をいくつか提案する。
論文 参考訳（メタデータ） (2023-11-22T00:31:01Z) - GPT Can Solve Mathematical Problems Without a Calculator [24.114064917059565]
大規模言語モデルでは,データ漏洩を伴わずに,ほぼ100%の精度で算術演算を正確に行うことができることを示す。
また、GLM-10Bから微調整した我々のMathGLMは、5000サンプルの中国の数学問題テストセットにおいて、GPT-4と同様の性能を発揮することを示した。
論文 参考訳（メタデータ） (2023-09-06T06:18:16Z) - WizardMath: Empowering Mathematical Reasoning for Large Language Models
via Reinforced Evol-Instruct [128.89645483139236]
本稿では,Llama-2の数学的推論能力を向上するWizardMathを提案する。
GSM8kではChatGPT-3.5, Claude Instant-1, PaLM-2, Minervaを上回り, 同時にMATHでは Text-davinci, PaLM-1, GPT-3 を上回ります。
論文 参考訳（メタデータ） (2023-08-18T14:23:21Z) - ChatGPT for Programming Numerical Methods [2.741266294612776]
ChatGPTは、OpenAI社によって最近リリースされた大きな言語モデルである。
計算アルゴリズムのプログラミングにおけるChatGPTの能力を初めて探求する。
論文 参考訳（メタデータ） (2023-03-21T12:18:17Z) - Transformers discover an elementary calculation system exploiting local
attention and grid-like problem representation [0.424243593213882]
局所的な注意と適応的な停止機構を備えたユニバーサルトランスフォーマーは、外部のグリッドライクなメモリを利用してマルチ桁加算を行うことができることを示す。
提案モデルでは, トレーニング分布外の補間を必要とする問題に対して, 実験を行った場合においても, 顕著な精度が得られた。
論文 参考訳（メタデータ） (2022-07-06T09:29:56Z) - Recognizing and Verifying Mathematical Equations using Multiplicative
Differential Neural Units [86.9207811656179]
メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。
本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
論文 参考訳（メタデータ） (2021-04-07T03:50:11Z) - Strong Generalization and Efficiency in Neural Programs [69.18742158883869]
本稿では,ニューラルプログラム誘導の枠組みを強く一般化する効率的なアルゴリズムを学習する問題について検討する。
ニューラルネットワークの入力/出力インターフェースを慎重に設計し、模倣することで、任意の入力サイズに対して正しい結果を生成するモデルを学ぶことができる。
論文 参考訳（メタデータ） (2020-07-07T17:03:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。