論文の概要: Language Models Do Hard Arithmetic Tasks Easily and Hardly Do Easy Arithmetic Tasks

• arxiv url: http://arxiv.org/abs/2406.02356v1
• Date: Tue, 4 Jun 2024 14:34:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 15:50:54.780938
• Title: Language Models Do Hard Arithmetic Tasks Easily and Hardly Do Easy Arithmetic Tasks
• Title（参考訳）: 言語モデルは難解な算術的タスクを容易かつ難解に行う
• Authors: Andrew Gambardella, Yusuke Iwasawa, Yutaka Matsuo,
• Abstract要約: 大規模言語モデル(LLM)はm桁乗算タスクによってn桁の最初の桁を正確かつ確実に予測することができる。 実際には LLM は m-digit 乗算によって n-digit の最後の桁を正しくあるいは確実に予測できないことが多い。 LLMが正しい高次桁の全てに条件付けされている場合、後者のタスクはより堅牢に解決できることを示す。
• 参考スコア（独自算出の注目度）: 27.020990219204343
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability (and inability) of large language models (LLMs) to perform arithmetic tasks has been the subject of much theoretical and practical debate. We show that LLMs are frequently able to correctly and confidently predict the first digit of n-digit by m-digit multiplication tasks without using chain of thought reasoning, despite these tasks require compounding operations to solve. Simultaneously, LLMs in practice often fail to correctly or confidently predict the last digit of an n-digit by m-digit multiplication, a task equivalent to 1-digit by 1-digit multiplication which can be easily learned or memorized. We show that the latter task can be solved more robustly when the LLM is conditioned on all of the correct higher-order digits, which on average increases the confidence of the correct last digit on 5-digit by 5-digit multiplication tasks using Llama 2-13B by over 230% (0.13 to 0.43) and Mistral-7B by 150% (0.22 to 0.55).
• Abstract（参考訳）: 算術的なタスクを実行する大きな言語モデル(LLM)の能力(および機能不全)は、理論的および実践的な議論の対象となっている。 LLMは、複雑な処理を必要とするにもかかわらず、思考推論の連鎖を使わずに、m桁乗算タスクによってn桁の最初の桁を正しくかつ確実に予測できることがよく示される。 同時に、実際にLLMはm桁の乗算によってn桁の最後の桁を正しくまたは確実に予測することができず、1桁の乗算で1桁に相当するタスクを学習または記憶しやすくする。 その結果,Llama 2-13B を 230% (0.13 から 0.43 ) 以上,Mistral-7B を 150% (0.22 から 0.55 ) 以上とすることで,LLM が 5 桁の最終桁の信頼度を平均5桁に高めれば,後者のタスクはより堅牢に解決できることを示した。

関連論文リスト

• Number Cookbook: Number Understanding of Language Models and How to Improve It [63.9542740221096]
  大規模言語モデル(LLM)は、基本的な数値的な理解と処理において予期せぬ誤りを犯しながら、複雑な推論タスクの増大を解決することができる。 本稿では,LLMの数値理解と処理能力(NUPA)について包括的に検討する。
  論文  参考訳（メタデータ） (2024-11-06T08:59:44Z)
• How Numerical Precision Affects Mathematical Reasoning Capabilities of LLMs [69.55103380185612]
  本稿では,変圧器を用いた大規模言語モデルの数学的タスクにおける有効性に影響を与える重要な要因として,数値的精度を同定する。 その結果,数値精度の低いトランスフォーマーでは,繰り返し加算や整数乗算などの算術的なタスクに対処できないことがわかった。 対照的に、標準的な数値精度のトランスフォーマーは、モデルサイズを大幅に小さくすることで、これらのタスクを効率的に処理することができる。
  論文  参考訳（メタデータ） (2024-10-17T17:59:35Z)
• Executing Arithmetic: Fine-Tuning Large Language Models as Turing Machines [7.695524275630717]
  大規模言語モデル(LLM)は、広範囲の自然言語処理と推論タスクで顕著な機能を示している。 チューリングマシンをエミュレートすることで,LCMがステップバイステップの計算を実行することを学べる構成可能な算術演算フレームワーク(CAEF)を提案する。 評価では, LLaMA 3.1-8B モデル上での7つの一般的な数学的操作に対して, CAEF は100%近い精度を達成している。
  論文  参考訳（メタデータ） (2024-10-10T13:23:49Z)
• Interpreting and Improving Large Language Models in Arithmetic Calculation [72.19753146621429]
  大規模言語モデル(LLM)は、多くのアプリケーションにまたがる顕著な可能性を示している。 本研究では,LLMが計算を行う特定のメカニズムを明らかにする。 LLMの計算性能を高めるために、これらの必須ヘッド/MLPを選択的に微調整する潜在的な利点について検討する。
  論文  参考訳（メタデータ） (2024-09-03T07:01:46Z)
• GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
  大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。 このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
  論文  参考訳（メタデータ） (2024-02-29T15:26:14Z)
• Positional Description Matters for Transformers Arithmetic [58.4739272381373]
  トランスフォーマーは、大きな能力にもかかわらず、算術的なタスクに干渉することが多い。 位置エンコーディングを直接修正するか、あるいは算術タスクの表現を変更して、標準的な位置エンコーディングを異なる方法で活用することで、問題を解決する方法をいくつか提案する。
  論文  参考訳（メタデータ） (2023-11-22T00:31:01Z)
• GPT Can Solve Mathematical Problems Without a Calculator [24.114064917059565]
  大規模言語モデルでは,データ漏洩を伴わずに,ほぼ100%の精度で算術演算を正確に行うことができることを示す。 また、GLM-10Bから微調整した我々のMathGLMは、5000サンプルの中国の数学問題テストセットにおいて、GPT-4と同様の性能を発揮することを示した。
  論文  参考訳（メタデータ） (2023-09-06T06:18:16Z)
• MathPrompter: Mathematical Reasoning using Large Language Models [7.953723258038284]
  大規模言語モデル (LLM) は算術的推論タスクを解く際の性能に制限がある。 MathPrompterはZero-shot-of- Thoughtプロンプト技術を使って複数の代数式やPython関数を生成し、異なる方法で同じ数学問題を解く。
  論文  参考訳（メタデータ） (2023-03-04T04:43:49Z)
• PAL: Program-aided Language Models [112.94785609781503]
  自然言語問題を理解するために,プログラム支援言語モデル(PaL)を提案する。 PaLはソリューションステップをPythonインタプリタのようなプログラムランタイムにオフロードする。 私たちは12のベンチマークで新しい最先端の結果を設定しました。
  論文  参考訳（メタデータ） (2022-11-18T18:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。