論文の概要: NUMCoT: Numerals and Units of Measurement in Chain-of-Thought Reasoning using Large Language Models
- arxiv url: http://arxiv.org/abs/2406.02864v1
- Date: Wed, 5 Jun 2024 02:26:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 22:16:58.875458
- Title: NUMCoT: Numerals and Units of Measurement in Chain-of-Thought Reasoning using Large Language Models
- Title（参考訳）: NUMCoT:大規模言語モデルを用いたChain-of-Thought Reasoningにおける数量と単位
- Authors: Ancheng Xu, Minghuan Tan, Lei Wang, Min Yang, Ruifeng Xu,
- Abstract要約: 数値と測定単位の処理において,既存のLarge Language Models (LLMs) を解析する。
まず,算術語問題を言語から数への数値変換や単位に基づく測度変換など,様々なサブプロデューサにアナライズする。
さらに,数量や単位に挑戦する古代中国の算術作品から,数学用語の問題に注釈を付ける。
- 参考スコア（独自算出の注目度）: 37.15662878141497
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Numeral systems and units of measurement are two conjoined topics in activities of human beings and have mutual effects with the languages expressing them. Currently, the evaluation of Large Language Models (LLMs) often involves mathematical reasoning, yet little attention is given to how minor changes in numbers or units can drastically alter the complexity of problems and the performance of LLMs. In this paper, we scrutinize existing LLMs on processing of numerals and units of measurement by constructing datasets with perturbations. We first anatomize the reasoning of math word problems to different sub-procedures like numeral conversions from language to numbers and measurement conversions based on units. Then we further annotate math word problems from ancient Chinese arithmetic works which are challenging in numerals and units of measurement. Experiments on perturbed datasets demonstrate that LLMs still encounter difficulties in handling numeral and measurement conversions.
- Abstract（参考訳）: 多数のシステムと測定単位は、人間の活動において2つの共通する話題であり、それらを表現する言語と相互に影響を及ぼす。
現在、LLM(Large Language Models)の評価は、しばしば数学的推論を伴っているが、数や単位の微妙な変化が問題の複雑さやLLMの性能を劇的に変える可能性についてはほとんど注目されていない。
本稿では、摂動を伴うデータセットの構築により、数値と測定単位の処理に関する既存のLCMを精査する。
まず,算術語問題を言語から数への数値変換や単位に基づく測度変換など,様々なサブプロデューサにアナライズする。
さらに,数量や単位に挑戦する古代中国の算術作品から,数学用語の問題に注釈を付ける。
摂動データセットの実験は、LLMが数値と測定の変換を扱うのに依然として困難に直面することを示した。
関連論文リスト
- Mathematical Reasoning in Large Language Models: Assessing Logical and Arithmetic Errors across Wide Numerical Ranges [0.0]
GSM-Rangesは、数学問題における数値を体系的に摂動させ、様々な数値スケールでモデルロバスト性を評価するデータセットジェネレータである。
また,論理的誤りと非論理的誤りを区別し,推論過程を計算精度以上の精度で評価する手法を提案する。
論文 参考訳（メタデータ） (2025-02-12T09:53:10Z) - How Numerical Precision Affects Mathematical Reasoning Capabilities of LLMs [69.55103380185612]
本稿では,変圧器を用いた大規模言語モデルの数学的タスクにおける有効性に影響を与える重要な要因として,数値的精度を同定する。
その結果,数値精度の低いトランスフォーマーでは,繰り返し加算や整数乗算などの算術的なタスクに対処できないことがわかった。
対照的に、標準的な数値精度のトランスフォーマーは、モデルサイズを大幅に小さくすることで、これらのタスクを効率的に処理することができる。
論文 参考訳（メタデータ） (2024-10-17T17:59:35Z) - MathGLM-Vision: Solving Mathematical Problems with Multi-Modal Large Language Model [25.884425372310147]
大規模言語モデル(LLM)は、数学的推論において重要な能力を示している。
MLLMは幾何学的な問題を解くことに集中する傾向があるが、数学の他の領域で利用可能な視覚情報の多様性を無視する傾向がある。
本研究の目的は,MathGLM-Vision と呼ばれる特殊な数学的MLLMのシリーズを開発することである。
論文 参考訳（メタデータ） (2024-09-10T01:20:22Z) - Lean Workbook: A large-scale Lean problem set formalized from natural language math problems [50.22847430754973]
大規模な言語モデルは、リーンのような形式言語を使って証明する数学の定理が得意ではありません。
この領域で重要な課題は、これらの形式言語で利用可能なトレーニングデータの不足である。
本稿では,自然言語の数学的問題をリーン4文に変換するために,合成データを反復的に生成・フィルタリングするパイプラインを提案する。
論文 参考訳（メタデータ） (2024-06-06T08:25:43Z) - MathChat: Benchmarking Mathematical Reasoning and Instruction Following in Multi-Turn Interactions [58.57255822646756]
本稿では,大規模言語モデル (LLM) を評価するためのベンチマークであるMathChatを紹介する。
我々は,MathChatベンチマーク上での様々なSOTA LLMの性能評価を行い,これらのモデルが単ターン質問応答において優れているが,より複雑なシナリオでは性能が著しく劣っていることを観察した。
我々は,LLMファインタニングのための合成対話に基づく数学データセットであるMathChat syncを開発した。
論文 参考訳（メタデータ） (2024-05-29T18:45:55Z) - GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。
1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。
このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
論文 参考訳（メタデータ） (2024-02-29T15:26:14Z) - Language Models Encode the Value of Numbers Linearly [28.88044346200171]
数学の基本要素である数値を言語モデルでエンコードする方法を考察する。
実験結果は,大規模言語モデルにおける符号付き数値の存在を支持する。
我々の研究は、LLMが数値を線形にエンコードする証拠を提供する。
論文 参考訳（メタデータ） (2024-01-08T08:54:22Z) - Frugal LMs Trained to Invoke Symbolic Solvers Achieve
Parameter-Efficient Arithmetic Reasoning [36.8749786658624]
大規模言語モデル(LLM)は、スケールで発生した振る舞いとしてゼロショットの数学的推論能力を示す。
算術語問題を正規化テーマ解決タスクとして提案した場合,小さいLMでは合理的な算術的推論が可能であることを示す。
論文 参考訳（メタデータ） (2023-12-09T13:20:49Z) - A Mechanistic Interpretation of Arithmetic Reasoning in Language Models
using Causal Mediation Analysis [128.0532113800092]
算数問題に対するトランスフォーマーに基づくLMの機械的解釈を提案する。
これにより、算術に関連する情報がLMによってどのように処理されるかについての洞察が得られる。
論文 参考訳（メタデータ） (2023-05-24T11:43:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。