論文の概要: Unraveling Arithmetic in Large Language Models: The Role of Algebraic Structures

• arxiv url: http://arxiv.org/abs/2411.16260v2
• Date: Tue, 08 Apr 2025 15:19:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:27:15.113803
• Title: Unraveling Arithmetic in Large Language Models: The Role of Algebraic Structures
• Title（参考訳）: 大規模言語モデルにおける算術的解法:代数的構造の役割
• Authors: Fu-Chieh Chang, You-Chen Lin, Pei-Yuan Wu,
• Abstract要約: 大型言語モデル (LLM) は顕著な数学的能力を示しており、主にチェーン・オブ・シント (CoT) のプロンプトによって駆動されている。 LLMは可換性や恒等性などの代数的構造を捉えることによって算術を学習する。 我々は、ウェイトとバイアスの特定の構成の下で、トランスフォーマーベースのLSMが入力トークンの置換とアイデンティティ要素の存在の両方に不変な埋め込みを生成することができることを示す理論的証拠を提供する。
• 参考スコア（独自算出の注目度）: 2.8311048083168657
• License:
• Abstract: The reasoning abilities of large language models (LLMs) have improved with chain-of-thought (CoT) prompting, allowing models to solve complex tasks stepwise. However, training CoT capabilities requires detailed reasoning data, which is often scarce. The self-taught reasoner (STaR) framework addresses this by using reinforcement learning to automatically generate reasoning steps, reducing reliance on human-labeled data. Although STaR and its variants have demonstrated empirical success, a theoretical foundation explaining these improvements is lacking. Large language models (LLMs) have demonstrated remarkable mathematical capabilities, largely driven by chain-of-thought (CoT) prompting, which decomposes complex reasoning into step-by-step solutions. However, the mechanisms underlying LLMs' ability to perform arithmetic in a single step of CoT remain poorly understood. In this work, we propose that LLMs learn arithmetic by capturing algebraic structures, such as commutativity and identity properties. Since these structures are observable through input-output relationships, they can generalize to unseen data. We empirically demonstrate that LLMs can learn algebraic structures using a custom dataset of arithmetic problems, as well as providing theoretical evidence showing that, under specific configurations of weights and biases, the transformer-based LLMs can generate embeddings that remain invariant to both permutations of input tokens and the presence of identity elements. Our findings indicate that leveraging algebraic structures can enhance the LLMs' arithmetic capabilities, offering insights into improving their arithmetic performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)の推論能力は、チェーン・オブ・思想(CoT)のプロンプトによって改善され、複雑なタスクを段階的に解けるようになった。 しかし、CoT能力のトレーニングには詳細な推論データが必要である。 自己学習推論(STaR)フレームワークは、強化学習を使用して推論ステップを自動的に生成し、人間のラベル付きデータへの依存を減らすことで、この問題に対処する。 STaRとその変種は経験的成功を示しているが、これらの改善を説明する理論的基盤は欠如している。 大規模言語モデル(LLM)は、複雑な推論をステップバイステップの解に分解するチェーン・オブ・シント(CoT)のプロンプトによって、顕著な数学的能力を示している。 しかし、LLMがCoTの1ステップで算術を行う能力のメカニズムはいまだによく分かっていない。 本研究では,LLMが可換性や恒等性などの代数的構造を捉えることによって算術を学ぶことを提案する。 これらの構造はインプット・アウトプット・リレーション(英語版)を通じて観測可能であるため、目に見えないデータに一般化することができる。 計算問題のカスタムデータセットを用いてLLMが代数構造を学習できることを実証的に実証するとともに、ウェイトとバイアスの特定の構成の下では、トランスフォーマーベースのLLMは入力トークンの置換とアイデンティティ要素の存在の両方に不変な埋め込みを生成することができることを示す理論的証拠を提供する。 この結果から,代数的構造を活用することでLLMの算術的能力が向上し,算術的性能向上への洞察が得られた。

関連論文リスト

• One Example Shown, Many Concepts Known! Counterexample-Driven Conceptual Reasoning in Mathematical LLMs [57.48325300739872]
  証明生成のための数学的大規模言語モデルを活用することは、LLM研究の基本的なトピックである。 現状のLCMが証明できる能力は、学習中に関連する証明プロセスに遭遇したかどうかに大きく依存していると論じる。 人間の数学教育で一般的に用いられる「反例による防御」の教育的手法に触発されて,我々の研究は,反例を通して数学的推論と証明を行うLLMの能力を高めることを目的としている。
  論文  参考訳（メタデータ） (2025-02-12T02:01:10Z)
• Language Models are Symbolic Learners in Arithmetic [8.34588487873447]
  大規模言語モデル(LLM)は、言語モデリングと数値計算の間に固有の違いがあるため、算術学習に苦慮していると考えられている。 まず,算術学習において LLM が部分積を利用するかどうかを検討する。 LLMは学習後にいくつかの部分積を識別できるが、算術的なタスクには利用できない。
  論文  参考訳（メタデータ） (2024-10-21T01:57:16Z)
• How Numerical Precision Affects Mathematical Reasoning Capabilities of LLMs [69.55103380185612]
  本稿では,変圧器を用いた大規模言語モデルの数学的タスクにおける有効性に影響を与える重要な要因として,数値的精度を同定する。 その結果,数値精度の低いトランスフォーマーでは,繰り返し加算や整数乗算などの算術的なタスクに対処できないことがわかった。 対照的に、標準的な数値精度のトランスフォーマーは、モデルサイズを大幅に小さくすることで、これらのタスクを効率的に処理することができる。
  論文  参考訳（メタデータ） (2024-10-17T17:59:35Z)
• Executing Arithmetic: Fine-Tuning Large Language Models as Turing Machines [7.695524275630717]
  大規模言語モデル(LLM)は、広範囲の自然言語処理と推論タスクで顕著な機能を示している。 チューリングマシンをエミュレートすることで,LCMがステップバイステップの計算を実行することを学べる構成可能な算術演算フレームワーク(CAEF)を提案する。 評価では, LLaMA 3.1-8B モデル上での7つの一般的な数学的操作に対して, CAEF は100%近い精度を達成している。
  論文  参考訳（メタデータ） (2024-10-10T13:23:49Z)
• Large Language Models and the Extended Church-Turing Thesis [0.0]
  本稿では,計算可能性理論と計算複雑性理論を用いて,大規模言語モデル(LLM)の計算能力について検討する。 固定的な(非適応的な) LLM は、計算量的に a, probably large, deterministic finite-state transducer と同値であることを示す。 本研究は,いくつかの関連分野と哲学の幅広い文脈における知見のメリットについて論じる。
  論文  参考訳（メタデータ） (2024-09-11T03:09:55Z)
• Interpreting and Improving Large Language Models in Arithmetic Calculation [72.19753146621429]
  大規模言語モデル(LLM)は、多くのアプリケーションにまたがる顕著な可能性を示している。 本研究では,LLMが計算を行う特定のメカニズムを明らかにする。 LLMの計算性能を高めるために、これらの必須ヘッド/MLPを選択的に微調整する潜在的な利点について検討する。
  論文  参考訳（メタデータ） (2024-09-03T07:01:46Z)
• GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
  大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。 このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
  論文  参考訳（メタデータ） (2024-02-29T15:26:14Z)
• Evaluating LLMs' Mathematical Reasoning in Financial Document Question Answering [53.56653281752486]
  本研究では,大言語モデルによる4つの財務質問応答データセットの数学的推論について検討する。 数理推論のステップの数が増えるにつれて、テーブルの複雑さや性能の変化に対する感度に焦点をあてる。 半構造化文書に適した新しいプロンプト技術を導入する。
  論文  参考訳（メタデータ） (2024-02-17T05:10:18Z)
• When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
  本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。 具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。 コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
  論文  参考訳（メタデータ） (2023-08-29T17:22:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。