Fugu-MT 論文翻訳(概要): Language Models Encode Numbers Using Digit Representations in Base 10

論文の概要: Language Models Encode Numbers Using Digit Representations in Base 10

arxiv url: http://arxiv.org/abs/2410.11781v1
Date: Tue, 15 Oct 2024 17:00:15 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-16 14:01:26.039353
Title: Language Models Encode Numbers Using Digit Representations in Base 10
Title（参考訳）: ベース10におけるディジット表現を用いた言語モデルによる数値符号化
Authors: Amit Arnold Levy, Mor Geva,
Abstract要約: 大規模言語モデル (LLM) は, 1桁あたりの個々の円周表現を持つ数値を内在的に表現することを示す。この数値表現は、数値推論を含むタスクにおけるモデルの誤りパターンに光を当てる。
参考スコア（独自算出の注目度）: 12.913172023910203
License:
Abstract: Large language models (LLMs) frequently make errors when handling even simple numerical problems, such as comparing two small numbers. A natural hypothesis is that these errors stem from how LLMs represent numbers, and specifically, whether their representations of numbers capture their numeric values. We tackle this question from the observation that LLM errors on numerical tasks are often distributed across \textit{the digits} of the answer rather than normally around \textit{its numeric value}. Through a series of probing experiments and causal interventions, we show that LLMs internally represent numbers with individual circular representations per-digit in base 10. This digit-wise representation, as opposed to a value representation, sheds light on the error patterns of models on tasks involving numerical reasoning and could serve as a basis for future studies on analyzing numerical mechanisms in LLMs.
Abstract（参考訳）: 大規模言語モデル(LLM)は、2つの小さな数を比較するなど、単純な数値問題を扱う際に頻繁にエラーを発生させる。自然な仮説は、これらの誤りはLSMが数を表す方法、具体的には数値の表現が数値の値を取得するかどうかに起因している、というものである。数値処理におけるLLMの誤差は,通常ならば \textit{its 数値値よりも, 答の \textit{the digits} に分散することが多い。一連の探索実験と因果介入により, LLMは内部的に10桁あたりの個々の円表現を持つ数を表すことを示した。この数値表現は、値表現とは対照的に、数値推論を含むタスクにおけるモデルの誤りパターンに光を当て、LLMにおける数値メカニズムの解析に関する将来の研究の基盤となる。

関連論文リスト

How Numerical Precision Affects Mathematical Reasoning Capabilities of LLMs [69.55103380185612]
本稿では,変圧器を用いた大規模言語モデルの数学的タスクにおける有効性に影響を与える重要な要因として,数値的精度を同定する。その結果,数値精度の低いトランスフォーマーでは,繰り返し加算や整数乗算などの算術的なタスクに対処できないことがわかった。対照的に、標準的な数値精度のトランスフォーマーは、モデルサイズを大幅に小さくすることで、これらのタスクを効率的に処理することができる。
論文参考訳（メタデータ） (2024-10-17T17:59:35Z)
NUMCoT: Numerals and Units of Measurement in Chain-of-Thought Reasoning using Large Language Models [37.15662878141497]
数値と測定単位の処理において,既存のLarge Language Models (LLMs) を解析する。まず,算術語問題を言語から数への数値変換や単位に基づく測度変換など,様々なサブプロデューサにアナライズする。さらに,数量や単位に挑戦する古代中国の算術作品から,数学用語の問題に注釈を付ける。
論文参考訳（メタデータ） (2024-06-05T02:26:14Z)
Analyzing the Role of Semantic Representations in the Era of Large Language Models [104.18157036880287]
大規模言語モデル(LLM)の時代における意味表現の役割について検討する。本稿では, AMRCoT と呼ばれる AMR-driven chain-of- Thought prompting 法を提案する。 AMRのどの入力例が役に立つかは予測できないが,複数単語の表現でエラーが発生する傾向にある。
論文参考訳（メタデータ） (2024-05-02T17:32:59Z)
NumeroLogic: Number Encoding for Enhanced LLMs' Numerical Reasoning [27.584258258635945]
言語モデルは数値データを扱い、算術演算を行うのに苦労する。本稿では,各数字の前に数字の個数を含めることで,数がどのように表現されるかを簡単に調整する。モデルにまず数字の数を考慮させることで、実際の数字を生成する前に推論プロセスを強化する。
論文参考訳（メタデータ） (2024-03-30T19:46:59Z)
GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
論文参考訳（メタデータ） (2024-02-29T15:26:14Z)
Language Models Know the Value of Numbers [28.88044346200171]
言語モデルが数学の基本的な要素である数値の値を知っているかどうかを考察する。実験結果は,大規模言語モデルにおける符号付き数値の存在を支持する。我々の研究は、LLMが数値の価値を知っていて、LLMの数値情報をよりよく探索し、設計し、活用するための洞察を提供する証拠を提供する。
論文参考訳（メタデータ） (2024-01-08T08:54:22Z)
Positional Description Matters for Transformers Arithmetic [58.4739272381373]
トランスフォーマーは、大きな能力にもかかわらず、算術的なタスクに干渉することが多い。位置エンコーディングを直接修正するか、あるいは算術タスクの表現を変更して、標準的な位置エンコーディングを異なる方法で活用することで、問題を解決する方法をいくつか提案する。
論文参考訳（メタデータ） (2023-11-22T00:31:01Z)
Human Behavioral Benchmarking: Numeric Magnitude Comparison Effects in Large Language Models [4.412336603162406]
大規模言語モデル(LLM)は、テキストで広まる数値を差分表現しない。本研究では,LLMが行動レンズからどれだけの数の数値を捉えているかを検討する。
論文参考訳（メタデータ） (2023-05-18T07:50:44Z)
PAL: Program-aided Language Models [112.94785609781503]
自然言語問題を理解するために,プログラム支援言語モデル(PaL)を提案する。 PaLはソリューションステップをPythonインタプリタのようなプログラムランタイムにオフロードする。私たちは12のベンチマークで新しい最先端の結果を設定しました。
論文参考訳（メタデータ） (2022-11-18T18:56:13Z)
Reflection of Thought: Inversely Eliciting Numerical Reasoning in Language Models via Solving Linear Systems [42.782260686177395]
本稿では,事前学習言語モデルに隠された数値推論知識を抽出し,活用するための新しい手法を提案する。まず、単純な数値をアンカーとして利用して、暗黙的に推論された算術表現を言語モデルから探索する。我々は、解析的に解決可能な線形システムとしてタスクを変換し、定式化する。
論文参考訳（メタデータ） (2022-10-11T00:57:19Z)
NumGPT: Improving Numeracy Ability of Generative Pre-trained Models [59.931394234642816]
テキスト中の数値特性を明示的にモデル化する生成事前学習モデルであるNumGPTを提案する。具体的には、プロトタイプベースの数値埋め込みを利用して、数値の行列をエンコードし、個々の埋め込みをエンコードし、数値の指数をエンコードする。数値認識損失関数は、NumGPTの事前学習目的に数値を統合するように設計されている。
論文参考訳（メタデータ） (2021-09-07T15:06:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。