論文の概要: Pre-trained Language Models Learn Remarkably Accurate Representations of Numbers

• arxiv url: http://arxiv.org/abs/2506.08966v1
• Date: Tue, 10 Jun 2025 16:37:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:42.871614
• Title: Pre-trained Language Models Learn Remarkably Accurate Representations of Numbers
• Title（参考訳）: 事前学習した言語モデルが数字の正確な表現を学習する
• Authors: Marek Kadlčík, Michal Štefánik, Timothee Mickus, Michal Spiegel, Josef Kuchař,
• Abstract要約: 既存の研究は、モデルの表現から数値の値を求めることには成功しなかった。 本稿では,入力埋め込みから数値をほぼ完全精度で復号する新しい探索手法を提案する。 プローブの精度によって判断された埋め込みの精度は、基本算術におけるLMの誤差の大部分を説明できることがわかった。
• 参考スコア（独自算出の注目度）: 1.8874331450711404
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained language models (LMs) are prone to arithmetic errors. Existing work showed limited success in probing numeric values from models' representations, indicating that these errors can be attributed to the inherent unreliability of distributionally learned embeddings in representing exact quantities. However, we observe that previous probing methods are inadequate for the emergent structure of learned number embeddings with sinusoidal patterns. In response, we propose a novel probing technique that decodes numeric values from input embeddings with near-perfect accuracy across a range of open-source LMs. This proves that after the sole pre-training, LMs represent numbers with remarkable precision. Finally, we find that the embeddings' preciseness judged by our probe's accuracy explains a large portion of LM's errors in elementary arithmetic, and show that aligning the embeddings with the pattern discovered by our probe can mitigate these errors.
• Abstract（参考訳）: 事前訓練された言語モデル (LM) は算術的な誤りを生じやすい。 既存の研究は、モデルの表現から数値値を求めることに限定的な成功を示し、これらの誤りは、正確な量を表すために、分布的に学習された埋め込みの固有の信頼性の欠如に起因していることを示している。 しかし, 従来の探索手法は, 正弦波パターンによる学習数埋め込みの創発的構造に不適切であることがわかった。 そこで本研究では,入力埋め込みから複数のオープンソースLMに対してほぼ完全な精度で数値値を復号する手法を提案する。 これは、唯一の事前学習の後、LMは顕著な精度で数を表すことを証明している。 最後に、プローブの精度で判断された埋め込みの精度が、基本演算におけるLMの誤差の大部分を説明でき、プローブによって発見されたパターンと埋め込みの整合性がこれらの誤りを軽減できることを示す。

関連論文リスト

• The Validation Gap: A Mechanistic Analysis of How Language Models Compute Arithmetic but Fail to Validate It [23.803612556616685]
  大規模言語モデル(LLM)における誤り検出の力学解析について述べる。 回路解析により,4つの小さいLLMの演算誤差を検出する計算部分グラフを同定する。 この結果から,算術的解法における数値値の表面レベルのアライメントを評価するために,すべてのモデルが$textitConsistency Head$-attention Headに大きく依存していることが判明した。
  論文  参考訳（メタデータ） (2025-02-17T13:00:44Z)
• Subtle Errors in Reasoning: Preference Learning via Error-injected Self-editing [59.405145971637204]
  eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。 RISEは、事前定義された微妙なエラーをピボットトークンに注入する。 RISEの有効性を検証する実験では、Qwen2-7B-Instructでの優先学習により、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善され、トレーニングサンプルは4.5Kに留まった。
  論文  参考訳（メタデータ） (2024-10-09T07:43:38Z)
• Understanding and Mitigating Classification Errors Through Interpretable Token Patterns [58.91023283103762]
  容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。 正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。 提案手法であるPremiseが実際によく動作することを示す。
  論文  参考訳（メタデータ） (2023-11-18T00:24:26Z)
• Limitations of Language Models in Arithmetic and Symbolic Induction [20.49118435604774]
  大規模な事前訓練された言語モデル(LM)は、自然言語処理(NLP)タスクで非常によく機能する。 これらのモデルには、コピー、リバース、追加といった特定の基本的な記号操作タスクに制限があることがわかった。 この現象の背後にある潜在的な原因について検討し、明示的な位置マーカー、きめ細かい計算ステップ、呼び出し可能なプログラムを持つLMなどを含む一連の手法について検討する。
  論文  参考訳（メタデータ） (2022-08-09T21:47:01Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。