論文の概要: DEL: Digit Entropy Loss for Numerical Learning of Large Language Models

• arxiv url: http://arxiv.org/abs/2605.20369v1
• Date: Tue, 19 May 2026 18:18:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.317436
• Title: DEL: Digit Entropy Loss for Numerical Learning of Large Language Models
• Title（参考訳）: DEL:大規模言語モデルの数値学習のためのディジットエントロピー損失
• Authors: Zhaohui Zheng, Chenhang He, Shihao Wang, Yuxuan Li, Ming-Ming Cheng, Lei Zhang,
• Abstract要約: 数値予測は、数学的な問題解決とコード生成において、大きな言語モデル(LLM)の基本的な能力である。 自己回帰型数値学習のためのDEL(Digit Entropy Loss)を提案する。 我々の定式化は整数、十進点、十進点を組み込むことができ、学習対象を1桁から浮動小数点数領域に拡張することができる。
• 参考スコア（独自算出の注目度）: 63.37357414497361
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Number prediction stands as a fundamental capability of large language models (LLMs) in mathematical problem-solving and code generation. The widely adopted maximum likelihood estimation (MLE) for LLM training is not tailored to number prediction. Recently, penalty-driven approaches, e.g., Number Token Loss and Discretized Distance Loss, introduce an inductive bias of numerical distance but induce over-sharpened and over-flattened digit distributions, respectively. In this paper, we make an in-depth analysis on LLM numerical learning, and show that existing numerical learning methods conceptually follow a criterion-distance formulation, where the criterion term represents optimization pattern and the distance term instills geometric prior. Consequently, we present Digit Entropy Loss (DEL) for auto-regressive numerical learning, which reformulates the conventional unsupervised entropy optimization in three key designs: leveraging digit conditional probability and binary cross-entropy to guide the entropy optimization into a supervised manner; deprecating the distance term to bypass the issue of numerical distance; and generalizing the integer-based numerical learning to floating-point number optimization, enabling more accurate number prediction. Our DEL formulation can incorporate integers, decimals, and decimal points, expanding the learning objective from a single digit to the floating-point number domain. Experiments conducted on seven mathematical reasoning benchmarks with four representative LLMs, including CodeLlama, Mistral, DeepSeek, and Qwen-2.5, demonstrate that DEL consistently outperforms its counterparts in both overall prediction accuracy and numerical distance. Source codes are at https://github.com/PolyU-VCLab/DEL
• Abstract（参考訳）: 数値予測は、数学的な問題解決とコード生成において、大きな言語モデル(LLM)の基本的な能力である。 LLMトレーニングに広く採用されている最大推定値(MLE)は、数値予測に適合しない。 近年, 数値距離の帰納的バイアスを生じるペナルティ駆動型アプローチ, 数値トークン損失(Number Token Loss) と離散距離損失(Disdisretized Distance Loss) は, それぞれ過度に制限された数値分布と過度に平坦な数値分布を誘導する。 本稿では, LLM数値学習の詳細な解析を行い, 既存の数値学習手法は, 基準項が最適化パターンを表し, 距離項が幾何学的に先行するような基準距離の定式化に従っていることを示す。 その結果,自己回帰型数値学習におけるDEL(Digit Entropy Loss)を提案する。これは従来の教師なしのエントロピー最適化を3つの重要な設計で再構成したものである。例えば,数値的な距離の問題を回避するために,エントロピー最適化を教師付きに導くために,桁条件付き確率と二進的クロスエントロピーを活用すること,数値的な距離の問題を回避するために距離項を省略すること,整数ベースの数値学習を浮動小数点数最適化に一般化すること,より正確な数値予測を可能にすること,である。 我々のDEL定式化は整数、十進点、十進点を組み込むことができ、学習対象を1桁から浮動小数点数領域に拡張することができる。 CodeLlama(英語版)、Mistral(英語版)、DeepSeek(英語版)、Qwen-2.5(英語版)を含む4つの代表的なLCMを用いた7つの数学的推論ベンチマークで実施された実験は、DELが全体的な予測精度と数値距離の両方において、常にそれよりも優れていることを示した。 ソースコードはhttps://github.com/PolyU-VCLab/DELにある。

関連論文リスト

• When can isotropy help adapt LLMs' next word prediction to numerical domains? [53.98633183204453]
  文脈埋め込み空間におけるLLM埋め込みの等方性は表現の基盤構造を保存することが示されている。 実験により、数値データとモデルアーキテクチャの異なる特性が等方性に異なる影響があることが示されている。
  論文  参考訳（メタデータ） (2025-05-22T05:10:34Z)
• Mathematical Reasoning in Large Language Models: Assessing Logical and Arithmetic Errors across Wide Numerical Ranges [0.0]
  GSM-Rangesは、数学問題における数値を体系的に摂動させ、様々な数値スケールでモデルロバスト性を評価するデータセットジェネレータである。 また,論理的誤りと非論理的誤りを区別し,推論過程を計算精度以上の精度で評価する手法を提案する。
  論文  参考訳（メタデータ） (2025-02-12T09:53:10Z)
• Regress, Don't Guess -- A Regression-like Loss on Number Tokens for Language Models [2.5464748274973026]
  トークンレベルで純粋に動作する回帰的な損失を示す。 我々の提案したナンバートークン損失(NTL)は2つのフレーバーを持ち、$L_p$ノルムまたはワッサーシュタイン距離を最小化する。 提案手法を様々な数学的データセット上で評価し,数学関連タスクの性能を継続的に改善することを発見した。
  論文  参考訳（メタデータ） (2024-11-04T13:43:24Z)
• DNA-SE: Towards Deep Neural-Nets Assisted Semiparametric Estimation [39.48526221316346]
  半パラメトリック統計学は、欠落データ、因果推論、転帰学習など、幅広い領域において重要な役割を担っている。 我々は,Deep Neural-Nets Assisted Semiparametric Estimation (DNA-SE) と呼ばれるスケーラブルなアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-08-04T14:45:26Z)
• Minimally Supervised Learning using Topological Projections in Self-Organizing Maps [55.31182147885694]
  自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。 提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。 提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-12T22:51:48Z)
• On the Convergence of Stochastic Gradient Descent in Low-precision Number Formats [3.408623772471354]
  SGD (Single-precision Gradient Descent) の収束は通常、実数の理論的結果と一致している。 しかし、計算が低精度の数値形式で実行されると、数値誤差が増大する。 これは、低精度計算に適応したSGD収束を研究するための説得力のある理由を与える。
  論文  参考訳（メタデータ） (2023-01-04T14:54:15Z)
• NumGPT: Improving Numeracy Ability of Generative Pre-trained Models [59.931394234642816]
  テキスト中の数値特性を明示的にモデル化する生成事前学習モデルであるNumGPTを提案する。 具体的には、プロトタイプベースの数値埋め込みを利用して、数値の行列をエンコードし、個々の埋め込みをエンコードし、数値の指数をエンコードする。 数値認識損失関数は、NumGPTの事前学習目的に数値を統合するように設計されている。
  論文  参考訳（メタデータ） (2021-09-07T15:06:12Z)
• The Seven-League Scheme: Deep learning for large time step Monte Carlo simulations of stochastic differential equations [0.0]
  微分方程式(SDE)を解くための高精度なデータ駆動数値スキームを提案する。 SDE離散化は、正確に決定された(SC)点に基づいてカオス展開法により構築される。 圧縮圧縮とコロケーションという手法により、学習すべきニューラルネットワーク関数の数を劇的に減らすことができる。
  論文  参考訳（メタデータ） (2020-09-07T16:06:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。