論文の概要: Enhancing Numerical Prediction in LLMs via Smooth MMD Alignment

• arxiv url: http://arxiv.org/abs/2606.27731v1
• Date: Fri, 26 Jun 2026 05:25:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.372142
• Title: Enhancing Numerical Prediction in LLMs via Smooth MMD Alignment
• Title（参考訳）: Smooth MMDアライメントによるLLMの数値予測の強化
• Abstract要約: Smooth Maximum Discrepancy (SMMD) は、数値トークン上の値距離カーネルとグラフベースの滑らかさを組み込むことで、古典的なMDDの上に構築されている。 我々は,数理推論,算術演算,時計時間認識,チャート質問応答の4つの課題についてSMMDを評価した。
• 参考スコア（独自算出の注目度）: 4.4856566484596785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite their strong general capabilities, large language models (LLMs) often remain unreliable when outputs must be numerically precise. A key reason is the training objective: standard cross-entropy treats numeric tokens as unstructured categories and ignores the metric structure of their values. We address this mismatch with Smooth Maximum Mean Discrepancy (SMMD), which builds on the classic MMD by incorporating value-distance kernels over numeric tokens and graph-based smoothness. With this kernel defined over a numeric sub-vocabulary, SMMD aligns the predicted numeric distribution to the target via kernel matching and smooths the prediction-target residual over the induced kernel graph to encourage local consistency. We evaluate SMMD on four numeric-target tasks: mathematical reasoning, arithmetic calculation, clock-time recognition, and chart question answering, across multiple open-weight LLM and VLM backbones. SMMD consistently improves accuracy over both cross-entropy and recent numeric-target losses; analyses show complementary effects between MMD and smoothness and underscore the importance of distance-based kernel design. Code is available at https://github.com/Zuozhuo/smmd-loss.
• Abstract（参考訳）: 強い汎用性にもかかわらず、出力が数値的に正確でなければ大きな言語モデル(LLM)は信頼できないことが多い。 標準的なクロスエントロピーは、数値トークンを非構造化のカテゴリとして扱い、それらの値のメートル法構造を無視する。 Smooth Maximum Mean Discrepancy (SMMD)とのミスマッチに対処し、数値トークンとグラフベースの滑らかさに値距離カーネルを組み込むことで古典的MDDの上に構築する。 数値サブボキャブラリ上で定義されたこのカーネルでは、SMMDは予測された数値分布をカーネルマッチングを介してターゲットに整列し、誘導されたカーネルグラフ上の予測ターゲット残差を滑らか化し、局所的な一貫性を促進する。 我々は,数理推論,算術演算,時刻認識,チャート質問応答の4つの数値目標タスクにおいて,複数のオープンウェイト LLM と VLM のバックボーン間でSMMDを評価した。 SMMDは、クロスエントロピーと最近の数値的損失の両方に対して、常に精度を向上し、MDDと滑らかさの相補効果を示し、距離ベースのカーネル設計の重要性を強調している。 コードはhttps://github.com/Zuozhuo/smmd-loss.comで入手できる。

関連論文リスト

• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• DEL: Digit Entropy Loss for Numerical Learning of Large Language Models [63.37357414497361]
  数値予測は、数学的な問題解決とコード生成において、大きな言語モデル(LLM)の基本的な能力である。 自己回帰型数値学習のためのDEL(Digit Entropy Loss)を提案する。 我々の定式化は整数、十進点、十進点を組み込むことができ、学習対象を1桁から浮動小数点数領域に拡張することができる。
  論文  参考訳（メタデータ） (2026-05-19T18:18:59Z)
• Reasoning-Aware Training for Time Series Forecasting [44.62309170542093]
  Time Series Foundation Models (TSFMs) は数値予測では優れているが、定性的推論を欠いたブラックボックスとして運用されている。 テキストトークンライザは連続した数値を断片化し、数学的関係を劣化させ、配列の長さを爆発させる。 STRIDE (Strategic Time-Series Reasoning Injected by Distilled Embeddings) について紹介する。 STRIDEは離散トークンの代わりに、トレースの推論を軽量のLCMに蒸留し、ターゲットの数値エンコーダに先立って平均プールされた隠された状態をクロスモーダルとして動的に投影する。
  論文  参考訳（メタデータ） (2026-05-09T02:41:47Z)
• MAny: Merge Anything for Multimodal Continual Instruction Tuning [52.50936513604062]
  textbfMAny(textbfMAny)は、textbfCross-modal textbfProjection textbfMergingを通じてタスク固有の知識を統合するフレームワークである。 textbfLow-rank textbfParameter textbfMerging (textbfLPM)
  論文  参考訳（メタデータ） (2026-04-15T15:57:23Z)
• Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding [55.2480439325792]
  任意の順序言語モデルでは、正しい関節分布からトークンを並列にサンプリングする方法がオープンな問題である。 我々は,任意のサブセット自動回帰モデル (AS-ARM) という,異なるモデルのクラスが解を持っていることを発見した。 我々は,AS-ARMがベンチマークタスクを埋め込んだ200M未満のパラメータモデル間で最先端の性能を実現し,コード生成における50倍のモデルの性能とほぼ一致していることを示す。
  論文  参考訳（メタデータ） (2025-04-29T06:33:13Z)
• SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models [74.40683913645731]
  Zero-shot Multi-label Recognition (MLR) with Vision-Language Models (VLMs) は、トレーニングデータ、モデルチューニング、アーキテクチャの変更なしに重要な課題に直面している。 我々の研究は、VLMをブラックボックスとして扱い、トレーニングデータや地上の真実を使わずにスコアを活用する新しいソリューションを提案する。 これらのプロンプトスコアの分析により、VLMバイアスとAND'/OR信号の曖昧さが明らかになり、特に、最高スコアは2番目に高いスコアに比べて驚くほど低い。
  論文  参考訳（メタデータ） (2025-02-24T07:15:05Z)
• Tree Mover's Distance: Bridging Graph Metrics and Stability of Graph Neural Networks [54.225220638606814]
  本稿では,属性グラフの擬似測度,ツリー・モーバー距離(TMD)を提案し,その一般化との関係について検討する。 まず、TMDはグラフ分類に関連する特性をキャプチャし、単純なTMD-SVMは標準のGNNと競合することを示す。 第2に、分散シフトの下でのGNNの一般化とTMDを関連付け、そのようなシフト下での性能低下とよく相関していることを示す。
  論文  参考訳（メタデータ） (2022-10-04T21:03:52Z)
• SIXO: Smoothing Inference with Twisted Objectives [8.049531918823758]
  SIXOは平滑な分布を近似する対象を学習する手法である。 次に、これらの学習対象とSMCを用いて、モデル学習と提案学習の変動目標を定義する。
  論文  参考訳（メタデータ） (2022-06-13T07:46:35Z)
• Explicit Regularization via Regularizer Mirror Descent [32.0512015286512]
  本稿では,正則化を用いたディープニューラルネットワーク(DNN)のトレーニング手法を提案する。 RMDはトレーニングデータを同時に補間し、重みの潜在的な機能を最小化する。 以上の結果から,RMDの性能は,勾配降下 (SGD) と重量減衰の両方よりも著しく良好であることが示唆された。
  論文  参考訳（メタデータ） (2022-02-22T10:21:44Z)
• The Power of Log-Sum-Exp: Sequential Density Ratio Matrix Estimation for Speed-Accuracy Optimization [0.0]
  本稿では,時系列のマルチクラス分類モデルを提案する。 早期分類のためのアーキテクチャ MSPRT-TANDEM は、4つのデータセットのベースラインモデルよりも統計的に有意に優れている。
  論文  参考訳（メタデータ） (2021-05-28T07:21:58Z)
• Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling? [59.820507600960745]
  本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。 提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-05-06T08:03:45Z)
• Adaptive Mixture Regression Network with Local Counting Map for Crowd Counting [16.816382549827214]
  そこで我々は,密度マップに基づくアプローチよりも正確な結果を得るために,LCM (Local counting map) という新しいターゲットを導入する。 また、3つのモジュールからなる適応型混合回帰フレームワークを粗大な方法で提案し、群衆推定の精度をさらに向上させる。
  論文  参考訳（メタデータ） (2020-05-12T13:54:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。