論文の概要: ANI: Adaptive Numerical Injection for Unifying Semantic and Arithmetic Representations in Numerical Reasoning

• arxiv url: http://arxiv.org/abs/2609.39294v1
• Date: Wed, 30 Sep 2026 08:38:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.449984
• Title: ANI: Adaptive Numerical Injection for Unifying Semantic and Arithmetic Representations in Numerical Reasoning
• Title（参考訳）: ANI:数値推論における意味的表現と算術的表現の統合のための適応的数値注入法
• Abstract要約: 意味的文脈に基づく数値的特徴の選択的注入を管理するフレームワークであるtextbfANI (Adaptive Numerical Injection) を提案する。 文脈認識型ゲーティング機構を用いることで,数値埋め込みを潜在空間に選択的に注入し,名義識別子を明示的に保存する。 ANIは、一般的な言語ベンチマークで堅牢な性能を維持しつつ、公式参照モデルよりも9.5ポイントのMATH性能を向上させることを実証する。
• 参考スコア（独自算出の注目度）: 40.66368265715627
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Precise numerical reasoning with Large Language Models (LLMs) is essential for expanding their applicability to complex real-world tasks. However, text-based tokenization often fragments numbers, significantly hindering precise arithmetic reasoning. Meanwhile, numerical embeddings, despite arithmetic precision, rely on context-agnostic substitution that disregards the semantic role of numbers as identifiers. To combine the complementary strengths, we propose \textbf{ANI (Adaptive Numerical Injection)}, a hybrid framework that governs the selective injection of numerical features based on the semantic context. By employing a context-aware gating mechanism, we selectively inject numerical embeddings (specifically FoNE) into the latent space, explicitly preserving nominal identifiers while enhancing quantitative operands. Through extensive evaluations across various LLMs, we demonstrate that ANI enhances MATH performance by 9.5 points over the official reference model, while maintaining robust performance on general linguistic benchmarks.
• Abstract（参考訳）: LLM(Large Language Models)による高精度な数値推論は、複雑な実世界のタスクに適用性を高めるために不可欠である。 しかし、テキストベースのトークン化は数値を断片化することが多く、正確な算術的推論を著しく妨げている。 一方、数値埋め込みは算術的精度にもかかわらず、識別子としての数字の意味的役割を無視する文脈に依存しない置換に依存している。 相補的な強みを組み合わせるために,意味的文脈に基づく数値的特徴の選択的注入を管理するハイブリッドフレームワークである「textbf{ANI(Adaptive Numerical Injection)」を提案する。 文脈認識型ゲーティング機構を用いることで,数値埋め込み(特にFoNE)を潜在空間に選択的に注入し,定量的オペランドを増強しながら,名義識別子を明示的に保存する。 各種LLMの広範な評価を通じて、ANIは公式参照モデルよりもMATH性能を9.5ポイント向上し、一般的な言語ベンチマークでは頑健な性能を維持していることを示す。

関連論文リスト

• Numeracy in Large Language Models: Fundamental Limitations and Paths to Improvement [0.0]
  大規模言語モデル (LLM) は, 数学的推論ベンチマークにおいて, 基礎的な数値処理では信頼性が低い。 本調査では,高次数学的推論とは別の基礎的数値理解について検討する。
  論文  参考訳（メタデータ） (2026-08-13T12:01:58Z)
• Value-Aware Numerical Representations for Transformer Language Models [1.2680800636608986]
  トランスフォーマーベースの言語モデルは、しばしば数学的推論ベンチマークにおいて強力な結果を得る。 中心的な制限は、数値が数値を明示的にエンコードしないシンボルトークンとして処理されることである。 本稿では,標準的なトークン化入力を専用のプレフィックストークンで拡張する値認識数値表現を提案する。
  論文  参考訳（メタデータ） (2026-01-14T18:59:14Z)
• Accelerate Speculative Decoding with Sparse Computation in Verification [49.74839681322316]
  投機的復号化は、複数のドラフトトークンを並列に検証することにより、自動回帰言語モデル推論を加速する。 既存のスペーシフィケーション方式は主にトークン・バイ・トーケンの自己回帰復号化のために設計されている。 そこで本研究では,注目度,FFN,MoEを両立させるスパース検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-26T07:53:41Z)
• Exposing Numeracy Gaps: A Benchmark to Evaluate Fundamental Numerical Abilities in Large Language Models [19.47343987998194]
  大規模言語モデル(LLM)は、自然言語処理タスクにおける印象的な機能を示している。 基本算術、数値、等級数比較などの数値推論タスクにおけるそれらの性能は、驚くほど貧弱なままである。 既存のベンチマークは主に言語能力や構造化された数学的問題解決に焦点を当てている。
  論文  参考訳（メタデータ） (2025-02-16T10:48:28Z)
• FENICE: Factuality Evaluation of summarization based on Natural language Inference and Claim Extraction [85.26780391682894]
  自然言語推論とクレーム抽出(FENICE)に基づく要約のファクチュアリティ評価を提案する。 FENICEは、ソース文書内の情報と、要約から抽出されたクレームと呼ばれる一連の原子的事実との間のNLIベースのアライメントを利用する。 我々の測定基準は、事実性評価のためのデファクトベンチマークであるAGGREFACTに関する新しい技術状況を設定する。
  論文  参考訳（メタデータ） (2024-03-04T17:57:18Z)
• Enriching Disentanglement: From Logical Definitions to Quantitative Metrics [59.12308034729482]
  複雑なデータにおける説明的要素を遠ざけることは、データ効率の表現学習にとって有望なアプローチである。 論理的定義と量的指標の関連性を確立し, 理論的に根ざした絡み合いの指標を導出する。 本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2023-05-19T08:22:23Z)
• Reflection of Thought: Inversely Eliciting Numerical Reasoning in Language Models via Solving Linear Systems [42.782260686177395]
  本稿では,事前学習言語モデルに隠された数値推論知識を抽出し,活用するための新しい手法を提案する。 まず、単純な数値をアンカーとして利用して、暗黙的に推論された算術表現を言語モデルから探索する。 我々は、解析的に解決可能な線形システムとしてタスクを変換し、定式化する。
  論文  参考訳（メタデータ） (2022-10-11T00:57:19Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。