論文の概要: Language Models Compare Quantities Using Number-specific and Unit-specific Heuristics

• arxiv url: http://arxiv.org/abs/2606.03982v1
• Date: Tue, 02 Jun 2026 17:58:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.243432
• Title: Language Models Compare Quantities Using Number-specific and Unit-specific Heuristics
• Title（参考訳）: 数固有および単位固有ヒューリスティックを用いた言語モデルの比較
• Authors: Mutsumi Sasaki, Go kamoda, Ryosuke Takahashi, Kosuke Sato, Kentaro Inui, Keisuke Sakaguchi, Benjamin Heinzerling,
• Abstract要約: 110cmや1.2mといった測定単位の量は、数字と記号単位のスケールを組み合わせるために言語モデル(LM)を必要とする。 精度は比較境界付近で低下し、小さな値の変化で正解が決定される。 その結果、LMは、最初に両式を正確に共有スケールの表現に変換するのではなく、数字と単位よりも数字の袋を通して量を比較することが示唆された。
• 参考スコア（独自算出の注目度）: 32.21373620078722
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantities with measurement units, such as 110 cm and 1.2 m, require language models (LMs) to combine a numeral with a symbolic unit scale. Here, we study how LMs compare such quantities in controlled settings spanning several unit systems. We find that accuracy degrades near the comparison boundary, where small changes in value determine the correct answer. The resulting errors are systematic: linear surrogate models predict LM preferences from numerical-difference and unit-scale-difference cues, and causal interventions on subspaces aligned with these variables shift model's output. The results suggest that LMs compare quantities through a bag of heuristics over numerals and units, rather than first converting both expressions to an exact shared-scale representation.
• Abstract（参考訳）: 110cmや1.2mといった測定単位の量は、数字と記号単位のスケールを組み合わせるために言語モデル(LM)を必要とする。 本稿では,複数の単位系にまたがる制御設定において,LMがそのような量を比較する方法について検討する。 精度は比較境界付近で低下し、小さな値の変化で正解が決定される。 線形サロゲートモデルは、数値差分法と単位スケール差分法からLM選好を予測し、これらの変数のシフトモデルの出力に対応する部分空間に対する因果介入を行う。 その結果、LMは、最初に両表現を正確に共有スケールの表現に変換するのではなく、数値と単位に対するヒューリスティックの袋を通して量を比較することが示唆された。

関連論文リスト

• Interpreting Multi-Attribute Confounding through Numerical Attributes in Large Language Models [13.5805504750573]
  大規模言語モデル(LLM)は,実世界の数値相関を符号化するが,体系的に増幅する傾向があることを示す。 無関係な文脈は、モデルサイズによって異なる下流効果で、等級表現の一貫性のあるシフトを誘導します。 これらの知見は,多属性絡み合い下でのより公平な表現認識制御の基礎となった。
  論文  参考訳（メタデータ） (2025-11-06T04:47:08Z)
• Unravelling the Mechanisms of Manipulating Numbers in Language Models [9.583581545538479]
  言語モデルが数値を操作し、これらのメカニズムの低い精度境界を定量化する方法について検討する。 誤りに直面するにもかかわらず、異なる言語モデルは、体系的、高度に正確で普遍的な数値の交換可能な表現を学習する。 以上の結果から,事前学習したLLMが数値を操作し,より正確な探索手法の可能性を概説した。
  論文  参考訳（メタデータ） (2025-10-30T09:08:50Z)
• Simple Yet Effective: An Information-Theoretic Approach to Multi-LLM Uncertainty Quantification [9.397157329808254]
  MUSEは、大規模言語モデルのよく校正されたサブセットを特定し、集約するための単純な情報理論手法である。 二分予測タスクの実験では、単一モデルとナイーブアンサンブルベースラインと比較してキャリブレーションと予測性能が改善された。
  論文  参考訳（メタデータ） (2025-07-09T19:13:25Z)
• NUMCoT: Numerals and Units of Measurement in Chain-of-Thought Reasoning using Large Language Models [37.15662878141497]
  数値と測定単位の処理において,既存のLarge Language Models (LLMs) を解析する。 まず,算術語問題を言語から数への数値変換や単位に基づく測度変換など,様々なサブプロデューサにアナライズする。 さらに,数量や単位に挑戦する古代中国の算術作品から,数学用語の問題に注釈を付ける。
  論文  参考訳（メタデータ） (2024-06-05T02:26:14Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
  後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である 本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。 実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch [72.97553348776425]
  スーパーバイザード・ファインチューニング (SFT) LMの能力に影響を与えることなく、ほとんどのデルタパラメータを設定するためにDAREを導入する。 次に、DAREを汎用プラグインとして使用し、複数のSFTモデルのデルタパラメータを分散し、それらを単一のモデルにマージする。 また、DAREを使用して、Open Leaderboardで70億のパラメータを持つモデルの中で、第1位にランクインした統合LMを作成します。
  論文  参考訳（メタデータ） (2023-11-06T13:43:07Z)
• A Mechanistic Interpretation of Arithmetic Reasoning in Language Models using Causal Mediation Analysis [128.0532113800092]
  算数問題に対するトランスフォーマーに基づくLMの機械的解釈を提案する。 これにより、算術に関連する情報がLMによってどのように処理されるかについての洞察が得られる。
  論文  参考訳（メタデータ） (2023-05-24T11:43:47Z)
• Examining Scaling and Transfer of Language Model Architectures for Machine Translation [51.69212730675345]
  言語モデル(LM)は単一のレイヤのスタックで処理し、エンコーダ・デコーダモデル(EncDec)は入力と出力の処理に別々のレイヤスタックを使用する。 機械翻訳において、EncDecは長年好まれてきたアプローチであるが、LMの性能についての研究はほとんどない。
  論文  参考訳（メタデータ） (2022-02-01T16:20:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。