論文の概要: Same Quantity, Different Answer: Numerical Representation Invariance in Language Models
- arxiv url: http://arxiv.org/abs/2609.25009v1
- Date: Mon, 27 Jul 2026 13:33:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.830868
- Title: Same Quantity, Different Answer: Numerical Representation Invariance in Language Models
- Title（参考訳）: 同じ量、異なる答え:言語モデルにおける数値表現不変性
- Abstract要約: 数値的に等価な単語問題は、ある量が十進数、分数、パーセンテージ、数語、科学記法、あるいは正確に変換された単位として書かれるか、同じ正準の答えを与えるべきである。
我々は、5つのID保存変換ファミリにまたがる3,600の正確な有理問題と8,600のプロンプトを生成し、5つのオープンウェイトシステムを評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Numerically equivalent word problems should yield the same canonical answer whether a quantity is written as a decimal, fraction, percentage, number word, scientific notation, or an exactly converted unit. We generate 3,600 exact-rational problems and 8,600 prompts spanning five identity-preserving transformation families, and evaluate five open-weight systems. After a fixed syntax audit that normalizes common answer forms without an LLM judge, canonical accuracy is 0.969-0.996, but orbit correctness falls to 0.848-0.981 and orbit invariance to 0.851-0.981; invariant-but-wrong orbits account for at most 0.003. Most of the broad strict-parser collapse arises because multiplication-form scientific notation lies outside the implemented number grammar, illustrating how evaluator interfaces can masquerade as reasoning failures. A distinct semantic pathology remains: Mistral Small 4 scores 0.699 on unit-converted inputs and produces 265 errors differing from the label by exact powers of ten. In a separate 9,000-call experiment that allocates equal calls to the compared arms, representation consensus does not outperform paraphrase consensus on a low-error subset and produces substantially more false alarms. The accompanying ancillary archive contains the frozen benchmark, evaluation and audit records, consensus raw responses, manifests, analysis code, and a one-command paper build.
- Abstract（参考訳）: 数値的に等価な単語問題は、ある量が十進数、分数、パーセンテージ、数語、科学記法、あるいは正確に変換された単位として書かれるか、同じ正準の答えを与えるべきである。
我々は、5つのID保存変換ファミリにまたがる3,600の正確な有理問題と8,600のプロンプトを生成し、5つのオープンウェイトシステムを評価する。
標準精度は0.969-0.996であるが、軌道の正しさは0.848-0.981に低下し、軌道不変度は0.851-0.981に低下する。
広範に厳密なパーサーの崩壊のほとんどは、乗法形式の科学記法が実装された数文法の外側にあるためであり、評価器のインタフェースがいかに失敗を理由づけてマスクレードできるかを説明できるからである。
Mistral Small 4は、単位変換された入力で0.699得点し、ラベルと10の正確なパワーで異なる265のエラーを生成する。
比較した腕に等しい呼び出しを割り当てる9000コールの実験では、表現のコンセンサスは低エラーサブセットでのパラフレーズのコンセンサスよりも優れておらず、さらに偽のアラームを発生させる。
付属する補助アーカイブには、凍結したベンチマーク、評価と監査記録、コンセンサス生の応答、マニフェスト、分析コード、および1つのコマンド付き紙ビルドが含まれている。
関連論文リスト
- Capability-Gated Conformance Testing of Quantum Error-Correction Decoder Libraries [2.8225611777999906]
判決は各図書館が宣言する内容に基づいて公布されるので、解雇は発行された保証と矛盾する。
境界距離の正確さは0.0%と直接宣言されるが、仮説は62.1%のケースで成り立つ。
639の証明書はすべて、独立検証器のバンドルとして出荷され、最初の原則から再帰される。
論文 参考訳（メタデータ） (2026-09-07T04:44:19Z) - Where the Verifier Fails: A Category-Level Audit of Reward Signals in RLVR [0.0]
報酬付き強化学習(RLVR)と標準ベンチマーク評価はどちらも、無料テキスト回答をバイナリ報酬に変換する自動検証に頼っている。
以前の調査では、1つの評価ハーネスは、自身の真実の答えの94%しか受け入れず、解析を非難している。
モデルではなく検証器にメタモルフィックテストを適用し、検証された等価解の変種を生成する。
我々は、307,420以上の4つの広く使用されている検証結果に対して、回答カテゴリごとの拒絶を計測する。
論文 参考訳（メタデータ） (2026-09-01T14:57:59Z) - PROOF: Profiling Reliability of Object-Level Facts in Large Language Models [33.72751145910978]
PROOFは、命令調整言語モデルにおける事実カバレッジのためのプロファイル指向のベンチマークである。
各質問には、明示的な"I don't know"オプション、"No correct option"コントロール、および9つの制御された定式化がある。
我々は166,374個のオープンウェイトモデル配置を18個のオープンウェイトモデル配置で評価し,各プロンプトと固定10%のサブセットで個別にパーターブデコーディングを行う。
論文 参考訳（メタデータ） (2026-08-24T17:13:25Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - Symbolic Augmentation Closes a Canonical-Equivalence Blind Spot in Neural Fact-Checkers [1.7844382164707184]
我々は,5種類の型付き誤り分類と1500石のベンチマークを導入する。
このベンチマークで微調整されたModernBERTエンコーダはマクロF1 = 0.899に達する。
本稿では,ラベル保存型強化トレーニングデータを生成するために,シンボル検証器のモジュールを逆向きに動作させる訓練時フレームワークであるSybolic Augmentationを提案する。
論文 参考訳（メタデータ） (2026-05-19T15:58:00Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。
我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。
解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
論文 参考訳（メタデータ） (2026-05-08T06:15:50Z) - ERRORQUAKE: Heavy-Tailed Error Severity Distributions in Open-Weight Large Language Models [0.0]
幻覚ベンチマークは、単一のエラーカウントを報告し、すべてのエラーを同等として扱うが、間違った日付と偽の裁判所判決は、桁違いに異なる。
Errorquake-10kは、8つのドメインと5つの難易度からなる連続的な0-4重度尺度で各応答をスコアするベンチマークである。
論文 参考訳（メタデータ） (2026-04-15T09:22:46Z) - BibTeX Citation Hallucinations in Scientific Publishing Agents: Evaluation and Mitigation [34.429649156970015]
以前の評価では、検索なしでベースモデルをテストしたが、これは現在の慣行を反映していない。
3つの検索可能なフロンティアモデルでは、9つのフィールドと6方向のエラー分類に基づいてBibエントリを生成する。
全体的な精度は83.6%だが、完全な正確さは50.9%に過ぎない。
論文 参考訳（メタデータ） (2026-04-03T16:30:58Z) - From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。
商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。
低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
論文 参考訳（メタデータ） (2026-03-02T13:02:13Z) - Small Edits, Big Consequences: Telling Good from Bad Robustness in Large Language Models [0.0]
大きな言語モデル(LLM)が、ひとつの単語の誤読が安全性を損なう可能性があるような設定でコードを書くようになりました。
有用な堅牢性と有害な不感度の開始点を調査するために、50のLeetCode問題をコンパイルし、3つの最小限の急激な摂動を発生させる。
3つの「推論チューニング」バージョンを含む6つのフロンティアモデルにより、各変更プロンプトが解決される。
論文 参考訳（メタデータ） (2025-07-15T03:22:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。