論文の概要: Towards a Deterministic Math Solver for Clinical Language Models
- arxiv url: http://arxiv.org/abs/2609.10728v1
- Date: Wed, 09 Sep 2026 18:22:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.108423
- Title: Towards a Deterministic Math Solver for Clinical Language Models
- Title（参考訳）: 臨床的言語モデルのための決定論的数学解法を目指して
- Abstract要約: 大規模言語モデルは算術では信頼できない。
標準応答は、各電卓を1度に1つの検証関数としてハードコードするものである。
モデルは計算しない。代わりに、制限されたローカルエグゼキュータが決定論的解決器として動作するケース固有Pythonを記述する。
- 参考スコア（独自算出の注目度）: 1.8658086491273507
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are unreliable at arithmetic, which is a problem for clinical calculators where a single numerical error changes the recommendation. The standard response is to hardcode each calculator as a validated function, one at a time. We test an alternative: the model does not calculate. Instead, it writes case-specific Python that a restricted local executor runs as a deterministic solver, and the model's task reduces to deciding how to use it. We evaluate this Program-Solve interface on MedCalc-Bench Verified (1,100 cases, 55 calculators) against direct model arithmetic and a hand-written 22-calculator library, using Qwen2.5-7B and Qwen2.5-32B-AWQ, after auditing the benchmark's formulas against current clinical guidelines and flagging 16 of 55 with version, use or coefficient concerns. With formulas and gold variables supplied and both routes reading the whole note, handing off to the solver is not a reliable advantage at 7B (75.31% against 72.02%, a paired +3.29 points with a 95% calculator-cluster interval of [-3.49, 10.38]) but is one at 32B (90.53% against 83.47%, +7.05 [0.47, 14.60], clear of zero). The hand-written library is exact on its 440 supported cases but abstains elsewhere (40.0% overall). Adding an executor thus helps some open-weight models more than others even under matched formula, variable and note access, and is not a substitute for verified formulas or reliable variable extraction either way.
- Abstract（参考訳）: 大規模言語モデルは算術では信頼性が低いため、単一の数値誤差が推奨を変更できる臨床電卓では問題となる。
標準応答は、各電卓を1度に1つの検証関数としてハードコードするものである。
私たちは別の方法を試しています。
代わりに、制限されたローカルエグゼキュータが決定論的解決器として実行されるケース固有Pythonを書き、モデルのタスクがそれを使用する方法を決定することを減らす。
MedCalc-Bench Verified (1,100ケース55計算機) のプログラムソルブインタフェースを,Qwen2.5-7BとQwen2.5-32B-AWQを用いて直接モデル演算と手書き22計算ライブラリに対して評価した。
公式と金の変数が供給され、いずれのルートも全音符を読むと、7B(75.31%対72.02%、対+3.29点、95%の電卓クラスター間隔 [-3.49, 10.38])では信頼できる優位性はないが、32B(90.53%対83.47%、+7.05[0.47, 14.60])ではゼロである。
手書きのライブラリは、サポート対象のケースが440あるが、他のケース(全体の40.0%)を棄却する。
したがって、エグゼキュータを追加することは、マッチした公式、変数、ノートアクセスの下でも他のモデルよりもオープンウェイトなモデルに役立ち、検証された公式や信頼できる変数抽出の代用ではない。
関連論文リスト
- Where the Verifier Fails: A Category-Level Audit of Reward Signals in RLVR [0.0]
報酬付き強化学習(RLVR)と標準ベンチマーク評価はどちらも、無料テキスト回答をバイナリ報酬に変換する自動検証に頼っている。
以前の調査では、1つの評価ハーネスは、自身の真実の答えの94%しか受け入れず、解析を非難している。
モデルではなく検証器にメタモルフィックテストを適用し、検証された等価解の変種を生成する。
我々は、307,420以上の4つの広く使用されている検証結果に対して、回答カテゴリごとの拒絶を計測する。
論文 参考訳（メタデータ） (2026-09-01T14:57:59Z) - MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。
MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。
オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
論文 参考訳（メタデータ） (2026-08-26T18:22:03Z) - CalibForge: Adversarial Solver Calibration for Scaling Learnable Terminal Tasks [87.1086886770395]
CalibForgeは、自律型ターミナルタスク合成システムである。
検証されたソルバの挙動を用いて、逆ソルバの校正によって候補タスクを修正する。
CalibForgeを使って5,431の端末タスクを構築します。
論文 参考訳（メタデータ） (2026-08-06T17:53:18Z) - Judging Is Not Enumerating: Silent Omissions in LLM-Authored Acceptable Sets [13.85834524293015]
私たちは、ロールが想定する能力を測定し、通常、ロールが配置されるプロトコルの下でそれを欠いていることを見つけます。
モデルは、その候補がセット自体の作者よりもはるかに優れているかどうかを判断する。
論文 参考訳（メタデータ） (2026-08-02T05:00:44Z) - SPL: Orchestrating Workflows with Declarative Deterministic-Probabilistic Composition [0.0]
SPLは1つの仕様で決定論的計算と確率論的計算モードを構成する宣言型言語である。
A.splの仕様は、ローカルノード、クラウドAPI、分散グリッドで動作しない。
広範囲な78レシピの料理ブックと1200ランの制御実験により,SPLの有効性を検証した。
論文 参考訳（メタデータ） (2026-07-06T03:53:10Z) - evalci: A Python Library for Statistically Rigorous Comparison of Language Model Evaluations [0.5729426778193397]
言語モデル評価における支配的な実践は、モデル毎に1つの精度番号を報告し、より高い精度を宣言することである。
evalciは純粋Pythonライブラリで、結果テーブルを発行可能なクレームに変換する。
論文 参考訳（メタデータ） (2026-07-05T17:48:22Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。
我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。
GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
論文 参考訳（メタデータ） (2026-06-04T05:43:12Z) - Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。
本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。
Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
論文 参考訳（メタデータ） (2026-06-01T04:43:36Z) - Token-by-Token Regeneration and Domain Biases: A Benchmark of LLMs on Advanced Mathematical Problem-Solving [0.0]
本研究は,MATHデータセットを用いて10大言語モデル(LLM)を70億から80億のパラメータで評価する。
焦点は、9450以上のコード実行を含む、推論プロセスのステップとして実行可能なPythonコードを生成する能力である。
論文 参考訳（メタデータ） (2025-01-28T17:11:36Z) - ReasonAgain: Using Extractable Symbolic Programs to Evaluate Mathematical Reasoning [54.70811660561151]
既存の数学データセットは、最終回答または静的例から派生した中間推論ステップを用いて、大規模言語モデル(LLM)の推論能力を評価する。
モデルがプログラムへの様々な入力に対して常に正しい最終回答を生成できる場合、シンボルプログラムを自動評価の手段として利用したいと考えている。
提案手法は, 従来の静的な例と比較して, 精度の低下を観測し, 現状のLLMにおける数学推論の脆弱さを示唆する。
論文 参考訳（メタデータ） (2024-10-24T18:02:37Z) - Not All Votes Count! Programs as Verifiers Improve Self-Consistency of Language Models for Math Reasoning [24.386388107656334]
本稿では,自然言語から派生した翻訳プログラムを検証メカニズムとして活用するフレームワークであるProveを紹介する。
バニラ多数決とは異なり、我々の手法は、対応するプログラム出力が生成した解と矛盾する解をフィルタリングし、検証に合格する解のみを集約する。
以上の結果から,すべてのモデルサイズとデータセットにまたがる数学的推論タスクの解決において,Proveはバニラ多数投票を一貫して上回る結果となった。
論文 参考訳（メタデータ） (2024-10-16T14:24:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。