論文の概要: Execution-grounded evaluation reveals hidden failures in language-model calculations for environmental science
- arxiv url: http://arxiv.org/abs/2608.18726v1
- Date: Wed, 19 Aug 2026 09:28:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.363116
- Title: Execution-grounded evaluation reveals hidden failures in language-model calculations for environmental science
- Title（参考訳）: 環境科学のための言語モデル計算における隠れた失敗の実践的評価
- Abstract要約: AtmosCoder-Benchは、計算プロセスを可視化する実行ベースベンチマークである。
その結果,複数選択形式は測定精度を少なくとも12ポイント向上させることがわかった。
タスク固有の条件が慣れ親しんだメソッドを無効にした場合、フロンティアモデルでさえも弱いままである。
- 参考スコア（独自算出の注目度）: 6.4926786388524915
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models are increasingly used for quantitative work in the environmental sciences, yet existing evaluations score only final answers, leaving calculation process unobserved. Here we introduce AtmosCoder-Bench, an execution-grounded benchmark that makes the calculation process visible. Built through a transferable semi-automated pipeline (436 problems, 3,910 variants, 7,029 graded quantities), every problem is validated to be unambiguous and human-solvable, with uniquely verifiable answers. We find that (i) multiple-choice formats inflate measured accuracy by at least 12 percentage points; (ii) many failures arise not from missing knowledge but from models failing to apply known formulas and constraints consistently throughout multi-step computation; and (iii) even frontier models remain weak when task-specific conditions invalidate familiar methods, often reverting to canonical solution patterns rather than adapting methods to the relevant physical regime, leaving expert oversight essential.
- Abstract（参考訳）: 大規模言語モデルは環境科学における定量的研究にますます使われてきているが、既存の評価では最終回答しか得られず、計算過程は観測されていない。
ここでは、計算プロセスを可視化する実行ベースベンチマークであるAtmosCoder-Benchを紹介します。
トランスファー可能な半自動パイプライン(436の問題、3,910の変種、7,029のグレード付き量)を通して構築され、すべての問題が不明瞭で人間の解答で、独特に検証可能な答えで検証される。
私たちはそれを見つける。
(i)複数選択形式は、測定精度を少なくとも12ポイント向上させる。
(II)多くの失敗は、知識の欠如からではなく、既知の公式や制約を多段階計算を通して一貫して適用できないモデルから生じます。
三) タスク固有の条件が慣れ親しんだ手法を無効にした場合、フロンティアモデルでさえも弱いままであり、しばしば関連する物理的体制にメソッドを適用するよりも正準解パターンに回帰し、専門家の監視が不可欠である。
関連論文リスト
- Beyond the Answer Key: Robustness Evaluation of Large Language Models for Step-Level Mathematical Verification [0.0]
大規模言語モデル(LLM)は、グラデラー、検証器、プロセス監査機としてますます使われている。
ほとんどの数学的評価は、最終的な答えの正確さを強調している。
評価役におけるLLMの評価のための線形方程式制御ベンチマークを導入する。
論文 参考訳（メタデータ） (2026-08-28T16:17:11Z) - Closed-Loop Graph Algorithm Execution with Small Language Models: Step Accuracy and Rollout Reliability [0.48302896549293584]
モデルが現在のグラフとアルゴリズム状態から次のアクションを繰り返し選択する閉ループ予測問題としてグラフアルゴリズムの実行について検討する。
評価フレームワークは,いくつかの古典的なグラフ処理,複数の合成グラフファミリ,解離学習,検証,テスト分割を網羅している。
論文 参考訳（メタデータ） (2026-06-23T13:02:06Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - Ensemble-Based Uncertainty Estimation for Code Correctness Estimation [36.53771380869671]
本研究では,モデルアンサンブル全体で集約されたサンプルの一貫性を評価することにより,不確実性を推定するEnsemble Semantic Entropy (ESE)を提案する。
LiveCodeBenchの実験では、ESEはシングルモデルセマンティックエントロピーよりもプログラムの正確性に強く関連している。
また、単一モデルスケーリングと比較してFLOPを64.9%削減しながら性能を維持できるカスケーディングテストタイムスケーリングフレームワークCasを提案する。
論文 参考訳（メタデータ） (2026-03-28T02:37:36Z) - From Abstract to Contextual: What LLMs Still Cannot Do in Mathematics [79.81905350372067]
我々は文脈的数学的推論を通してギャップを研究する。
AIMEとMATH-500の問題を2つのコンテキスト設定に再利用するベンチマークであるContextMATHを紹介する。
オープンソースモデルはSGとCSで13、34ポイント減少し、プロプライエタリモデルは13、20ポイント減少している。
論文 参考訳（メタデータ） (2026-01-30T14:56:04Z) - Bounding Causal Effects and Counterfactuals [0.0]
この論文は、複数の因果シナリオにまたがる有界アルゴリズムを体系的に比較することで、課題に対処する。
我々は、共通の評価フレームワーク内で最先端のメソッドを実装し、拡張し、統一する。
我々の実証研究は、離散データ生成プロセスと連続データ生成プロセスの両方を含む何千ものランダム化シミュレーションにまたがる。
論文 参考訳（メタデータ） (2025-08-19T08:13:34Z) - Quantization Meets Reasoning: Exploring and Mitigating Degradation of Low-Bit LLMs in Mathematical Reasoning [39.56908863102256]
低ビット後の量子化は、より厳しい設定で69.81%の数学的推論を損なう。
デプロイクリティカルな2つの問題に,プロセスレベルの精度で対処する。
われわれの設定では、332のキュレートされたサンプルと1つのGPUで3～5分計算すると、完全な精度のベースラインに向かって4ビットの重み計算が引き起こされる。
論文 参考訳（メタデータ） (2025-05-16T12:11:40Z) - THOUGHTTERMINATOR: Benchmarking, Calibrating, and Mitigating Overthinking in Reasoning Models [65.39456695678713]
本稿では,問題レベルの難易度を近似的に測定し,問題の難易度と最適なトークン使用量との間に明確な関係があることを実証する。
一般に、推論モデルは、特に簡単な問題に対して、キャリブレーションが不十分である。
トレーニング不要なブラックボックス復号法であるTHOUGHTTERMINATORを導入する。
論文 参考訳（メタデータ） (2025-04-17T22:16:30Z) - Mathematical Reasoning in Large Language Models: Assessing Logical and Arithmetic Errors across Wide Numerical Ranges [0.0]
GSM-Rangesは、数学問題における数値を体系的に摂動させ、様々な数値スケールでモデルロバスト性を評価するデータセットジェネレータである。
また,論理的誤りと非論理的誤りを区別し,推論過程を計算精度以上の精度で評価する手法を提案する。
論文 参考訳（メタデータ） (2025-02-12T09:53:10Z) - Examining False Positives under Inference Scaling for Mathematical Reasoning [83.97128486951999]
言語モデルにおける数学的問題解決における偽陽性解の有効性を体系的に検討する。
実験結果から,(1)異なるモデル,データセット,復号化手法,(2)サンプリングベース推論時間スケーリング手法では問題を緩和できないこと,(3)pass@N評価基準の方が偽陽性の影響を受けやすいこと,などが明らかになった。
論文 参考訳（メタデータ） (2025-02-10T07:49:35Z) - ProcessBench: Identifying Process Errors in Mathematical Reasoning [62.80402845414901]
本稿では,数学的推論における誤ったステップを識別する能力を測定するためのProcessBenchを紹介する。
ProcessBenchは3400のテストケースで構成され、主に競合とオリンピアードレベルの数学問題に焦点を当てている。
我々はProcessBenchについて、プロセス報酬モデル(PRM)と批判モデルという2種類のモデルを含む広範囲な評価を行う。
論文 参考訳（メタデータ） (2024-12-09T15:11:40Z) - The Implicit Delta Method [61.36121543728134]
本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。
有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
論文 参考訳（メタデータ） (2022-11-11T19:34:17Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳（メタデータ） (2021-10-21T07:28:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。