論文の概要: Terminal-style Mathematical Modeling Bench: The First Agentic and Verifiable Benchmark for Mathematical Modeling

• arxiv url: http://arxiv.org/abs/2611.08237v1
• Date: Thu, 05 Nov 2026 16:18:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.574963
• Title: Terminal-style Mathematical Modeling Bench: The First Agentic and Verifiable Benchmark for Mathematical Modeling
• Title（参考訳）: 終端型数学的モデリングベンチ:数学モデリングのための最初のエージェントおよび検証可能なベンチマーク
• Abstract要約: TB-Mathは、完全なコンテストスタイルの問題をエージェント的、検証可能、ターミナルに一度に作成する最初のベンチマークである。 各タスクは1つではなく人間の卓越した論文のパネルに対してスコア付けされるので、モデルが受け入れられた多くの回答に近くなければならない。
• 参考スコア（独自算出の注目度）: 29.529521635401295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mathematical modeling turns an open-ended real-world problem into assumptions, a model, a solution, and a defended recommendation, and its answers matter only if they are both close to a credible reference and physically feasible; existing benchmarks either score solver fragments or grade reports with an LLM judge, leaving those numbers unchecked. We introduce TB-MathModel (the Terminal-style Mathematical Modeling Bench), the first benchmark to make complete contest-style modeling problems agentic, verifiable, and terminal at once, over 18 real CUMCM and MCM problems (2023--2025). Each task ships the verbatim statement, official attachments, and figures in a containerized terminal; the agent returns one JSON artifact, scored on the numeric core of the final question against a reproduction of the Outstanding-award paper. Two design choices distinguish it: direction-aware, one-sided scoring, which never penalises beating the anchor, and two-layer feasibility verification---a programmatic gate over six decidable invariant forms plus 624 Lean~4 obligations---with a hard gate that zeroes infeasible answers. Each task is scored against a panel of human outstanding papers rather than one, so a model must be close to many accepted answers; across seven multimodal entries (three seeds each) the strongest reach a multi-reference O-Eval of 64.58\%, while the \$2.54 open model holds 59.81\% at $1/100$ the cost. TB-MathModel turns the numeric core of modeling into a reproducible, machine-checkable signal for measuring long-horizon modeling competence and for collecting agent trajectories. The source code is available at https://github.com/wxj630/terminal-bench-math-modeling.
• Abstract（参考訳）: 数学的モデリングは、オープンエンドの現実世界の問題を仮定、モデル、解決策、そして防御された推奨へと変換し、それらが信頼できる参照と物理的に実現可能である場合に限り、その答えは問題となる。 TB-MathModel(ターミナル式数学的モデリングベンチ)は,18以上の実CUMCMおよびMCM問題(2023-2025)に対して,完全競合型モデリング問題をエージェント的,検証可能,端末的に生成する最初のベンチマークである。 各タスクは、コンテナ化された端末に動詞のステートメント、公式のアタッチメント、およびフィギュアを出荷する。エージェントは、Outstanding-award紙の複製に対して、最後の質問の数値コアでスコア付けされた1つのJSONアーティファクトを返す。 2つの設計上の選択は、方向認識、片面スコア、アンカーにぶつからないペナルライズ、および2層ファシビリティ検証、すなわち6つの決定不可能な不変形に加えて、624のリーン〜4の義務を持つプログラムゲート、そして、実現不可能な答えをゼロにするハードゲートである。 それぞれのタスクは1つではなく人間の卓越した論文のパネルに対してスコア付けされるので、モデルは多くの受け入れられた回答に近くなければならない:7つのマルチモーダルエントリ(それぞれ3つのシード)で最強のO-Evalは64.58\%、$2.54のオープンモデルは59.81\%で1/100ドルである。 TB-MathModelは、モデリングの数値コアを再現可能な機械チェック可能な信号に変換して、ロングホライゾンモデリング能力を測定し、エージェントトラジェクトリを収集する。 ソースコードはhttps://github.com/wxj630/terminal-bench-math-modelingで公開されている。

関連論文リスト

• Trajectory-Level Speculation with Semantic Verification for Tool-Using Agents [32.90996574971153]
  SpecAgentは、強力なモデルを各ステップの著者から弱いモデルで作成されたステップのレビュアーに変換するコラボレーションプロトコルです。 検証は自動回帰復号を並列プリフィルに置き換えるため、強いモデルは全てのステップではなく短い検証と時折修正のみを復号する。
  論文  参考訳（メタデータ） (2026-10-15T08:06:32Z)
• JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models [25.5874772119945]
  JevAdvBench は RLCD モデルの最初の敵対的ベンチマークである。 ラベルではなく、モデル自身のクリーンな決定に対して攻撃された各決定をスコア付けし、同じ再実行による変更に対して読み取る。 Jev-1.13.0では、リワードは再実行ベースラインの1.2パーセント以内に留まり、スキーマ外のフィールドはモデルに到達しない。
  論文  参考訳（メタデータ） (2026-09-25T11:32:19Z)
• Beyond Executable Models: The Pufibara Agent Harness and the Modelica Agent Workflow Benchmark for Physical System Modeling [3.2102307224389484]
  物理システムモデリングは、ソフトウェア工学における汎用コード生成とは異なる要件を提示する。 この課題は、モデルが意図した物理や工学的要求に違反しながら、モデルをコンパイルし、シミュレートできる方程式ベースのモデリング言語であるModelicaで研究されている。 提案するエージェントハーネスであるPufibaraは、リビジョン全体にわたって永続的なエンジニアリング状態を維持し、実行シミュレーションの証拠と、それを生成した候補を関連付け、明示的なエージェントアクションを提出する。
  論文  参考訳（メタデータ） (2026-08-24T11:50:07Z)
• MIRA-Math: A Benchmark for Minimal Information Requesting and Mathematical Reasoning [0.0]
  MIRA-Mathは、完全な潜伏状態がユニークな答えを持つ問題を解決するためのベンチマークである。 解決者は、厳格な予算の下で自然言語の行方不明情報を要求し、返却された事実を正確な最終回答に統合しなければならない。 MIRA-Mathは、代数、確率、線形系、離散構造、信号処理、マルコフ連鎖、回路、計算、数値境界値問題にまたがる22の型付き数学的ファミリーから2,310個のインスタンスを生成する。
  論文  参考訳（メタデータ） (2026-07-08T13:23:56Z)
• Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
  Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。 本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。 Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
  論文  参考訳（メタデータ） (2026-06-01T04:43:36Z)
• ProcessBench: Identifying Process Errors in Mathematical Reasoning [62.80402845414901]
  本稿では,数学的推論における誤ったステップを識別する能力を測定するためのProcessBenchを紹介する。 ProcessBenchは3400のテストケースで構成され、主に競合とオリンピアードレベルの数学問題に焦点を当てている。 我々はProcessBenchについて、プロセス報酬モデル(PRM)と批判モデルという2種類のモデルを含む広範囲な評価を行う。
  論文  参考訳（メタデータ） (2024-12-09T15:11:40Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。