論文の概要: Solver-in-the-Loop: MDP-Based Benchmarks for Self-Correction and Behavioral Rationality in Operations Research
- arxiv url: http://arxiv.org/abs/2601.21008v1
- Date: Wed, 28 Jan 2026 20:02:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 16:22:49.417012
- Title: Solver-in-the-Loop: MDP-Based Benchmarks for Self-Correction and Behavioral Rationality in Operations Research
- Title（参考訳）: 最適解法:MDPに基づく運用研究における自己補正と行動連帯性のベンチマーク
- Authors: Ruicheng Ao, David Simchi-Levi, Xinshang Wang,
- Abstract要約: 運用 調査実践者は反復的なプロセスを通じて、不可能なモデルを日常的にデバッグする。
評価ループにtextbfsolver を配置するベンチマークを2つ導入する。
ドメイン固有のRLVRトレーニングによって、8BモデルがフロンティアAPIを越えられることが分かりました。
- 参考スコア（独自算出の注目度）: 19.31559944205485
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Operations Research practitioners routinely debug infeasible models through an iterative process: analyzing Irreducible Infeasible Subsystems (\IIS{}), identifying constraint conflicts, and systematically repairing formulations until feasibility is achieved. Yet existing LLM benchmarks evaluate OR as one-shot translation -- given a problem description, generate solver code -- ignoring this diagnostic loop entirely. We introduce two benchmarks that place the \textbf{solver in the evaluation loop}. \textbf{\ORDebug{}} evaluates iterative self-correction through 5,000+ problems spanning 9 error types; each repair action triggers solver re-execution and \IIS{} recomputation, providing deterministic, verifiable feedback. \textbf{\ORBias{}} evaluates behavioral rationality through 2,000 newsvendor instances (1,000 ID + 1,000 OOD), measuring systematic deviations from closed-form optimal policies. Across 26 models and 12,000+ samples, we find that domain-specific RLVR training enables an 8B model to surpass frontier APIs: 95.3\% vs 86.2\% recovery rate (+9.1\%), 62.4\% vs 47.8\% diagnostic accuracy (+14.6\%), and 2.25 vs 3.78 steps to resolution (1.7$\times$ faster). On \ORBias{}, curriculum training achieves the only negative ID$\rightarrow$OOD bias drift among models evaluated (-9.6\%), reducing systematic bias by 48\% (from 20.0\% to 10.4\%). These results demonstrate that process-level evaluation with verifiable oracles enables targeted training that outperforms scale.
- Abstract（参考訳）: Operations Researchの実践者は、反復的なプロセスを通じて、不可能なモデルを日常的にデバッグする: 不可避な不可能なサブシステム(\IIS{})を分析し、制約の矛盾を識別し、実行可能になるまで体系的に定式化を修復する。
しかし、既存のLCMベンチマークでは、ORを1ショットの翻訳として評価している。
評価ループに \textbf{solver を配置するベンチマークを2つ導入する。
\textbf{\ORDebug{}}は、9つのエラータイプにまたがる5000以上の問題を通じて反復的な自己補正を評価する。
\textbf{\ORBias{}} は2,000のニュースベンダインスタンス (1,000 ID + 1,000 OOD) を通じて行動合理性を評価し、クローズドフォームの最適ポリシーからの体系的な逸脱を測定する。
26モデルと12,000以上のサンプルで、ドメイン固有のRLVRトレーニングにより、95.3\%対86.2\%のリカバリレート(+9.1\%)、62.4\%対47.8\%の診断精度(+14.6\%)、2.25対3.78の解像度(1.7$\times$ faster)の8BモデルがフロンティアAPIを克服できることがわかった。
ORBias{} では、教育訓練は評価されたモデルの中で唯一負の ID$\rightarrow$OOD バイアスドリフトを達成し(-9.6\%)、体系的バイアスを 48\%(20.0\% から 10.4\% に減らす。
これらの結果から,検証可能なオラクルを用いたプロセスレベルの評価により,規模を上回る目標学習が可能であることが示唆された。
関連論文リスト
- Foundational Automatic Evaluators: Scaling Multi-Task Generative Evaluator Training for Reasoning-Centric Domains [97.5573252172065]
自動推論評価器(FARE)のファミリーを,簡易な反復的リジェクションサンプリング制御による微調整手法で訓練する。
FARE-8Bはより大型のRL訓練評価器に挑戦し、FARE-20Bはオープンソース評価器の新しい標準となる。
推論時リランカとして、FARE-20BはMATH上でのニアオークル性能を達成する。
論文 参考訳（メタデータ） (2025-10-20T17:52:06Z) - Reliable Fine-Grained Evaluation of Natural Language Math Proofs [30.992321135182905]
本稿では,0-7スケールの微粒なスコアをモデル生成数学の証明に割り当てる評価器を開発するための体系的手法を提案する。
ProofBenchは,6つの主要な数学コンペティションから145の問題にまたがる,詳細な証明評価のエキスパートによる最初のデータセットである。
本稿では,強力な推論バックボーンLMと参照解とマーキングスキームからのリッチコンテキストを組み合わせた評価器ProofGraderと,シンプルなアンサンブル手法を提案する。
論文 参考訳（メタデータ） (2025-10-14T02:59:07Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - Abduct, Act, Predict: Scaffolding Causal Inference for Automated Failure Attribution in Multi-Agent Systems [20.846301581161978]
マルチエージェントシステムにおける障害帰属は、批判的だが未解決の課題である。
現在の手法では、これを長い会話ログ上のパターン認識タスクとして扱う。
A2P Scaffoldingは、パターン認識から構造化因果推論タスクへの障害帰属を変換する。
論文 参考訳（メタデータ） (2025-09-12T16:51:15Z) - Probing for Arithmetic Errors in Language Models [86.8227317662622]
言語モデルの内部アクティベーションは、算術誤差を検出するために使用できる。
単純なプローブはモデルが予測した出力と正解の両方を隠蔽状態から正確に復号できることを示す。
モデル精度を90%以上の精度で予測する軽量エラー検出器を訓練する。
論文 参考訳（メタデータ） (2025-07-16T16:27:50Z) - Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
新規データや不完全データでは,性能が著しく低下することがわかった。
これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。
本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2025-03-06T15:36:06Z) - SummExecEdit: A Factual Consistency Benchmark in Summarization with Executable Edits [31.98028879922584]
SummExecEditという新しいパイプラインとベンチマークを導入し、実際のエラーを検知し、正確な説明を提供する能力についてモデルを評価する。
トップパフォーマンスモデルであるClaude3-Opusは、ベンチマークでわずか0.49のジョイント検出と説明スコアを達成している。
説明ミスの4つの主要なタイプを特定し、その45.4%は、要約の完全に無関係な部分に焦点を当てている。
論文 参考訳（メタデータ） (2024-12-17T23:26:44Z) - Preference Optimization for Reasoning with Pseudo Feedback [100.62603571434167]
提案手法では,解のラベル付けを関連するテストケースに対する評価として行うことで,推論タスクに対する疑似フィードバックを生成する手法を提案する。
本研究では,擬似フィードバックを優先最適化に用いる数学的推論と符号化の両タスクについて実験を行い,両タスク間の改善を観察する。
論文 参考訳（メタデータ） (2024-11-25T12:44:02Z) - Enhancing Mathematical Reasoning in LLMs by Stepwise Correction [39.67266805233599]
Best-of-N復号法は、大規模言語モデル(LLM)に複数の解を生成するように指示し、それぞれがスコアリング関数を使用してスコアし、数学的な推論問題に対する最終解として最も高いスコアを選択する。
本稿では,LLMが生成した推論経路の誤りステップを特定し,修正するのに役立つ,ステップワイズ補正(StepCo)という新しいプロンプト手法を提案する。
バリデーション・then-reviseプロセスは、回答の正しさを向上するだけでなく、生成に必要なパスを減らしてトークン消費を減らす。
論文 参考訳（メタデータ） (2024-10-16T18:18:42Z) - xFinder: Large Language Models as Automated Evaluators for Reliable Evaluation [9.22621553566816]
本稿では,キー応答抽出モジュールの最適化により抽出精度が向上し,信頼性が向上することを示す。
大規模言語モデル(LLM)評価において,応答抽出とマッチングのための新しい評価器であるxFinderを提案する。
一般化テストと実世界の評価では、最小のxFinderモデルは5億のパラメータしか持たないが、平均抽出精度は93.42%である。
xFinderの最終判定精度は97.61%に達し、既存の評価フレームワークや審査モデルを上回っている。
論文 参考訳（メタデータ） (2024-05-20T08:30:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。