論文の概要: Opti-Agent-Bench: Benchmarking End-to-End Optimization R&D Agents on Real-World Business Problems
- arxiv url: http://arxiv.org/abs/2607.10768v1
- Date: Sun, 12 Jul 2026 13:47:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.525746
- Title: Opti-Agent-Bench: Benchmarking End-to-End Optimization R&D Agents on Real-World Business Problems
- Title（参考訳）: Opti-Agent-Bench: 実世界のビジネス問題に対するエンドツーエンド最適化R&Dエージェントのベンチマーク
- Abstract要約: LLMベースのエージェントは最適化問題を解決するためにますますデプロイされているが、既存のベンチマークでは事前に構造化されたベンチマークで評価されている。
本稿では,実装から整数コード,記述,レポート生成を通じて,LLM(Large Models)を評価するエンドツーエンドベンチマークを提案する。
- 参考スコア（独自算出の注目度）: 1.7689718394104148
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM-based agents are increasingly deployed to solve optimization problems, yet existing benchmarks evaluate them on pre-structured mathematical formulations that bypass the most critical challenge: translating complex business requirements into correct models and solve efficiently. We introduce Opti-Agent-Bench, an end-to-end benchmark that evaluates Large Language Models (LLMs) across the complete optimization R&D pipeline, from understanding business-language descriptions through mathematical modeling, algorithm selection, and code implementation, to solution report generation. Our design rests on three pillars: (1) businesssemantic authenticity with anti-template traps that defeat pattern matching; (2) modular evaluation with cross-module consistency checking across Problem Understanding, Formal Modeling, Implementation, and Reporting; and (3) the ORAC bi-level validity framework that simultaneously ensures task quality and scoring integrity. Across several industrialscale tasks spanning integer programming, robust optimization, stochastic programming, and non-convex optimization, we expose critical failure modes of current models, including constraint omission, model-code inconsistency, and report-implementation divergence, that remain invisible under conventional single-metric evaluation.
- Abstract（参考訳）: LLMベースのエージェントは最適化問題を解決するためにますますデプロイされているが、既存のベンチマークでは、複雑なビジネス要件を正しいモデルに翻訳し、効率的に解決するという最も重要な課題を克服する、事前構造化された数学的定式化に基づいてそれらを評価している。
本稿では,Large Language Models (LLM) を評価するエンドツーエンドベンチマークであるOpti-Agent-Benchを紹介する。
設計は,(1)パターンマッチングを破るアンチテンプレートトラップによるビジネスセマンティックな信頼性,(2)問題理解,形式モデリング,実装,報告を横断するモジュール間整合性チェックによるモジュール評価,(3)タスク品質と整合性を同時に保証するORACバイレベル妥当性フレームワーク,の3つの柱に依存している。
整数プログラミング,ロバスト最適化,確率的プログラミング,非凸最適化にまたがるいくつかの産業規模タスクにおいて,制約排除,モデルコード不整合,レポート実装のばらつきなど,従来の単一度評価では見えないような,現在のモデルの重要な障害モードを明らかにする。
関連論文リスト
- little m: An AI Agent for Industrial Process Optimization [6.819597984555337]
我々は,産業プロセス制御モデルの定式化を支援するAIエージェントであるlittle mを紹介する。
本稿では,50の標準シナリオからなる新しいデータセットであるIndustrial Process Control Benchmark (IPC-Bench)を紹介する。
ほとんど m は最先端の LLM を著しく上回り、意味論的に正しいモデルを生成する。
論文 参考訳（メタデータ） (2026-09-15T06:01:18Z) - OptiAgent: End-to-End Optimization Modeling via Multi-Agent Iterative Refinement [0.0]
OptiAgentは、解決可能な数学的定式化だけでなく、実行可能なコードも出力できるマルチエージェントフレームワークである。
我々のアーキテクチャは、専用のエージェントが構造を抽出する数学的モデリングステップを優先する。
4つの特別なフィードバック機構を持つ新しいマルチループ検証アーキテクチャを導入し、それぞれが異なる障害モードをターゲットにしている。
論文 参考訳（メタデータ） (2026-07-06T17:27:16Z) - Opt-Verifier: Unleashing the Power of LLMs for Optimization Modeling via Dual-Side Verification [53.763212981479455]
本稿では、構造と解の両方の観点から、デュアルサイド検証(Opt-Verifier)を用いた新しいフレームワークを提案する。
一般的なベンチマーク実験により、我々の手法は精度が20%以上向上していることが示された。
論文 参考訳（メタデータ） (2026-05-28T08:09:52Z) - FrontierOR: Benchmarking LLMs' Capacity for Efficient Algorithm Design in Large-Scale Optimization [61.43300970020897]
大規模言語モデル(LLM)は、最適化モデリングとソルバコード生成にますます使われている。
既存のベンチマークは、実際のスケールと複雑さよりもはるかに低い、小さな、あるいは単純化された例に限られている。
現実的な大規模最適化問題に対して,LLMに基づく効率的なアルゴリズム設計を評価するための最初のベンチマークとしてFrontierORを紹介した。
論文 参考訳（メタデータ） (2026-05-24T20:10:42Z) - OpenCompass: A Universal Evaluation Platform for Large Language Models [62.59671563145442]
汎用大規模言語モデル (LLM) は, 技術の進歩において重要なリンクとなっている。
メインストリームベンチマークデータセットは、タスクタイプの多様性、一貫性のない評価基準、データと処理の断片化といった課題に直面している。
本稿では,ワンストップ,スケーラブル,高精度な汎用評価プラットフォームであるOpen LLMをオープンソースとして提案する。
論文 参考訳（メタデータ） (2026-05-19T02:50:11Z) - Peering Inside the Black Box: Uncovering LLM Errors in Optimization Modelling through Component-Level Evaluation [0.0]
大規模言語モデル(LLM)のためのコンポーネントレベル評価フレームワークを提案する。
GPT-5、LLaMA 3.1命令、DeepSeek Mathを様々な複雑さの最適化問題で評価する。
その結果、GPT-5は他のモデルよりも一貫して優れており、チェーン・オブ・シンク、自己整合性、モジュール性がより効果的であることを証明している。
論文 参考訳（メタデータ） (2025-10-19T17:47:59Z) - RefactorCoderQA: Benchmarking LLMs for Multi-Domain Coding Question Solutions in Cloud and Edge Deployment [20.416910591388618]
本稿では,Large Language Models (LLM) の性能を評価するためのベンチマークであるRefactorCoderQAを紹介する。
我々の微調整モデルであるRefactorCoder-MoEは最先端のパフォーマンスを実現し、オープンソースと商用のベースラインを76.84%で上回りました。
論文 参考訳（メタデータ） (2025-09-12T17:44:22Z) - Automated Optimization Modeling through Expert-Guided Large Language Model Reasoning [43.63419208391747]
本稿では,最適化プロセスを自動化するチェーン・オブ・シント推論を通じて,専門家レベルの最適化モデリングの原則を活用する新しいフレームワークを提案する。
また、ロジスティクス領域からの新しい最適化モデリングベンチマークであるLogiORを導入し、標準化されたアノテーションに関するより複雑な問題を含む。
論文 参考訳（メタデータ） (2025-08-20T04:14:54Z) - ORMind: A Cognitive-Inspired End-to-End Reasoning Framework for Operations Research [56.961539386979354]
ORMindは認知にインスパイアされたフレームワークで、反ファクト推論を通じて最適化を強化する。
提案手法は,要求を数学的モデルや実行可能なコードに変換するエンド・ツー・エンドのワークフローを実装し,人間の認識をエミュレートする。
現在はLenovoのAIアシスタントで内部でテストされており、ビジネスとコンシューマの両方の最適化機能を強化する予定である。
論文 参考訳（メタデータ） (2025-06-02T05:11:21Z) - ModelingAgent: Bridging LLMs and Mathematical Modeling for Real-World Challenges [72.19809898215857]
ModelingBenchは、様々な領域にわたる数学モデリングの競争から、現実に着想を得たオープンエンドの問題を特徴付ける新しいベンチマークである。
これらのタスクには、自然言語を形式的な数学的定式化に翻訳し、適切なツールを適用し、構造化された防御可能なレポートを生成する必要がある。
ツール使用をコーディネートするマルチエージェントフレームワークである ModelingAgent も紹介します。
論文 参考訳（メタデータ） (2025-05-21T03:33:23Z) - Autoformulation of Mathematical Optimization Models Using LLMs [50.030647274271516]
本稿では,自然言語問題記述から解法対応最適化モデルを自動生成する,$textitautoformulation$の問題にアプローチする。
オートフォーミュレーションの3つの主要な課題を識別する: $textit(1)$ 巨大で問題に依存した仮説空間、および$textit(2)$ 不確実性の下でこの空間を効率的かつ多様に探索する。
我々は,$textitLarge Language Models$と$textitMonte-Carlo Tree Search$を併用した新しい手法を提案する。
論文 参考訳（メタデータ） (2024-11-03T20:41:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。