論文の概要: OR-Space: A Full-Lifecycle Workspace Benchmark for Industrial Optimization Agents

• arxiv url: http://arxiv.org/abs/2605.28158v1
• Date: Wed, 27 May 2026 08:41:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.902076
• Title: OR-Space: A Full-Lifecycle Workspace Benchmark for Industrial Optimization Agents
• Title（参考訳）: OR-Space: 産業最適化エージェントのためのフルライフサイクルワークスペースベンチマーク
• Authors: Chenyu Zhou, Xinyun Lu, Jiangyue Zhao, Jianghao Lin, Dongdong Ge, Yinyu Ye,
• Abstract要約: 大規模言語モデル(LLM)エージェントは、オペレーションリサーチ(OR)モデリングを支援するためにますます使用される。 既存のOR指向ベンチマークは、自己完結した問題文から数学的定式化や解法プログラムへのワンショット翻訳の評価を減少させることが多い。 本稿では,産業最適化エージェント評価のためのフルライフサイクルワークスペースベンチマークOR-Spaceを紹介する。
• 参考スコア（独自算出の注目度）: 12.93065958346192
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) agents are increasingly used to assist with operations research (OR) modeling, yet existing OR-oriented benchmarks often reduce evaluation to one-shot translation from a self-contained problem statement into a mathematical formulation or solver program. Such settings abstract away two characteristics of real industrial OR workflows: persistent multi-artifact workspaces and multi-stage task lifecycles. We introduce OR-Space, a full-lifecycle workspace benchmark for evaluating industrial optimization agents across model construction, model revision, and grounded explanation. Each instance is an executable workspace containing business documents, structured data, optional code artifacts, solver outputs, and task-specific evaluators distributed across interdependent files. OR-Space defines three task modes: Build, where agents construct solver-ready optimization models from heterogeneous artifacts; Revise, where agents modify existing models under changing requirements or solver feedback while preserving valid prior logic; and Explain, where agents answer grounded questions about solutions, constraints, and business implications using evidence spread across workspace artifacts. By combining persistent workspaces with lifecycle-oriented tasks, OR-Space evaluates whether agents can perform reliable optimization work beyond end-to-end text generation. We describe the benchmark design, evaluation protocol, and quality-control pipeline, and position OR-Space as a benchmark for studying the reliability, failure modes, and practical readiness of LLM agents in industrial OR workflows.
• Abstract（参考訳）: 大規模言語モデル (LLM) エージェントはオペレーション・リサーチ (OR) モデリングを支援するために使われることが多いが、既存のOR指向のベンチマークでは、自己完結した問題文から数学的定式化や解法プログラムへのワンショット変換の評価が減ることが多い。 このような設定は、永続的なマルチアーティファクトワークスペースとマルチステージタスクライフサイクルという、実際の産業用ORワークフローの2つの特徴を抽象化する。 OR-Spaceは, モデル構築, モデルリビジョン, グラウンドドの説明にまたがって, 産業最適化エージェントを評価するためのフルライフサイクルワークスペースベンチマークである。 各インスタンスは、ビジネスドキュメント、構造化データ、オプションコードアーティファクト、ソルバ出力、タスク固有の評価器を含む実行可能なワークスペースである。 OR-Spaceは3つのタスクモードを定義している。 エージェントは異質なアーティファクトから解決者対応の最適化モデルを構築し、Reviseは要求や解決者のフィードバックに基づいて既存のモデルを修正し、適切な事前ロジックを保存する。 永続的なワークスペースとライフサイクル指向のタスクを組み合わせることで、OR-Spaceはエージェントがエンドツーエンドのテキスト生成以上の信頼性の高い最適化作業を実行できるかどうかを評価する。 本稿では,産業用ORワークフローにおけるLLMエージェントの信頼性,障害モード,実用性を評価するためのベンチマークとして,ベンチマーク設計,評価プロトコル,品質制御パイプラインについて述べる。

関連論文リスト

• Harness-Bench: Measuring Harness Effects across Models in Realistic Agent Workflows [18.6534256358905]
  本稿では,リアルエージェントシステムにおける構成レベルのハーネス効果を評価するための診断ベンチマークであるHarness-Benchを紹介する。 ベンチマークには、実用的なエージェント使用パターンから構築された106のサンドボックス化されたオフラインタスクが含まれている。 5,194個の実行軌道にまたがって、完了、プロセス品質、効率、障害挙動のかなりの変化を観察する。
  論文  参考訳（メタデータ） (2026-05-27T03:47:35Z)
• Generalizable End-to-End Tool-Use RL with Synthetic CodeGym [52.31172214690965]
  エージェントRLのための多目的ツール環境を多種多様な、検証可能な、制御可能な、多目的ツール環境を合成するフレームワークであるCodeGymを紹介する。 CodeGymは、静的コーディングの問題を対話的な環境に書き換え、原子関数やロジックを呼び出し可能なツールに抽出する。 さまざまなサイズのモデルとCodeGymでトレーニングされたチェーン・オブ・コンフィグレーションは、一貫したアウト・オブ・ディストリビューションの一般化性を示す。
  論文  参考訳（メタデータ） (2025-09-22T03:03:56Z)
• AgentSwift: Efficient LLM Agent Design via Value-guided Hierarchical Search [58.98450205734779]
  大規模言語モデル(LLM)エージェントは、多様なドメインにまたがる強力な機能を示している。 既存のエージェントサーチ手法には3つの大きな制限がある。 これらの課題に対処するための包括的なフレームワークを導入します。
  論文  参考訳（メタデータ） (2025-06-06T12:07:23Z)
• ThinkGeo: Evaluating Tool-Augmented Agents for Remote Sensing Tasks [64.86209459039313]
  ThinkGeoは、構造化ツールの使用とマルチステップ計画を通じて、リモートセンシングタスクにおけるツール拡張エージェントを評価するために設計されたエージェントベンチマークである。 我々はReActスタイルの対話ループを実装し,486 個の構造化エージェントタスク上でのオープンソース LLM とクローズドソース LLM の両方を1,773 個の専門家が検証した推論ステップで評価する。 分析の結果、ツールの精度とモデル間の計画整合性に顕著な相違が明らかになった。
  論文  参考訳（メタデータ） (2025-05-29T17:59:38Z)
• FieldWorkArena: Agentic AI Benchmark for Real Field Work Tasks [52.47895046206854]
  FieldWorkArenaは、現実世界のフィールドワークをターゲットにしたエージェントAIのベンチマークである。 本稿では、エージェントAIが現実世界の作業環境ベンチマークのために持つべき新しいアクション空間を定義する。
  論文  参考訳（メタデータ） (2025-05-26T08:21:46Z)
• MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering [57.156093929365255]
  自律型大規模言語モデル(LLM)エージェントを体系的に強化し、評価し、改善するためのガイムスタイルのフレームワーク。 MLE-Dojoは、現実的なエンジニアリングシナリオを反映した、多様でオープンなMLEタスクを慎重にキュレートする。 完全に実行可能な環境は、教師付き微調整と強化学習の両方を通して包括的なエージェントトレーニングをサポートする。
  論文  参考訳（メタデータ） (2025-05-12T17:35:43Z)
• Towards more Contextual Agents: An extractor-Generator Optimization Framework [0.0]
  LLM(Large Language Model)ベースのエージェントは、幅広い汎用アプリケーションにわたる複雑なタスクの解決に顕著な成功を収めている。 しかしながら、それらのパフォーマンスは、専門産業や研究領域のようなコンテキスト固有のシナリオで劣化することが多い。 この課題に対処するため,本研究では,LLMエージェントの文脈適応性を高めるための体系的アプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-18T15:07:06Z)
• AgentSquare: Automatic LLM Agent Search in Modular Design Space [16.659969168343082]
  大規模言語モデル(LLM)は、幅広い複雑なタスクを処理できるエージェントシステムの急速な成長をもたらした。 Modularized LLM Agent Search (MoLAS) という新しい研究課題を紹介した。
  論文  参考訳（メタデータ） (2024-10-08T15:52:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。