論文の概要: OR-License: Evaluating LLM Agents as Real-World Operations Research Practitioners
- arxiv url: http://arxiv.org/abs/2610.24087v1
- Date: Fri, 16 Oct 2026 18:13:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-26 11:07:24.589882
- Title: OR-License: Evaluating LLM Agents as Real-World Operations Research Practitioners
- Title（参考訳）: OR-License: LLMエージェントを実運用研究実践者として評価する
- Abstract要約: 我々は、有償ORエンゲージメントから10の産業シナリオにわたる31インスタンスのエンドツーエンドベンチマークであるOR-Licenseを紹介した。
元の要求、入力データ、配信可能なフォーマット、識別解除後の情報境界を保存する。
情報取得を研究するために,ORの専門知識を供給せずに業務事実を開示する制御クライアントシミュレータであるORSimを紹介する。
- 参考スコア（独自算出の注目度）: 32.10542967964631
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Can large language model (LLM) agents deliver expert-level operations research (OR) solutions directly from original client materials, without prior expert reformulation? Existing OR benchmarks typically begin with self-contained descriptions or predefined optimization tasks, underrepresenting the translation of original business materials into professionally validated solutions. We introduce OR-License, an end-to-end benchmark of 31 instances across 10 industrial scenarios from paid OR engagements totaling USD 3.68 million. It preserves original requirements, input data, deliverable formats, and information boundaries after de-identification. To study information acquisition, we introduce ORSim, a controlled client simulator that discloses business facts without supplying OR expertise. Hidden evaluation checks feasibility and compares objective quality against original expert solutions accepted by clients before benchmark construction. Deployment-Adjusted Quality (DAQ) averages expert-relative quality across instances, assigning zero to infeasible deliveries. Across 11 frontier LLMs using coding-agent harnesses, several exceed the expert reference in conditional objective quality, but none matches its DAQ; the strongest primary Claude Code configuration achieves 88.39% strict feasibility and a DAQ of 0.87 against the expert reference of 1. Client information acquisition extends beyond clarification into solution development and validation, with some later stages showing higher confirmed issue-resolution proportions. Trajectory analysis identifies formulation and implementation failures, while task-equalized research-chain completion rates range from 24% to 45% across models on evaluable tasks. These findings motivate sustained information-gap resolution, faithful problem formulation, and evidence-linked self-improvement for reliable long-horizon agents.
- Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、エキスパートレベルのオペレーションリサーチ(OR)ソリューションを、以前の専門家の再編成なしに、元のクライアント資料から直接提供できるだろうか?
既存のORベンチマークは、通常、自己完結した記述や事前定義された最適化タスクから始まり、元のビジネス材料を専門的に検証されたソリューションに変換することの基盤となる。
我々は、有償ORエンゲージメントから10の産業シナリオにわたる31インスタンスのエンドツーエンドベンチマークであるOR-Licenseを紹介した。
元の要求、入力データ、配信可能なフォーマット、識別解除後の情報境界を保存する。
情報取得を研究するために,ORの専門知識を供給せずに業務事実を開示する制御クライアントシミュレータであるORSimを紹介する。
隠れた評価は、実現可能性をチェックし、客観的な品質を、ベンチマーク構築前にクライアントが受け入れた元のエキスパートソリューションと比較する。
デプロイ調整品質(DAQ)は、インスタンスごとのエキスパート相対品質を平均化し、不可能なデリバリにゼロを割り当てる。
コーディングエージェントハーネスを使用した11のフロンティア LLM では、いくつかは条件付き目標品質のエキスパート基準を超えているが、DAQと一致しない。
クライアント情報取得は、ソリューション開発とバリデーションの明確化を超えて、後段では、より高い課題解決比率を示す。
軌道解析は定式化と実装の失敗を識別するが、タスク平等化された研究チェーンの完成率は、評価可能なタスクのモデル全体で24%から45%である。
これらの知見は, 情報ギャップ解決, 忠実な問題定式化, 信頼性のあるロングホライゾンエージェントに対するエビデンスリンク自己改善を動機とする。
関連論文リスト
- VERAS: Verification-Guided Adaptive Search for Reliable Operations Research [7.97240478663009]
本稿では,信頼性の高い操作研究(OR)問題に対する検証誘導型適応検索手法であるVERASを提案する。
VERASは検証証拠を使用して、実現可能性の修復、制約カバレッジのレビュー、ソリューション品質の改善を優先する。
ORAgentBenchでは、VERASは42.99%のパス率を記録し、報告されたコーデックスの35.51%を上回っている。
論文 参考訳（メタデータ） (2026-10-16T23:50:11Z) - Beyond the Verdict: Agentic Code Judging with Verifiable Feedback [54.72977295521153]
我々は,人間の専門家による受諾プログラムと受諾プログラムを用いて,USACO 2026コンテストからUSACO-JUDGEを構築した。
次に、35Bのエージェント検証器であるARBITERを、汎用的な実行サンドボックスで強化学習して訓練する。
トレーニングは、不正なプログラムを40.61%から62.67%に、二分判定の精度を71.41%から87.41%に引き上げる。
論文 参考訳（メタデータ） (2026-10-13T17:22:58Z) - FinancialAuditBench: Benchmark Construction under Differential Privacy Using Real-World Priors [40.32980342691376]
ファイナンシャルアウディベンチ(FinancialAuditBench)は、ファイナンシャルステートメント監査タスクにおけるエージェントの評価のためのベンチマークである。
FinancialAuditBenchは、ワークペーパーの完成と6つの総合的な監査エンゲージメントのレビューにまたがる90のタスクで構成されている。
我々のフレームワークは、プライバシに敏感なドメインにおけるモデル評価とトレーニングのための合成タスクを体系的に生成するためのアプローチを提供する。
論文 参考訳（メタデータ） (2026-09-26T18:07:58Z) - ORAgentBench: Can LLM Agents Solve Challenging Operations Research Tasks End to End? [28.383940617377856]
ORAgentBenchは、自律エージェントを運用研究タスクで評価するための実行基盤ベンチマークである。
さまざまな運用シナリオにまたがる107のヒューマンレビュータスクが含まれており、それぞれに自然言語で簡潔な複数ファイルデータ、設定アーティファクト、必要なスキーマがパッケージされている。
14のフロンティアエージェントモデルによる実験では、現在のエージェントは信頼性の高いORの実践から程遠いままである。
論文 参考訳（メタデータ） (2026-06-18T04:43:23Z) - BenchGuard: Who Guards the Benchmarks? Automated Auditing of LLM Agent Benchmarks [26.58983143152204]
BenchGuardはタスク指向、実行ベースのエージェントベンチマークのための最初の自動監査フレームワークである。
それは、ScienceAgentBenchの12の著者確認問題と、BIXBench Verified-50サブセットのエキスパート特定問題の83.3%を特定している。
USD 15の50の複雑なバイオインフォマティクスタスクの完全な監査により、自動ベンチマーク監査は人間によるレビューの実践的で価値のある補完となる。
論文 参考訳（メタデータ） (2026-04-27T19:51:25Z) - OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation [57.505743202759646]
OccuBenchは10の業界カテゴリと65の専門ドメインにわたる100の現実のプロフェッショナルタスクシナリオをカバーするベンチマークである。
我々のマルチエージェント合成パイプラインは, 可溶性, 校正困難, 文書基底の多様性を保証した評価インスタンスを自動生成する。
論文 参考訳（メタデータ） (2026-04-13T00:27:32Z) - Leveraging LLM Parametric Knowledge for Fact Checking without Retrieval [60.25608870901428]
信頼性は、大規模言語モデル(LLM)上に構築されたエージェントAIシステムの中核研究課題である
本研究では,任意の自然言語クレームの検証に焦点をあて,検索なしで事実チェックを行うタスクを提案する。
論文 参考訳（メタデータ） (2026-03-05T18:42:51Z) - A Benchmark for Deep Information Synthesis [27.87976801124957]
DEEPSYNTHは、大規模言語モデル(LLM)ベースのエージェントを現実的で時間を要する問題で評価するために設計された新しいベンチマークである。
7つのドメインにまたがる120のタスクと67カ国をカバーするデータソースを含んでいる。
DEEPSYNTHで評価すると、11の最先端のLDMとディープリサーチエージェントがLLM-judge測定で最大F1スコア8.97と17.5を達成する。
論文 参考訳（メタデータ） (2026-02-24T17:43:32Z) - Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
既存のベンチマークは、主に質問レベルで質問をキュレートする。
ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
論文 参考訳（メタデータ） (2025-12-31T13:55:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。