論文の概要: OutfitterBench: Evaluating LLM Agents on Long-Horizon Resource Allocation and Commitment Coordination
- arxiv url: http://arxiv.org/abs/2611.17933v1
- Date: Fri, 13 Nov 2026 09:11:54 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:31:31.464802
- Title: OutfitterBench: Evaluating LLM Agents on Long-Horizon Resource Allocation and Commitment Coordination
- Title(参考訳): OutfitterBench:長期資源配分とコミット調整のためのLCMエージェントの評価
- Abstract要約: 我々はOutfitterBenchを紹介し、エージェントは200日間、アウトドア・エクイプメント・レンタルビジネスを管理する。
固定された首都天井の下では、予約と不確実なウォークイン需要が、時間とともに可用性が変化する再利用可能な機器を競う。
軌道分析は、一部のエージェントが既知の制約を矛盾なく適用し、既存のコミットメントと矛盾する新しい決定を行うことを示している。
- 参考スコア(独自算出の注目度): 13.635426739166403
- License:
- Abstract: In many long-horizon settings, an agent's own choices create future constraints: committing finite capacity establishes future obligations and forecloses later opportunities. Sustaining performance therefore requires both keeping evolving plans feasible and comparing the value of resource allocations with the alternatives they displace. Recent benchmarks increasingly evaluate LLM agents in continuing operations, but give less attention to how agents keep their own commitments feasible while reassessing resource allocations as opportunities change. We introduce OutfitterBench, where agents manage an outdoor-equipment rental business for 200 days, purchasing from a 46-product catalog and handling roughly 1,100 reservation requests. Under a fixed capital ceiling, reservations and uncertain walk-in demand compete for reusable equipment whose availability changes over time. Experiments with seven frontier LLMs show that several agents underperform a simple rule-based baseline, while only the leading agent consistently surpasses it. Trajectory analysis shows that some agents apply known constraints inconsistently and make new decisions that conflict with existing commitments. Agents with more reliable fulfillment can still secure low returns from comparable commitments or delay resource reallocation. The leading agent better connects preparation with economic choices but also misses opportunities for more profitable asset use. These findings highlight limitations in sustaining coherent resource plans and reassessing their value over time. The benchmark code is publicly available at https://github.com/adminblackjack/OutfitterBench.
- Abstract(参考訳): 多くの長期的設定において、エージェント自身の選択は将来の制約を生み出す: 有限能力のコミットは将来の義務を確立し、後の機会を予知する。
したがって、パフォーマンスを維持するには、進化する計画を維持することと、リソース割り当ての価値を置き換えた代替品と比較することの両方が必要である。
近年のベンチマークでは、LLMエージェントの継続的な運用の評価が増加しているが、機会の変化に応じてリソース割り当てを再評価しながら、エージェントが自身のコミットメントを維持する方法についてはあまり注目されていない。
そこで,アウトフィッターベンチ(OutfitterBench)について紹介する。アウトフィッターベンチ(OutfitterBench)では,エージェントが200日間,46品目カタログから購入し,約1,100件の予約要求を処理する。
固定された首都天井の下では、予約と不確実なウォークイン需要が、時間とともに可用性が変化する再利用可能な機器を競う。
7つのフロンティア LLM による実験では、いくつかのエージェントが単純なルールベースのベースラインを過小評価しているが、リードエージェントだけがそれを常に上回っている。
軌道分析は、一部のエージェントが既知の制約を矛盾なく適用し、既存のコミットメントと矛盾する新しい決定を行うことを示している。
信頼性の高いフルフィルメントを持つエージェントは、同等のコミットメントから低いリターンを確保したり、リソースのリロケーションを遅らせたりすることができる。
指導的エージェントは、経済的な選択と準備を結びつけるのが良いが、より利益の出る資産利用の機会を逃す。
これらの知見は、コヒーレントな資源計画を維持し、時間とともに価値を再評価する際の限界を浮き彫りにしている。
ベンチマークコードはhttps://github.com/adminblackjack/OutfitterBench.comで公開されている。
関連論文リスト
- Don't Lose the Thread: Empowering Long-Horizon LLM Agents with Cognitive Resource Self-Allocation [75.90509066213482]
認知資源自己割当(Cognitive Resource Self-Allocation、CORAL)は、エージェントが積極的にコンテキストを最適化できるようにする新しい推論パラダイムである。
CORALは、エージェントがタスクの進捗と検証された事実をチェックポイントし、新しい問題解決のエピソードを適応的に開始することを可能にする。
GAIAベンチマークでは、8BモデルによるCORALの平均精度は42.8%であり、特に最も困難な長距離タスクでは顕著に向上している。
論文 参考訳(メタデータ) (2026-10-29T16:07:10Z) - CLQT: A Closed-Loop, Cost-Aware, Strategy-Consistent Benchmark for Diagnostic Evaluation of LLM Portfolio-Management Agents [0.9924185669370708]
CLQTはクローズドループ取引の評価をランキングではなく診断として再設定する。
CLQTは、完全にクローズドループで、コストを意識し、戦略に一貫性があり、時間的に制限された環境である。
論文 参考訳(メタデータ) (2026-06-29T04:26:30Z) - Learning Agent-Compatible Context Management for Long-Horizon Tasks [79.09330817637205]
フリーズエージェントのコンテキストを管理するために外部LLMをトレーニングするAdaptive Context Management (AdaCoM)を導入する。
AdaCoMは、静的なコンテンツをプルーニングしながらタスク制約と進捗を保ち、パフォーマンスを大幅に改善する。
学習した戦略は、忠実度-信頼性のトレードオフを明らかにしている: よりバニラリアクトなパフォーマンスを持つエージェントは、高忠実度コンテキストの保存から恩恵を受ける一方、低いパフォーマンスのエージェントは、信頼できる推論体制内に留まるためにより攻撃的な圧縮を必要とする。
論文 参考訳(メタデータ) (2026-05-29T03:21:08Z) - Co-Evolving LLM Decision and Skill Bank Agents for Long-Horizon Tasks [83.4942519570046]
大型言語モデル(LLM)はゲームプレイエージェントとして有望な代替手段を提供するが、一貫した長期的意思決定に苦戦することが多い。
我々は、LLM決定エージェントが学習可能なスキルバンクからスキルを回収し、アクションテイクをガイドするコ進化フレームワークであるCOSPLAYを提案する。
当社のフレームワークは,スキル検索とアクション生成を学習するための意思決定エージェントを改良し,スキルバンクエージェントは,契約とともに継続的にスキルを抽出し,洗練し,更新する。
論文 参考訳(メタデータ) (2026-04-22T18:17:17Z) - Can LLM Agents Be CFOs? A Benchmark for Resource Allocation in Dynamic Enterprise Environments [39.051947374027435]
長期のエンタープライズリソースアロケーションにおけるエージェント評価のための最初のベンチマークであるEnterpriseArenaを紹介する。
CFOスタイルの意思決定を、企業レベルの財務データ、匿名化されたビジネス文書、マクロ経済と産業のシグナル、専門家が検証した運用ルールを組み合わせた132ヶ月の企業シミュレータでインスタンス化する。
実験の結果、ランの16%のみが全地平線を乗り越えており、より大きなモデルでは、より小さなモデルよりも確実に性能が良くないことがわかった。
論文 参考訳(メタデータ) (2026-03-24T18:25:00Z) - AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress [71.02263260394261]
大規模言語モデル(LLM)は、マルチターン意思決定タスクにおいて依然として課題に直面している。
プロセス報酬モデル(PRM)を構築し、各意思決定を評価し、エージェントの意思決定プロセスを導く。
AgentPRMは、シーケンシャルな決定と最終的な目標への貢献の間の相互依存の両方をキャプチャする。
論文 参考訳(メタデータ) (2025-11-11T14:57:54Z) - StockBench: Can LLM Agents Trade Stocks Profitably In Real-world Markets? [44.10622904101254]
大規模言語モデル(LLM)は、最近、自律エージェントとして強力な能力を示した。
実時間複数ヶ月の株式トレーディング環境でLLMエージェントを評価するためのベンチマークであるStockBenchを紹介する。
我々の評価では、ほとんどのLLMエージェントは、単純な買い買い得ベースラインよりも優れているが、いくつかのモデルでは、より高いリターンをもたらし、より効果的にリスクを管理する可能性を実証している。
論文 参考訳(メタデータ) (2025-10-02T16:54:57Z) - AgentBench: Evaluating LLMs as Agents [99.12825098528212]
エージェントとしてのLarge Language Model (LLM)は近年広く認知されている。
我々は,LLM-as-Agentの推論と意思決定能力を評価するために,8つの異なる環境からなるベンチマークであるAgentBenchを提案する。
論文 参考訳(メタデータ) (2023-08-07T16:08:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。