論文の概要: RetailBench: Evaluating Long-Horizon Autonomous Decision-Making and Strategy Stability of LLM Agents in Realistic Retail Environments
- arxiv url: http://arxiv.org/abs/2603.16453v1
- Date: Tue, 17 Mar 2026 12:35:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-18 17:42:07.276146
- Title: RetailBench: Evaluating Long-Horizon Autonomous Decision-Making and Strategy Stability of LLM Agents in Realistic Retail Environments
- Title(参考訳): RetailBench: リアルタイム小売環境におけるLLMエージェントの長期自律意思決定と戦略安定性の評価
- Abstract要約: LLM(Large Language Model)ベースのエージェントは、短期的かつ高度に構造化されたタスクにおいて顕著な成功を収めた。
RetailBenchは、現実的な商業シナリオにおいて、長期の自律的な意思決定を評価するために設計された高忠実度ベンチマークである。
低レベルの行動実行から高レベルの戦略的推論を分離するEvolving Strategy & Executionフレームワークを提案する。
- 参考スコア(独自算出の注目度): 8.751899157366005
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Large Language Model (LLM)-based agents have achieved notable success on short-horizon and highly structured tasks. However, their ability to maintain coherent decision-making over long horizons in realistic and dynamic environments remains an open challenge. We introduce RetailBench, a high-fidelity benchmark designed to evaluate long-horizon autonomous decision-making in realistic commercial scenarios, where agents must operate under stochastic demand and evolving external conditions. We further propose the Evolving Strategy & Execution framework, which separates high-level strategic reasoning from low-level action execution. This design enables adaptive and interpretable strategy evolution over time. It is particularly important for long-horizon tasks, where non-stationary environments and error accumulation require strategies to be revised at a different temporal scale than action execution. Experiments on eight state-of-the-art LLMs across progressively challenging environments show that our framework improves operational stability and efficiency compared to other baselines. However, performance degrades substantially as task complexity increases, revealing fundamental limitations in current LLMs for long-horizon, multi-factor decision-making.
- Abstract(参考訳): LLM(Large Language Model)ベースのエージェントは、短期的かつ高度に構造化されたタスクにおいて顕著な成功を収めた。
しかし、現実的でダイナミックな環境において、長い地平線を超えて一貫性のある意思決定を維持する能力は、依然としてオープンな課題である。
RetailBenchは、現実的な商業シナリオにおいて、エージェントが確率的要求の下で動作し、外部条件を進化させなければならない、長期の自律的な意思決定を評価するために設計された高忠実度ベンチマークである。
さらに,低レベルの行動実行から高レベルの戦略推論を分離するEvolving Strategy & Executionフレームワークを提案する。
この設計は、時間とともに適応的で解釈可能な戦略の進化を可能にする。
非定常環境とエラー蓄積は、アクション実行とは異なる時間スケールで修正される戦略を必要とする。
高度に挑戦する環境にまたがる8つの最先端のLCM実験により、我々のフレームワークは、他のベースラインと比較して、運用の安定性と効率を向上することを示した。
しかし、タスクの複雑さが増すにつれて性能は大幅に低下し、長期・多要素意思決定における現在のLLMの基本的限界が明らかになる。
関連論文リスト
- Agentic AI for Bilevel Long-Term Optimization of Policy-Driven Physical Layer Systems [56.931625543734306]
Agentic-Oは、適応的な物理層問題設定に適用可能なネストされた双方向最適化フレームワークである。
Agentic-Oは動的演算子ポリシーに強い適応性を示し、従来の手法と比較してシステムの長期性能を57.2%向上させる。
論文 参考訳(メタデータ) (2026-06-23T10:53:12Z) - RetailBench: Benchmarking long horizon reasoning and coherent decision making of LLM agents in realistic retail environments [8.751899157366005]
大規模言語モデル (LLM) エージェントは、短時間水平、よく観察されたタスクにおいて急速に進歩してきたが、動的な長距離環境におけるコヒーレントな決定を持続する能力は、いまだに不確実である。
RetailBenchは、単一店舗のスーパーマーケットオペレーションにおいて、ツールを使用するLLMエージェントを評価するためのデータグラウンドシミュレーションベンチマークである。
論文 参考訳(メタデータ) (2026-06-14T15:30:30Z) - Beyond Scaling: Assessing Strategic Reasoning and Rapid Decision-Making Capability of LLMs in Zero-sum Environments [15.538910160052964]
本稿では,マルチエージェント評価フレームワークであるStrategic Tactical Agent Reasoning (STAR) Benchmarkを紹介する。
STARはターンベースとリアルタイムの両方の設定をサポートし、長期戦略計画の制御可能な分析を可能にする。
対話型環境における戦略的インテリジェンスは、推論の深さだけでなく、計画をタイムリーな行動に変換する能力にも依存することを示す。
論文 参考訳(メタデータ) (2026-03-10T08:14:13Z) - HiMAC: Hierarchical Macro-Micro Learning for Long-Horizon LLM Agents [19.63866851076813]
HiMACは階層的なエージェントRLフレームワークで、長期の意思決定をマクロレベルの計画とマイクロレベルの実行に分解する。
その結果,モデルスケールを単独で増やすのではなく,構造的階層を導入することが,堅牢な長期エージェントインテリジェンスを実現する上で重要な要素であることが示唆された。
論文 参考訳(メタデータ) (2026-03-01T08:09:03Z) - EcoGym: Evaluating LLMs for Long-Horizon Plan-and-Execute in Interactive Economies [61.267836443398124]
対話型経済における継続的計画・実行意思決定のためのベンチマークであるEcoGymを紹介する。
EcoGymは、透明性のある長期的なエージェント評価のためのオープンなテストベッドとしてリリースされ、現実的な経済環境下でのコントロール可能性とユーティリティのトレードオフを研究するためのものだ。
論文 参考訳(メタデータ) (2026-02-10T08:12:23Z) - PILOT: Planning via Internalized Latent Optimization Trajectories for Large Language Models [51.43746425777865]
大規模言語モデル(LLM)は、しばしばグローバル戦略を定式化する能力に欠けており、長い水平タスクにおけるエラーの伝播につながる。
PILOTは,大規模モデルの戦略的監視を本質的な潜伏誘導に内部化するためのフレームワークである。
論文 参考訳(メタデータ) (2026-01-07T12:38:56Z) - Learning Affordances at Inference-Time for Vision-Language-Action Models [50.93181349331096]
ロボット工学において、VLA(Vision-Language-Action Model)は複雑な制御タスクを解くための有望な道を提供する。
本稿では,VLAの低レベルポリシーを過去の経験を条件とした高レベルVLMに接続するLITEN(Learning from Inference-Time Execution)を紹介する。
提案手法は,低レベルVLAの計画の生成と実行を行う推論フェーズと,その結果を反映した評価フェーズとを反復する。
論文 参考訳(メタデータ) (2025-10-22T16:43:29Z) - HeroBench: A Benchmark for Long-Horizon Planning and Structured Reasoning in Virtual Worlds [0.0]
大規模言語モデル(LLM)は、数学やプログラミングのようなステップバイステップの推論タスクにおいて顕著な能力を示している。
しかし、ソリューションが拡張され、構造化された相互依存的なアクションのシーケンスを必要とする長期計画におけるそれらの習熟度は、まだ未解明のままである。
我々は,RPGにインスパイアされた複雑な仮想世界において,長期計画と構造化推論を評価するために設計された新しいベンチマークであるHeroBenchを紹介する。
論文 参考訳(メタデータ) (2025-08-18T09:59:02Z) - Structured Preference Optimization for Vision-Language Long-Horizon Task Planning [72.60833832298343]
視覚言語タスクプランニングの既存の方法は、短期水平タスクでは優れているが、動的環境における複雑な長期水平計画では不足することが多い。
これらの課題は、ロングホライゾンタスクのための高品質な推論プロセスを生成するために、効果的にモデルを訓練することの難しさから生じる。
本研究では,長期タスク計画における推論と行動選択の促進を目的とした構造的選好最適化(SPO)を提案する。
論文 参考訳(メタデータ) (2025-02-28T05:47:34Z) - EPO: Explicit Policy Optimization for Strategic Reasoning in LLMs via Reinforcement Learning [69.55982246413046]
戦略的推論のための明示的なポリシー最適化(EPO)を提案する。
我々は,マルチターン強化学習(RL)による戦略的推論モデルを訓練し,プロセス報酬と反復的な自己プレイを活用する。
本研究は, EPOに出現する様々な協調的推論機構と, 新規戦略の創出における有効性を明らかにするものである。
論文 参考訳(メタデータ) (2025-02-18T03:15:55Z) - STRIDE: A Tool-Assisted LLM Agent Framework for Strategic and Interactive Decision-Making [43.734386326024016]
大規模言語モデル(LLM)は自然言語処理に革命をもたらしており、言語能力と推論能力が顕著である。
本稿では,その戦略的意思決定能力を高めるため,メモリと特殊なツールを備えた新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-05-25T23:25:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。