論文の概要: Optimising Call Centre Operations using Reinforcement Learning: Value Iteration versus Proximal Policy Optimisation

• arxiv url: http://arxiv.org/abs/2507.18398v1
• Date: Thu, 24 Jul 2025 13:31:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-25 15:10:43.725652
• Title: Optimising Call Centre Operations using Reinforcement Learning: Value Iteration versus Proximal Policy Optimisation
• Title（参考訳）: 強化学習によるコールセンター操作の最適化:価値イテレーションと政策最適化
• Authors: Kwong Ho Li, Wathsala Karunarathne,
• Abstract要約: 本稿では、コールセンタにおける呼び出しルーティングを最適化するための強化学習(RL)の適用について検討する。 経験から学ぶPPO(Proximal Policy optimization)を用いたモデルフリーアプローチと、既知のシステムダイナミクス下での値反復(VI)を用いたモデルベースアプローチを比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: This paper investigates the application of Reinforcement Learning (RL) to optimise call routing in call centres to minimise client waiting time and staff idle time. Two methods are compared: a model-based approach using Value Iteration (VI) under known system dynamics, and a model-free approach using Proximal Policy Optimisation (PPO) that learns from experience. For the model-based approach, a theoretical model is used, while a simulation model combining Discrete Event Simulation (DES) with the OpenAI Gym environment is developed for model-free learning. Both models frame the problem as a Markov Decision Process (MDP) within a Skills-Based Routing (SBR) framework, with Poisson client arrivals and exponentially distributed service and abandonment times. For policy evaluation, random, VI, and PPO policies are evaluated using the simulation model. After 1,000 test episodes, PPO consistently achives the highest rewards, along with the lowest client waiting time and staff idle time, despite requiring longer training time.
• Abstract（参考訳）: 本稿では,クライアント待ち時間とスタッフアイドル時間を最小限に抑えるため,コールセンターでの呼び出しルーティングを最適化するための強化学習(RL)の適用について検討する。 経験から学ぶPPO(Proximal Policy Optimisation)を用いたモデルフリーアプローチと、既知のシステムダイナミクス下での値反復(VI)を用いたモデルベースアプローチを比較した。 モデルベースアプローチでは、理論モデルを用いて、離散事象シミュレーション(DES)とOpenAI Gym環境を組み合わせたシミュレーションモデルをモデルフリー学習のために開発する。 どちらのモデルも、SBR(Skills-Based Routing)フレームワーク内のMarkov Decision Process(MDP)として、Poissonクライアントの到着と指数関数的に分散されたサービスと放棄時間によってこの問題に対処する。 政策評価では, ランダム, VI, PPO ポリシをシミュレーションモデルを用いて評価する。 1000回のテストの後、PPOはトレーニング時間を要するにもかかわらず、最低のクライアント待ち時間とスタッフアイドル時間とともに、常に最高報酬を達成している。

関連論文リスト

• Intention-Conditioned Flow Occupancy Models [69.79049994662591]
  大規模な事前学習は、今日の機械学習研究のやり方を根本的に変えた。 同じフレームワークを強化学習に適用することは、RLの中核的な課題に対処するための魅力的な方法を提供するので、魅力的です。 生成AIの最近の進歩は、高度に複雑な分布をモデリングするための新しいツールを提供している。
  論文  参考訳（メタデータ） (2025-06-10T15:27:46Z)
• Lean and Mean: Decoupled Value Policy Optimization with Global Value Guidance [52.65461207786633]
  政策に基づく人間からのフィードバックからの強化学習は、大きな言語モデルと人間の嗜好の整合に不可欠である。 俳優と批評家の合同トレーニングと、事前訓練された一定の報酬モデルによる指導が必要である。 従来の報酬モデリングを事前訓練されたEmphglobal Value Model(GVM)に置き換えるリーンフレームワークである textbfDecoupled Value Policy Optimization (DVPO) を提案する。
  論文  参考訳（メタデータ） (2025-02-24T08:11:33Z)
• Fine-Tuning Language Models with Reward Learning on Policy [68.70065254564642]
  人間からのフィードバックからの強化学習(RLHF)は、大きな言語モデル(LLM)を人間の好みに合わせる効果的なアプローチとして現れている。 その人気にもかかわらず、(固定された)報酬モデルが不正確な流通に悩まされることがある。 本稿では、政策サンプルを用いて報酬モデルを洗練し、流通を継続する、教師なしのフレームワークであるポリシーに関する報酬学習(RLP)を提案する。
  論文  参考訳（メタデータ） (2024-03-28T10:02:10Z)
• Simplified Temporal Consistency Reinforcement Learning [19.814047499837084]
  本稿では,潜時整合性によって訓練された潜時力学モデルに依存する単純な表現学習手法が,高性能なRLには十分であることを示す。 提案手法は,モデルフリー手法を大きなマージンで上回り,モデルベース手法のサンプル効率を2.4倍高速にトレーニングしながら比較する。
  論文  参考訳（メタデータ） (2023-06-15T19:37:43Z)
• The Virtues of Laziness in Model-based RL: A Unified Objective and Algorithms [37.025378882978714]
  モデルベース強化学習(MBRL)における2つの基本的な課題に対処する新しいアプローチを提案する。 我々の「怠慢」な手法は、学習された方針と専門家の政策の間のパフォーマンスの違いを捉えるために、モデルにおけるアドバンテージによるパフォーマンスの差異という、新しい統合された目的を生かしている。 提案する目的を最適化する2つの非回帰アルゴリズムを提案し,その統計的および計算的ゲインを実証する。
  論文  参考訳（メタデータ） (2023-03-01T17:42:26Z)
• Model-based Safe Deep Reinforcement Learning via a Constrained Proximal Policy Optimization Algorithm [4.128216503196621]
  オンライン方式で環境の遷移動態を学習する,オンライン型モデルに基づくセーフディープRLアルゴリズムを提案する。 我々は,本アルゴリズムがより標本効率が高く,制約付きモデルフリーアプローチと比較して累積的ハザード違反が低いことを示す。
  論文  参考訳（メタデータ） (2022-10-14T06:53:02Z)
• Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
  H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。 自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
  論文  参考訳（メタデータ） (2022-03-14T17:24:03Z)
• On Effective Scheduling of Model-based Reinforcement Learning [53.027698625496015]
  実データ比率を自動的にスケジュールするAutoMBPOというフレームワークを提案する。 本稿ではまず,政策訓練における実データの役割を理論的に分析し,実際のデータの比率を徐々に高めれば,より優れた性能が得られることを示唆する。
  論文  参考訳（メタデータ） (2021-11-16T15:24:59Z)
• COMBO: Conservative Offline Model-Based Policy Optimization [120.55713363569845]
  ディープニューラルネットワークのような複雑なモデルによる不確実性推定は困難であり、信頼性が低い。 我々は,サポート外状態動作の値関数を正規化するモデルベースオフラインRLアルゴリズムCOMBOを開発した。 従来のオフラインモデルフリーメソッドやモデルベースメソッドと比べて、comboは一貫してパフォーマンスが良いことが分かりました。
  論文  参考訳（メタデータ） (2021-02-16T18:50:32Z)
• Model-based Reinforcement Learning for Semi-Markov Decision Processes with Neural ODEs [30.36381338938319]
  ニューラル常微分方程式(ODE)を用いた連続時間力学のモデリングのための2つの解を提案する。 我々のモデルは、連続時間力学を正確に特徴付け、少量のデータを用いて高性能なポリシーを開発することができる。 各種連続時間領域における手法の有効性を実験的に実証した。
  論文  参考訳（メタデータ） (2020-06-29T17:21:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。