論文の概要: Dual Policy Reinforcement Learning for Real-time Rebalancing in Bike-sharing Systems

• arxiv url: http://arxiv.org/abs/2406.00868v1
• Date: Sun, 2 Jun 2024 21:05:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 02:56:53.452604
• Title: Dual Policy Reinforcement Learning for Real-time Rebalancing in Bike-sharing Systems
• Title（参考訳）: 自転車共有システムにおけるリアルタイムリバランシングのためのデュアルポリシー強化学習
• Authors: Jiaqi Liang, Defeng Liu, Sanjay Dominik Jena, Andrea Lodi, Thibaut Vidal,
• Abstract要約: 自転車シェアリングシステムは、交通渋滞を緩和し、より健康的なライフスタイルを促進する上で重要な役割を担っている。 本研究では,車両群によるリアルタイムリバランス問題に対処するための新しいアプローチを提案する。 在庫とルーティングの決定を分離する、二重ポリシー強化学習アルゴリズムを採用している。
• 参考スコア（独自算出の注目度）: 13.083156894368532
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Bike-sharing systems play a crucial role in easing traffic congestion and promoting healthier lifestyles. However, ensuring their reliability and user acceptance requires effective strategies for rebalancing bikes. This study introduces a novel approach to address the real-time rebalancing problem with a fleet of vehicles. It employs a dual policy reinforcement learning algorithm that decouples inventory and routing decisions, enhancing realism and efficiency compared to previous methods where both decisions were made simultaneously. We first formulate the inventory and routing subproblems as a multi-agent Markov Decision Process within a continuous time framework. Subsequently, we propose a DQN-based dual policy framework to jointly estimate the value functions, minimizing the lost demand. To facilitate learning, a comprehensive simulator is applied to operate under a first-arrive-first-serve rule, which enables the computation of immediate rewards across diverse demand scenarios. We conduct extensive experiments on various datasets generated from historical real-world data, affected by both temporal and weather factors. Our proposed algorithm demonstrates significant performance improvements over previous baseline methods. It offers valuable practical insights for operators and further explores the incorporation of reinforcement learning into real-world dynamic programming problems, paving the way for more intelligent and robust urban mobility solutions.
• Abstract（参考訳）: 自転車シェアリングシステムは、交通渋滞を緩和し、より健康的なライフスタイルを促進する上で重要な役割を担っている。 しかし、信頼性とユーザの受け入れを確保するためには、自転車の再バランスのための効果的な戦略が必要である。 本研究では,車両群によるリアルタイムリバランス問題に対処するための新しいアプローチを提案する。 在庫とルーティングの決定を分離するデュアルポリシー強化学習アルゴリズムを採用し、両方の決定を同時に行う従来の方法と比較してリアリズムと効率を向上させる。 まず、在庫とルーティングサブプロブレムを、連続的な時間枠内でマルチエージェントのマルコフ決定プロセスとして定式化する。 次に、損失需要を最小化するDQNに基づく二重ポリシーフレームワークを提案する。 学習を容易にするため、多様な需要シナリオにまたがる即時報酬の計算を可能にする、ファーストアーリー・ファースト・サーブ・ルールの下での運用に包括的なシミュレータを適用した。 歴史的実世界のデータから生成された様々なデータセットについて、時間的・気象的要因の影響を受けながら広範囲にわたる実験を行った。 提案アルゴリズムは,従来のベースライン法よりも優れた性能を示す。 オペレータにとって貴重な実践的な洞察を提供し、実世界の動的プログラミング問題への強化学習の組み入れを探求し、よりインテリジェントで堅牢な都市モビリティソリューションへの道を開く。

関連論文リスト

• A Reinforcement Learning Approach for Dynamic Rebalancing in Bike-Sharing System [11.237099288412558]
  自転車シェアリングシステムはエコフレンドリーな都市移動を提供し、交通渋滞と健康的な生活様式の緩和に貢献している。 駅間で自転車を再分配するための車両を用いた効果的な再バランス戦略の開発は、オペレーターにとって非常に重要である。 本稿では,複数の車両との動的再バランス問題に対する時間的強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-05T23:46:42Z)
• MOTO: Offline Pre-training to Online Fine-tuning for Model-based Robot Learning [52.101643259906915]
  本研究では,高次元観測による強化学習におけるオフライン事前学習とオンラインファインチューニングの問題について検討する。 既存のモデルベースオフラインRL法は高次元領域におけるオフラインからオンラインへの微調整には適していない。 本稿では,事前データをモデルベース値拡張とポリシー正則化によって効率的に再利用できるオンラインモデルベース手法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T21:04:31Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Combinatorial Optimization enriched Machine Learning to solve the Dynamic Vehicle Routing Problem with Time Windows [5.4807970361321585]
  最適化層を組み込んだ新しい機械学習パイプラインを提案する。 最近,EURO Meets NeurIPS Competition at NeurIPS 2022において,このパイプラインを波による動的車両ルーティング問題に適用した。 提案手法は,提案した動的車両経路問題の解法において,他の全ての手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-04-03T08:23:09Z)
• NeurIPS 2022 Competition: Driving SMARTS [60.948652154552136]
  ドライビングSMARTSは、動的相互作用コンテキストにおける分散シフトに起因する問題に対処するために設計された定期的な競争である。 提案するコンペティションは,強化学習(RL)やオフライン学習など,方法論的に多様なソリューションをサポートする。
  論文  参考訳（メタデータ） (2022-11-14T17:10:53Z)
• UMBRELLA: Uncertainty-Aware Model-Based Offline Reinforcement Learning Leveraging Planning [1.1339580074756188]
  オフライン強化学習(RL)は、オフラインデータから意思決定を学ぶためのフレームワークを提供する。 自動運転車(SDV)は、おそらく準最適データセットの振る舞いよりも優れるポリシーを学ぶ。 これはモデルベースのオフラインRLアプローチの使用を動機付け、プランニングを活用する。
  論文  参考訳（メタデータ） (2021-11-22T10:37:52Z)
• Value Function is All You Need: A Unified Learning Framework for Ride Hailing Platforms [57.21078336887961]
  DiDi、Uber、Lyftなどの大型配車プラットフォームは、都市内の数万台の車両を1日中数百万の乗車要求に接続している。 両課題に対処するための統合価値に基づく動的学習フレームワーク(V1D3)を提案する。
  論文  参考訳（メタデータ） (2021-05-18T19:22:24Z)
• Real-world Ride-hailing Vehicle Repositioning using Deep Reinforcement Learning [52.2663102239029]
  アイドルヘイリングプラットフォーム上での現実世界の車両の深層強化学習と意思決定時間計画に基づく新しい実用的枠組みを提示する。 本手法は,重み付きバッチ学習アルゴリズムを用いて乗車時の状態値関数を学習する。 配車シミュレーション環境におけるベースラインでアルゴリズムをベンチマークし、収益効率の向上における優位性を実証します。
  論文  参考訳（メタデータ） (2021-03-08T05:34:05Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)
• Efficiency and Equity are Both Essential: A Generalized Traffic Signal Controller with Deep Reinforcement Learning [25.21831641893209]
  本稿では,信号制御系に対して,最適化されたトラフィックフローを目的とした深層強化学習を用いた学習ポリシーを提案する。 提案手法は,効率と公平性を同時に考慮した報酬関数の新規な定式化を用いている。 シミュレーションおよび実世界のデータを用いた実験により,提案アルゴリズムが最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2020-03-09T11:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。