論文の概要: Reinforcement Learning-based Approach for Vehicle-to-Building Charging with Heterogeneous Agents and Long Term Rewards
- arxiv url: http://arxiv.org/abs/2502.18526v1
- Date: Mon, 24 Feb 2025 19:24:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-27 14:59:01.303712
- Title: Reinforcement Learning-based Approach for Vehicle-to-Building Charging with Heterogeneous Agents and Long Term Rewards
- Title（参考訳）: 強化学習に基づく不均質エージェントと長期リワードによる自動車間充電のアプローチ
- Authors: Fangqi Liu, Rishav Sen, Jose Paolo Talusan, Ava Pettet, Aaron Kandel, Yoshinori Suzue, Ayan Mukhopadhyay, Abhishek Dubey,
- Abstract要約: 本稿では,行動マスキングとMILPによる効率的な政策ガイダンスを併用した新しいRLフレームワークを提案する。
当社のアプローチは、ユーザの充電要求を満たすために、継続的なアクションスペースの探索のバランスを取る。
提案手法は,V2Bエネルギー管理の課題を解決するための,最初のスケーラブルで汎用的なアプローチの1つである。
- 参考スコア（独自算出の注目度）: 3.867907469895697
- License:
- Abstract: Strategic aggregation of electric vehicle batteries as energy reservoirs can optimize power grid demand, benefiting smart and connected communities, especially large office buildings that offer workplace charging. This involves optimizing charging and discharging to reduce peak energy costs and net peak demand, monitored over extended periods (e.g., a month), which involves making sequential decisions under uncertainty and delayed and sparse rewards, a continuous action space, and the complexity of ensuring generalization across diverse conditions. Existing algorithmic approaches, e.g., heuristic-based strategies, fall short in addressing real-time decision-making under dynamic conditions, and traditional reinforcement learning (RL) models struggle with large state-action spaces, multi-agent settings, and the need for long-term reward optimization. To address these challenges, we introduce a novel RL framework that combines the Deep Deterministic Policy Gradient approach (DDPG) with action masking and efficient MILP-driven policy guidance. Our approach balances the exploration of continuous action spaces to meet user charging demands. Using real-world data from a major electric vehicle manufacturer, we show that our approach comprehensively outperforms many well-established baselines and several scalable heuristic approaches, achieving significant cost savings while meeting all charging requirements. Our results show that the proposed approach is one of the first scalable and general approaches to solving the V2B energy management challenge.
- Abstract（参考訳）: 電力貯水池としての電気自動車バッテリーの戦略的集約は電力グリッド需要を最適化し、スマートでコネクテッドなコミュニティ、特に職場の充電を提供する大きなオフィスビルに恩恵をもたらす。
これは、充電と放電を最適化してピークエネルギーコストとネットピーク需要を削減し、不確実性と遅延とスパース報酬によるシーケンシャルな決定を長期にわたって監視すること、継続的な行動空間、様々な条件における一般化を保証する複雑さを含む。
既存のアルゴリズム的アプローチ、例えばヒューリスティックベースの戦略は、動的条件下でのリアルタイムな意思決定に対処するには不十分であり、従来の強化学習(RL)モデルは、大きな状態アクション空間、マルチエージェント設定、長期報酬最適化の必要性に苦しむ。
これらの課題に対処するために,DDPG(Deep Deterministic Policy Gradient approach)とアクションマスキング,MILPによる効率的なポリシーガイダンスを組み合わせた新しいRLフレームワークを提案する。
当社のアプローチは、ユーザの充電要求を満たすために、継続的なアクションスペースの探索のバランスを取る。
大手電気自動車メーカーの実際のデータを用いて、当社のアプローチは、多くの確立されたベースラインとスケーラブルなヒューリスティックアプローチを総合的に上回り、すべての充電要件を満たしながら大幅なコスト削減を実現していることを示す。
提案手法は,V2Bエネルギー管理の課題を解決するための,最初のスケーラブルで汎用的なアプローチの1つである。
関連論文リスト
- Advancing Generative Artificial Intelligence and Large Language Models for Demand Side Management with Internet of Electric Vehicles [52.43886862287498]
本稿では,大規模言語モデル(LLM)のエネルギー管理への統合について検討する。
本稿では、自動問題定式化、コード生成、カスタマイズ最適化のために、LLMを検索拡張生成で強化する革新的なソリューションを提案する。
本稿では,電気自動車の充電スケジューリングと最適化における提案手法の有効性を示すケーススタディを提案する。
論文 参考訳（メタデータ） (2025-01-26T14:31:03Z) - Optimizing Load Scheduling in Power Grids Using Reinforcement Learning and Markov Decision Processes [0.0]
本稿では,動的負荷スケジューリングの課題に対処する強化学習(RL)手法を提案する。
提案手法は実時間負荷スケジューリングのためのロバストでスケーラブルなソリューションを提供する。
論文 参考訳（メタデータ） (2024-10-23T09:16:22Z) - EnergAIze: Multi Agent Deep Deterministic Policy Gradient for Vehicle to Grid Energy Management [0.0]
本稿では,MARL(Multi-Agent Reinforcement Learning)エネルギー管理フレームワークであるEnergAIzeを紹介する。
ユーザ中心の多目的エネルギー管理を可能にし、各プローサが様々な個人管理目標から選択できるようにする。
EnergAIzeの有効性は、CityLearnシミュレーションフレームワークを用いたケーススタディにより評価された。
論文 参考訳（メタデータ） (2024-04-02T23:16:17Z) - A Human-on-the-Loop Optimization Autoformalism Approach for
Sustainability [27.70596933019959]
本稿では,大規模言語モデル(LLM)を用いたパーソナライズされたエネルギー問題に対する自然な対話的アプローチについて概説する。
我々は,LLMを最適化解決器で強化し,ユーザの仕様や好みを理解し,応答する能力を高める戦略を提唱した。
提案手法は,自然言語タスク仕様を自動で最適化インスタンスに翻訳することで,人間誘導最適化オートフォーマリズムという新しい概念を開拓する。
論文 参考訳（メタデータ） (2023-08-20T22:42:04Z) - Sustainable AIGC Workload Scheduling of Geo-Distributed Data Centers: A
Multi-Agent Reinforcement Learning Approach [48.18355658448509]
生成的人工知能の最近の進歩は、機械学習トレーニングの需要が急増し、エネルギー消費の大幅な増加によるコスト負担と環境問題を引き起こしている。
地理的に分散したクラウドデータセンタ間でのトレーニングジョブのスケジューリングは、安価で低炭素エネルギーのコンピューティング能力の使用を最適化する機会を浮き彫りにする。
本研究では,実生活におけるワークロードパターン,エネルギー価格,炭素強度を組み込んだクラウドシステムと対話することで,マルチエージェント強化学習とアクタクリティカルな手法に基づく最適協調スケジューリング戦略の学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-04-17T02:12:30Z) - Distributed Energy Management and Demand Response in Smart Grids: A
Multi-Agent Deep Reinforcement Learning Framework [53.97223237572147]
本稿では、自律制御と再生可能エネルギー資源のスマート電力グリッドシステムへの統合のための多エージェント深層強化学習(DRL)フレームワークを提案する。
特に,提案フレームワークは,住宅利用者に対する需要応答 (DR) と分散エネルギー管理 (DEM) を共同で検討している。
論文 参考訳（メタデータ） (2022-11-29T01:18:58Z) - Optimized cost function for demand response coordination of multiple EV
charging stations using reinforcement learning [6.37470346908743]
我々は、複数の充電ステーションを同時に調整するマルコフ決定プロセス(MDP)に基づいて、RLに関する以前の研究に基づいて構築する。
我々は、基本的に、学習した制御ポリシーに対して、柔軟性を提供しない充電需要を常に満たすよう強制するコスト関数の改善を提案する。
提案したバッチRLのQ-iteration実装を,実世界のデータを用いて,オリジナル(コスト)のQ-iteration実装と厳密に比較する。
論文 参考訳（メタデータ） (2022-03-03T11:22:27Z) - Intelligent Electric Vehicle Charging Recommendation Based on
Multi-Agent Reinforcement Learning [42.31586065609373]
電気自動車(ev)はその環境とエネルギーの持続可能性のために現代の交通システムで選択されている。
多くの都市では、限られた充電インフラとほとんどバランスの取れない充電需要のために、EVドライバーは充電に適した場所を見つけることができません。
公共充電ステーションをインテリジェントに推奨する,マルチエージェント時空間時空間学習(MasterReinforce)というフレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-15T06:23:59Z) - Demand-Side Scheduling Based on Multi-Agent Deep Actor-Critic Learning
for Smart Grids [56.35173057183362]
家庭用家電をネットでスケジュールできるスマートメーターが各家庭に備わっている需要側エネルギー管理の問題点を考察する。
目標は、リアルタイムの料金体系の下で全体のコストを最小化することです。
マルコフゲームとしてスマートグリッド環境の定式化を提案する。
論文 参考訳（メタデータ） (2020-05-05T07:32:40Z) - Risk-Aware Energy Scheduling for Edge Computing with Microgrid: A
Multi-Agent Deep Reinforcement Learning Approach [82.6692222294594]
マイクログリッドを用いたMECネットワークにおけるリスク対応エネルギースケジューリング問題について検討する。
ニューラルネットワークを用いたマルチエージェントディープ強化学習(MADRL)に基づくアドバンテージアクター・クリティック(A3C)アルゴリズムを適用し,その解を導出する。
論文 参考訳（メタデータ） (2020-02-21T02:14:38Z) - Multi-Agent Meta-Reinforcement Learning for Self-Powered and Sustainable
Edge Computing Systems [87.4519172058185]
エッジコンピューティング機能を有するセルフパワー無線ネットワークの効率的なエネルギー分配機構について検討した。
定式化問題を解くために,新しいマルチエージェントメタ強化学習(MAMRL)フレームワークを提案する。
実験の結果、提案されたMAMRLモデルは、再生不可能なエネルギー使用量を最大11%削減し、エネルギーコストを22.4%削減できることが示された。
論文 参考訳（メタデータ） (2020-02-20T04:58:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。