論文の概要: The Pump Scheduling Problem: A Real-World Scenario for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2210.11111v2
• Date: Mon, 12 May 2025 15:37:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-15 15:30:05.195029
• Title: The Pump Scheduling Problem: A Real-World Scenario for Reinforcement Learning
• Title（参考訳）: ポンプスケジューリング問題:強化学習のための実世界シナリオ
• Authors: Henrique Donâncio, Laurent Vercouter, Harald Roclawski,
• Abstract要約: 実世界の配水施設において,ポンプスケジューリング問題に基づくテストベッドを導入する。 テストベッドには,現実的なシミュレータ,人力制御による3年間の高解像度(1分間)操作データ,ベースラインRLタスクの定式化が含まれている。
• 参考スコア（独自算出の注目度）: 0.12289361708127873
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Deep Reinforcement Learning (DRL) has demonstrated impressive results in domains such as games and robotics, where task formulations are well-defined. However, few DRL benchmarks are grounded in complex, real-world environments, where safety constraints, partial observability, and the need for hand-engineered task representations pose significant challenges. To help bridge this gap, we introduce a testbed based on the pump scheduling problem in a real-world water distribution facility. The task involves controlling pumps to ensure a reliable water supply while minimizing energy consumption and respecting the constraints of the system. Our testbed includes a realistic simulator, three years of high-resolution (1-minute) operational data from human-led control, and a baseline RL task formulation. This testbed supports a wide range of research directions, including offline RL, safe exploration, inverse RL, and multi-objective optimization.
• Abstract（参考訳）: Deep Reinforcement Learning (DRL)は、タスクの定式化が適切に定義されているゲームやロボティクスなどの分野において、印象的な結果を実証している。 しかしながら、DRLベンチマークは、安全性の制約、部分的な可観測性、手作業によるタスク表現の必要性といった、複雑な実世界の環境において基礎を置いているものはほとんどない。 このギャップを埋めるために,実世界の配水施設におけるポンプスケジューリング問題に基づくテストベッドを導入する。 エネルギー消費を最小化し、システムの制約を尊重しながら、信頼できる給水を確保するためにポンプを制御する。 テストベッドには,現実的なシミュレータ,人力制御による3年間の高解像度(1分間)操作データ,ベースラインRLタスクの定式化が含まれている。 このテストベッドは、オフラインRL、安全な探索、逆RL、多目的最適化など、幅広い研究方向をサポートしている。

関連論文リスト

• Decomposing Elements of Problem Solving: What "Math" Does RL Teach? [22.517954679764244]
  私たちは問題解決を、計画、実行、検証という基本的な機能に分解します。 RLを訓練したモデルは、計画スキルが不十分なため、基本的に新しい問題に悩まされ、"カバーウォール"にぶつかっていることを示す。 本研究は, LLM推論の強化におけるRLの役割について考察し, 重要な限界を明らかにするとともに, これらの障壁を克服するための道筋を示唆する。
  論文  参考訳（メタデータ） (2025-05-28T18:18:49Z)
• CHEQ-ing the Box: Safe Variable Impedance Learning for Robotic Polishing [5.467140383171385]
  本研究では, 可変インピーダンスを有するロボット研磨のためのハイブリッドRLアルゴリズムCHEQの実験的検討を行った。 ハードウェア上では、CHEQは効果的な研磨動作を実現し、8時間のトレーニングを必要とせず、5回の障害しか発生しない。 その結果、ハードウェア上で直接訓練された実世界のコンタクトリッチなタスクに対して、適応型ハイブリッドRLの可能性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-01-14T10:13:41Z)
• Putting the Iterative Training of Decision Trees to the Test on a Real-World Robotic Task [0.0]
  過去の研究では、強化学習タスクのエージェントとして決定木(DT)を訓練する方法を開発した。 このアルゴリズムをロボットタスクの現実的な実装に初めて適用する。 本研究は,DRLエージェントの性能に適合するDTを生成することにより,実世界のタスクに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-12-06T11:48:49Z)
• D5RL: Diverse Datasets for Data-Driven Deep Reinforcement Learning [99.33607114541861]
  ロボット操作と移動環境の現実的なシミュレーションに焦点を当てたオフラインRLのための新しいベンチマークを提案する。 提案するベンチマークでは、状態ベースドメインと画像ベースドメインを対象とし、オフラインRLとオンライン微調整評価の両方をサポートしている。
  論文  参考訳（メタデータ） (2024-08-15T22:27:00Z)
• Aquatic Navigation: A Challenging Benchmark for Deep Reinforcement Learning [53.3760591018817]
  ゲームエンジンとDeep Reinforcement Learningの統合の最近の進歩を利用して,水上ナビゲーションのための新しいベンチマーク環境を提案する。 具体的には、最も広く受け入れられているアルゴリズムの一つであるPPOに着目し、先進的なトレーニング手法を提案する。 実験により,これらの成分をうまく組み合わせることで,有望な結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-05-30T23:20:23Z)
• Efficient Imitation Learning with Conservative World Models [54.52140201148341]
  報酬機能のない専門家によるデモンストレーションから政策学習の課題に取り組む。 純粋な強化学習ではなく、微調整問題として模倣学習を再構成する。
  論文  参考訳（メタデータ） (2024-05-21T20:53:18Z)
• Staged Reinforcement Learning for Complex Tasks through Decomposed Environments [4.883558259729863]
  RL問題を実問題に近似する2つの方法について議論する。 交通ジャンクションシミュレーションの文脈において、複雑なタスクを複数のサブタスクに分解できれば、これらのタスクを最初に解くのが有利であることを示す。 多エージェントの観点から、我々は、CTDE(Centralized Training Decentralized Execution)と呼ばれる一般的なパラダイムの下で学んだ経験の活用を活用するトレーニング構造化機構を導入する。
  論文  参考訳（メタデータ） (2023-11-05T19:43:23Z)
• Hybrid Reinforcement Learning for Optimizing Pump Sustainability in Real-World Water Distribution Networks [55.591662978280894]
  本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。 我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。 進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
  論文  参考訳（メタデータ） (2023-10-13T21:26:16Z)
• AI planning in the imagination: High-level planning on learned abstract search spaces [68.75684174531962]
  我々は,エージェントが訓練中に学習する抽象的な検索空間において,エージェントが計画することを可能にする,PiZeroと呼ばれる新しい手法を提案する。 本研究では,旅行セールスマン問題,ソコバン問題,2048年,施設立地問題,パックマン問題など,複数の分野で評価を行った。
  論文  参考訳（メタデータ） (2023-08-16T22:47:16Z)
• Efficient Deep Reinforcement Learning Requires Regulating Overfitting [91.88004732618381]
  本稿では,高時間差(TD)誤差が深部RLアルゴリズムの性能に悪影響を及ぼす主要な原因であることを示す。 検証TDエラーをターゲットとした簡単なオンラインモデル選択法は,状態ベースDMCおよびGymタスク間で有効であることを示す。
  論文  参考訳（メタデータ） (2023-04-20T17:11:05Z)
• Train Hard, Fight Easy: Robust Meta Reinforcement Learning [78.16589993684698]
  実世界のアプリケーションにおける強化学習(RL)の大きな課題は、環境、タスク、クライアントの違いである。 標準的なMRL法は、タスクよりも平均的なリターンを最適化するが、リスクや難易度の高いタスクでは悪い結果に悩まされることが多い。 本研究では, MRL の頑健な目標を制御レベルで定義する。 ロバストメタRLアルゴリズム(RoML)を用いてデータ非効率に対処する
  論文  参考訳（メタデータ） (2023-01-26T14:54:39Z)
• Influence-Augmented Local Simulators: A Scalable Solution for Fast Deep RL in Large Networked Systems [18.281902746944525]
  本稿では,深部RLで十分に高速に動作可能な複雑なシステムの軽量シミュレータを構築する方法について検討する。 我々は,グローバルなダイナミクスの影響を受けながら,エージェントがより大きな環境の一部と相互作用する領域に焦点を当てる。 本手法は,グローバルシステムの影響を模倣した学習モデルとローカルシミュレータの利用を併用する。
  論文  参考訳（メタデータ） (2022-02-03T11:33:58Z)
• Developing an OpenAI Gym-compatible framework and simulation environment for testing Deep Reinforcement Learning agents solving the Ambulance Location Problem [0.0]
  本研究では、Deep RLエージェントをテストするためのOpenAI Gym互換フレームワークとシミュレーション環境を開発する。 Deep Qネットワークに基づくDeep RLエージェントの範囲は、このカスタム環境でテストされました。
  論文  参考訳（メタデータ） (2021-01-12T12:10:52Z)
• Offline Reinforcement Learning from Images with Latent Space Models [60.69745540036375]
  オフライン強化学習(RL)とは、環境相互作用の静的データセットからポリシーを学習する問題を指します。 オフラインRLのためのモデルベースアルゴリズムの最近の進歩の上に構築し、それらを高次元の視覚観測空間に拡張する。 提案手法は, 実測可能であり, 未知のPOMDPにおけるELBOの下限の最大化に対応している。
  論文  参考訳（メタデータ） (2020-12-21T18:28:17Z)
• COCOI: Contact-aware Online Context Inference for Generalizable Non-planar Pushing [87.7257446869134]
  一般的なコンタクトリッチな操作問題は、ロボット工学における長年の課題である。 深層強化学習は、ロボット操作タスクの解決に大きな可能性を示している。 動的プロパティのコンテキスト埋め込みをオンラインにエンコードする深層RL法であるCOCOIを提案する。
  論文  参考訳（メタデータ） (2020-11-23T08:20:21Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)
• Meta-Reinforcement Learning for Robotic Industrial Insertion Tasks [70.56451186797436]
  本研究では,メタ強化学習を用いてシミュレーションの課題の大部分を解決する方法について検討する。 エージェントを訓練して現実の挿入タスクを成功させる手法を実証する。
  論文  参考訳（メタデータ） (2020-04-29T18:00:22Z)
• Online Constrained Model-based Reinforcement Learning [13.362455603441552]
  主要な要件は、限られた時間とリソース予算内に留まりながら、継続的な状態とアクションスペースを扱う能力である。 本稿では,ガウス過程回帰と回帰水平制御を組み合わせたモデルに基づくアプローチを提案する。 本研究では,自動走行作業におけるオンライン学習のメリットを実証する。
  論文  参考訳（メタデータ） (2020-04-07T15:51:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。