論文の概要: Curriculum RL meets Monte Carlo Planning: Optimization of a Real World Container Management Problem

• arxiv url: http://arxiv.org/abs/2503.17194v1
• Date: Fri, 21 Mar 2025 14:43:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:55:58.481631
• Title: Curriculum RL meets Monte Carlo Planning: Optimization of a Real World Container Management Problem
• Title（参考訳）: Curriculum RLがMonte Carlo計画に到達 - 実世界のコンテナ管理問題の最適化
• Authors: Abhijeet Pendyala, Tobias Glasmachers,
• Abstract要約: 我々は, 廃棄物処理施設における安全かつ効率的なコンテナ管理を確保するため, 推論時衝突モデルによる強化学習を強化した。 実験結果から,本手法は衝突回避,安全限界違反の低減,スループットの維持,コンテナ対PU比の効率向上に有効であることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this work, we augment reinforcement learning with an inference-time collision model to ensure safe and efficient container management in a waste-sorting facility with limited processing capacity. Each container has two optimal emptying volumes that trade off higher throughput against overflow risk. Conventional reinforcement learning (RL) approaches struggle under delayed rewards, sparse critical events, and high-dimensional uncertainty -- failing to consistently balance higher-volume empties with the risk of safety-limit violations. To address these challenges, we propose a hybrid method comprising: (1) a curriculum-learning pipeline that incrementally trains a PPO agent to handle delayed rewards and class imbalance, and (2) an offline pairwise collision model used at inference time to proactively avert collisions with minimal online cost. Experimental results show that our targeted inference-time collision checks significantly improve collision avoidance, reduce safety-limit violations, maintain high throughput, and scale effectively across varying container-to-PU ratios. These findings offer actionable guidelines for designing safe and efficient container-management systems in real-world facilities.
• Abstract（参考訳）: 本研究では, 処理能力に制限のある廃棄物処理施設において, 安全かつ効率的なコンテナ管理を実現するため, 推論時衝突モデルによる強化学習を強化する。 各コンテナには、オーバーフローリスクに対して高いスループットをトレードオフする、2つの最適な空きボリュームがある。 従来の強化学習(RL)は、遅れた報酬、希少な臨界事象、高次元の不確実性の下での闘争にアプローチする。 これらの課題に対処するため,(1) PPOエージェントを段階的に訓練して遅延報酬とクラス不均衡を処理させるカリキュラム学習パイプライン,(2)オンラインコストを最小限に抑えるために,推定時間に使用するオフライン対衝突モデルを提案する。 実験結果から,本手法は衝突回避,安全限界違反の低減,スループットの維持,コンテナ対PU比の効率向上に有効であることがわかった。 これらの知見は、現実世界の施設で安全で効率的なコンテナ管理システムを設計するための実用的なガイドラインを提供する。

関連論文リスト

• Long and Short-Term Constraints Driven Safe Reinforcement Learning for Autonomous Driving [11.072917563013428]
  強化学習 (Reinforcement Learning, RL) は意思決定や制御作業に広く用いられているが, 訓練プロセスにおけるエージェントのリスクは非常に高い。 本稿では,安全RLのための長短制約(LSTC)に基づく新しいアルゴリズムを提案する。 提案手法は, 連続状態および動作タスクにおいて高い安全性を達成し, 長距離意思決定タスクにおいて高い探索性能を示す。
  論文  参考訳（メタデータ） (2024-03-27T02:41:52Z)
• Sampling-based Safe Reinforcement Learning for Nonlinear Dynamical Systems [15.863561935347692]
  非線形力学系の制御のための安全かつ収束性のある強化学習アルゴリズムを開発した。 制御とRLの交差点における最近の進歩は、ハードセーフティ制約を強制するための2段階の安全フィルタアプローチに従っている。 我々は,古典的な収束保証を享受するRLコントローラを学習する,一段階のサンプリングに基づくハード制約満足度へのアプローチを開発する。
  論文  参考訳（メタデータ） (2024-03-06T19:39:20Z)
• Uniformly Safe RL with Objective Suppression for Multi-Constraint Safety-Critical Applications [73.58451824894568]
  広く採用されているCMDPモデルは予測のリスクを制約しており、長い尾の州で危険な行動を起こす余地がある。 安全クリティカルな領域では、そのような行動は破滅的な結果をもたらす可能性がある。 本稿では,目標を最大化するタスク報酬を適応的に抑制する新しい手法であるObjective Suppressionを提案する。
  論文  参考訳（メタデータ） (2024-02-23T23:22:06Z)
• A Multiplicative Value Function for Safe and Efficient Reinforcement Learning [131.96501469927733]
  本稿では,安全評論家と報酬評論家からなる新しい乗法値関数を持つモデルフリーRLアルゴリズムを提案する。 安全評論家は、制約違反の確率を予測し、制限のないリターンのみを見積もる報酬批評家を割引する。 安全制約を付加した古典的RLベンチマークや、画像を用いたロボットナビゲーションタスク、生のライダースキャンを観察する4つの環境において、本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-03-07T18:29:15Z)
• Safety Correction from Baseline: Towards the Risk-aware Policy in Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
  本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。 このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。 提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
  論文  参考訳（メタデータ） (2022-12-14T03:11:25Z)
• Reward Function Optimization of a Deep Reinforcement Learning Collision Avoidance System [0.0]
  無人航空機システム(UAS)の普及により、航空宇宙規制当局はこれらの航空機と衝突回避システムとの相互運用性を検討するようになった。 現在義務化されているTCASの制限により、連邦航空局は新たなソリューションである空中衝突回避システムX(ACAS X)の開発を委託した。 本研究では,サロゲートを用いてパラメータを調整したDRL衝突回避システムの利点について検討する。
  論文  参考訳（メタデータ） (2022-12-01T20:20:41Z)
• Smooth Trajectory Collision Avoidance through Deep Reinforcement Learning [0.0]
  本稿では,DRLに基づくナビゲーションソリューションにおける2つの重要な問題に対処するために,エージェントの状態と報酬関数の設計を提案する。 我々のモデルは、衝突の可能性を著しく低減しつつ、UAVのスムーズな飛行を確保するために、マージンの報酬と滑らかさの制約に依存している。
  論文  参考訳（メタデータ） (2022-10-12T16:27:32Z)
• Enforcing Hard Constraints with Soft Barriers: Safe Reinforcement Learning in Unknown Stochastic Environments [84.3830478851369]
  本研究では,環境を協調的に学習し,制御ポリシーを最適化する安全な強化学習手法を提案する。 本手法は, 安全性の制約を効果的に適用し, シミュレーションにより測定したシステム安全率においてCMDPベースのベースライン法を著しく上回っている。
  論文  参考訳（メタデータ） (2022-09-29T20:49:25Z)
• Constraint-Guided Reinforcement Learning: Augmenting the Agent-Environment-Interaction [10.203602318836445]
  強化学習(RL)エージェントは、限られたフィードバックから大きな観察とアクションスペースでタスクを解決することに成功しています。 本稿では,制約に基づく拡張モデルと深部RLの統合による信頼性エージェントのエンジニアリングについて論じる。 その結果、制約ガイダンスは信頼性の向上と安全な行動を提供するだけでなく、トレーニングを加速する。
  論文  参考訳（メタデータ） (2021-04-24T10:04:14Z)
• Conservative Safety Critics for Exploration [120.73241848565449]
  強化学習(RL)における安全な探索の課題について検討する。 我々は、批評家を通じて環境状態の保守的な安全性推定を学習する。 提案手法は,破滅的故障率を著しく低く抑えながら,競争力のあるタスク性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2020-10-27T17:54:25Z)
• Cautious Adaptation For Reinforcement Learning in Safety-Critical Settings [129.80279257258098]
  都市運転のような現実の安全クリティカルな目標設定における強化学習(RL)は危険である。 非安全クリティカルな「ソース」環境でエージェントが最初に訓練する「安全クリティカル適応」タスクセットを提案する。 多様な環境における事前経験がリスクを見積もるためにエージェントに装備するという直感に基づくソリューションアプローチであるCARLを提案する。
  論文  参考訳（メタデータ） (2020-08-15T01:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。