論文の概要: Constrained Reinforcement Learning for Dynamic Material Handling
- arxiv url: http://arxiv.org/abs/2305.13824v1
- Date: Tue, 23 May 2023 08:48:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 17:47:42.754074
- Title: Constrained Reinforcement Learning for Dynamic Material Handling
- Title（参考訳）: 動的材料ハンドリングのための拘束強化学習
- Authors: Chengpeng Hu, Ziming Wang, Jialin Liu, Junyi Wen, Bifei Mao, Xin Yao
- Abstract要約: 動的材料ハンドリングのための自動誘導車両のスケジューリングを目指している。
いくつかの実世界のシナリオに触発され、未知の新しいタスクと予期せぬ車両の故障は、我々の問題における動的事象と見なされる。
我々は、その問題を、重大性と利用可能な車両を累積的かつ即時的な制約として考慮した、制約付きマルコフ決定プロセスとして定式化する。
- 参考スコア（独自算出の注目度）: 6.92900591740476
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As one of the core parts of flexible manufacturing systems, material handling
involves storage and transportation of materials between workstations with
automated vehicles. The improvement in material handling can impulse the
overall efficiency of the manufacturing system. However, the occurrence of
dynamic events during the optimisation of task arrangements poses a challenge
that requires adaptability and effectiveness. In this paper, we aim at the
scheduling of automated guided vehicles for dynamic material handling.
Motivated by some real-world scenarios, unknown new tasks and unexpected
vehicle breakdowns are regarded as dynamic events in our problem. We formulate
the problem as a constrained Markov decision process which takes into account
tardiness and available vehicles as cumulative and instantaneous constraints,
respectively. An adaptive constrained reinforcement learning algorithm that
combines Lagrangian relaxation and invalid action masking, named RCPOM, is
proposed to address the problem with two hybrid constraints. Moreover, a
gym-like dynamic material handling simulator, named DMH-GYM, is developed and
equipped with diverse problem instances, which can be used as benchmarks for
dynamic material handling. Experimental results on the problem instances
demonstrate the outstanding performance of our proposed approach compared with
eight state-of-the-art constrained and non-constrained reinforcement learning
algorithms, and widely used dispatching rules for material handling.
- Abstract（参考訳）: フレキシブル・マニュファクチャリング・システムの中核部分の一つとして、材料処理にはワークステーションと自動走行車の間での材料の保管と輸送が含まれる。
材料処理の改善は、製造システムの全体的な効率を損なう可能性がある。
しかしながら、タスクアレンジメントの最適化中に動的イベントが発生することは、適応性と有効性を必要とする課題となる。
本稿では,動的材料処理のための自動誘導車両のスケジューリングを目的とした。
いくつかの現実世界のシナリオに動機づけられ、未知の新しいタスクと予期しない車両の故障は、我々の問題における動的な出来事とみなされる。
我々は,この問題を,重大性を考慮したマルコフ決定過程として定式化し,各車両を累積的および即時的制約として定式化する。
ラグランジュ緩和と無効動作マスキングを組み合わせた適応的制約強化学習アルゴリズムRCPOMを提案する。
さらに,dmh-gymと呼ばれるジム型動的材料ハンドリングシミュレータを開発し,動的材料ハンドリングのベンチマークとして使用できる多様な問題インスタンスを装備した。
提案手法は,8種類の制約付きおよび非拘束型強化学習アルゴリズムと,材料処理に広く用いられているディスパッチルールと比較して,提案手法の優れた性能を示す実験結果を得た。
関連論文リスト
- A Meta-Engine Framework for Interleaved Task and Motion Planning using Topological Refinements [51.54559117314768]
タスク・アンド・モーション・プランニング(タスク・アンド・モーション・プランニング、TAMP)は、自動化された計画問題の解決策を見つけるための問題である。
本稿では,TAMP問題のモデル化とベンチマークを行うための,汎用的でオープンソースのフレームワークを提案する。
移動エージェントと複数のタスク状態依存障害を含むTAMP問題を解決する革新的なメタ技術を導入する。
論文 参考訳（メタデータ） (2024-08-11T14:57:57Z) - Programmable Motion Generation for Open-Set Motion Control Tasks [51.73738359209987]
我々は新しいパラダイム、プログラム可能なモーション生成を導入する。
このパラダイムでは、任意の運動制御タスクは原子制約の組み合わせに分解される。
これらの制約は、運動列がそれに付着する程度を定量化するエラー関数にプログラムされる。
論文 参考訳（メタデータ） (2024-05-29T17:14:55Z) - A Reinforcement Learning Approach for Dynamic Rebalancing in
Bike-Sharing System [11.237099288412558]
自転車シェアリングシステムはエコフレンドリーな都市移動を提供し、交通渋滞と健康的な生活様式の緩和に貢献している。
駅間で自転車を再分配するための車両を用いた効果的な再バランス戦略の開発は、オペレーターにとって非常に重要である。
本稿では,複数の車両との動的再バランス問題に対する時間的強化学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-02-05T23:46:42Z) - Use of Deep Neural Networks for Uncertain Stress Functions with
Extensions to Impact Mechanics [9.73713941604395]
本研究では、不確実性を捉えるために、量子回帰を伴う状態関数としてストレスをモデル化するためのディープニューラルネットワークアプローチを提案する。
これらのモデルを、微分方程式を用いて一軸衝撃力学に拡張し、ユースケースを実証し、この不確実性を考慮したストレス関数を実装するためのフレームワークを提供する。
論文 参考訳（メタデータ） (2023-11-03T00:12:24Z) - Hindsight States: Blending Sim and Real Task Elements for Efficient
Reinforcement Learning [61.3506230781327]
ロボット工学では、第一原理から導かれた力学モデルに基づくシミュレーションに基づいて、トレーニングデータを生成する方法がある。
ここでは、力学の複雑さの不均衡を利用して、より標本効率のよい学習を行う。
提案手法をいくつかの課題に対して検証し,既存の近視アルゴリズムと組み合わせた場合の学習改善を実証する。
論文 参考訳（メタデータ） (2023-03-03T21:55:04Z) - Differentiable Constrained Imitation Learning for Robot Motion Planning
and Control [0.26999000177990923]
我々は,交通エージェントのシミュレーションだけでなく,ロボットの動作計画と制御を制約するフレームワークを開発した。
モバイルロボットと自動運転アプリケーションに焦点をあてる。
移動ロボットナビゲーションと自動走行のシミュレーション実験は,提案手法の性能を示す証拠となる。
論文 参考訳（メタデータ） (2022-10-21T08:19:45Z) - Constrained Dynamic Movement Primitives for Safe Learning of Motor
Skills [25.06692536893836]
ロボット作業空間における制約満足度を実現するための制約付き動的運動プリミティブ(CDMP)を提案する。
異なる環境における異なるマニピュレータを用いた提案アルゴリズムの実装を示すビデオがここにある。
論文 参考訳（メタデータ） (2022-09-28T22:59:33Z) - Accelerated Policy Learning with Parallel Differentiable Simulation [59.665651562534755]
微分可能シミュレータと新しいポリシー学習アルゴリズム(SHAC)を提案する。
本アルゴリズムは,スムーズな批判機能により局所最小化の問題を軽減する。
現状のRLと微分可能なシミュレーションベースアルゴリズムと比較して,サンプル効率と壁面時間を大幅に改善した。
論文 参考訳（メタデータ） (2022-04-14T17:46:26Z) - OSCAR: Data-Driven Operational Space Control for Adaptive and Robust
Robot Manipulation [50.59541802645156]
オペレーショナル・スペース・コントロール(OSC)は、操作のための効果的なタスクスペース・コントローラとして使われてきた。
本稿では,データ駆動型OSCのモデル誤差を補償するOSC for Adaptation and Robustness (OSCAR)を提案する。
本手法は,様々なシミュレーション操作問題に対して評価し,制御器のベースラインの配列よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2021-10-02T01:21:38Z) - AMP: Adversarial Motion Priors for Stylized Physics-Based Character
Control [145.61135774698002]
我々は,与えられたシナリオで追跡するキャラクタの動作を選択するための完全自動化手法を提案する。
キャラクタが実行するべきハイレベルなタスク目標は、比較的単純な報酬関数によって指定できる。
キャラクタの動作の低レベルスタイルは、非構造化モーションクリップのデータセットによって指定できる。
本システムでは,最先端のトラッキング技術に匹敵する高品質な動作を生成する。
論文 参考訳（メタデータ） (2021-04-05T22:43:14Z) - ADD: Analytically Differentiable Dynamics for Multi-Body Systems with
Frictional Contact [26.408218913234872]
剛体および変形可能な物体に対する摩擦接触を処理できる微分可能な動的解法を提案する。
本手法は, 摩擦接触の非平滑な性質に起因した主な困難を回避できる。
論文 参考訳（メタデータ） (2020-07-02T09:51:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。