論文の概要: Reinforcement Learning with Curriculum-inspired Adaptive Direct Policy Guidance for Truck Dispatching

• arxiv url: http://arxiv.org/abs/2502.20845v1
• Date: Fri, 28 Feb 2025 08:43:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:43:27.279892
• Title: Reinforcement Learning with Curriculum-inspired Adaptive Direct Policy Guidance for Truck Dispatching
• Title（参考訳）: トラックディスパッチのための適応的直接政策ガイダンスによる強化学習
• Authors: Shi Meng, Bin Tian, Xiaotong Zhang,
• Abstract要約: 本稿では、ポリシーベースRLの新しいカリキュラム学習戦略である、カリキュラムインスパイアされた適応的ダイレクトポリシーガイダンスを紹介する。 我々は、時間差と一般化アドバンテージ推定の時間差を利用して、地雷派遣の不均一な決定間隔を最適化する。 提案手法は, スパースかつ高密度な報酬設定に対して, 10%の性能向上と, 標準PPOよりも早く収束することを示す。
• 参考スコア（独自算出の注目度）: 3.5305506674489076
• License:
• Abstract: Efficient truck dispatching via Reinforcement Learning (RL) in open-pit mining is often hindered by reliance on complex reward engineering and value-based methods. This paper introduces Curriculum-inspired Adaptive Direct Policy Guidance, a novel curriculum learning strategy for policy-based RL to address these issues. We adapt Proximal Policy Optimization (PPO) for mine dispatching's uneven decision intervals using time deltas in Temporal Difference and Generalized Advantage Estimation, and employ a Shortest Processing Time teacher policy for guided exploration via policy regularization and adaptive guidance. Evaluations in OpenMines demonstrate our approach yields a 10% performance gain and faster convergence over standard PPO across sparse and dense reward settings, showcasing improved robustness to reward design. This direct policy guidance method provides a general and effective curriculum learning technique for RL-based truck dispatching, enabling future work on advanced architectures.
• Abstract（参考訳）: 露天掘り鉱業における強化学習(RL)による効率的なトラックの派遣は、複雑な報酬工学と価値に基づく手法に依存しているため、しばしば妨げられる。 本稿では、これらの問題に対処するためのポリシーベースRLの新しいカリキュラム学習戦略である、カリキュラムインスパイアされた適応的直接政策ガイダンスを紹介する。 我々は、時間差と一般化アドバンテージ推定の時間差を用いて、鉱山派遣の不均一な決定間隔にPPOを適用し、政策規則化と適応ガイダンスによるガイド付き探索のために、最短処理時間教師ポリシーを採用する。 OpenMinesの評価では、我々のアプローチはパフォーマンスが10%向上し、スパースで密度の高い報酬設定にまたがる標準のPPOよりも早く収束することを示した。 本手法は,RLをベースとしたトラック配車のための総合的かつ効果的なカリキュラム学習技術を提供し,先進的なアーキテクチャの今後の開発を可能にする。

関連論文リスト

• Large Language Model driven Policy Exploration for Recommender Systems [50.70228564385797]
  静的ユーザデータに基づいてトレーニングされたオフラインRLポリシは、動的オンライン環境にデプロイされた場合、分散シフトに対して脆弱である。 オンラインRLベースのRSも、トレーニングされていないポリシーや不安定なポリシーにユーザをさらけ出すリスクがあるため、運用デプロイメントの課題に直面している。 大規模言語モデル(LLM)は、ユーザー目標と事前学習ポリシーをオフラインで模倣する有望なソリューションを提供する。 LLMから抽出したユーザの嗜好を利用した対話型学習ポリシー(iALP)を提案する。
  論文  参考訳（メタデータ） (2025-01-23T16:37:44Z)
• Policy Agnostic RL: Offline RL and Online RL Fine-Tuning of Any Class and Backbone [72.17534881026995]
  ポリシーに依存しないRL(PA-RL)と呼ばれるオフラインおよびオンラインの微調整手法を開発する。 オンラインRLファインチューニングアルゴリズムであるCal-QLを用いて、7BジェネラリストロボットポリシーであるOpenVLAのファインチューニングに成功した最初の結果を示す。
  論文  参考訳（メタデータ） (2024-12-09T17:28:03Z)
• Forward KL Regularized Preference Optimization for Aligning Diffusion Policies [8.958830452149789]
  拡散政策の学習における中心的な問題は、様々なタスクにおいて、政策の出力と人間の意図を一致させることである。 そこで本稿では,拡散ポリシーを優先事項と整合させる新しいフレームワーク,フォワードKL正規化参照最適化を提案する。 その結果,提案手法は好みとの整合性が優れ,従来の最先端アルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-09T13:56:03Z)
• DPO: Differential reinforcement learning with application to optimal configuration search [3.2857981869020327]
  連続状態と行動空間による強化学習は、この分野における最も困難な問題の1つである。 限られたトレーニングサンプルと短いエピソードで設定を処理できる最初の微分RLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-24T03:11:12Z)
• IOB: Integrating Optimization Transfer and Behavior Transfer for Multi-Policy Reuse [50.90781542323258]
  強化学習(RL)エージェントは、ソースポリシーからの知識を関連する目標タスクに転送することができる。 従来手法では,階層的なポリシやソースポリシの値関数の見積など,新たなコンポーネントが導入されていた。 本稿では,余分なコンポーネントを訓練せずにソースポリシーを選択する新しい転送RL法を提案する。
  論文  参考訳（メタデータ） (2023-08-14T09:22:35Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)
• Optimal Control-Based Baseline for Guided Exploration in Policy Gradient Methods [8.718494948845711]
  本稿では, 深層強化学習におけるポリシー勾配法に対して, 最適制御ベースライン関数を提案する。 我々は,ロボット学習タスクのベースラインを検証し,ガイド付き探索におけるその効果を示す。
  論文  参考訳（メタデータ） (2020-11-04T00:11:56Z)
• Temporal-Logic-Based Reward Shaping for Continuing Learning Tasks [57.17673320237597]
  継続タスクにおいて、平均回帰強化学習は、より一般的な割引報酬の定式化よりも適切な問題定式化である可能性がある。 本稿では,平均回帰学習のための最初の報酬形成フレームワークを提案する。 これは、標準的な仮定の下では、元の報酬関数の下での最適ポリシーを復元できることを証明している。
  論文  参考訳（メタデータ） (2020-07-03T05:06:57Z)
• Efficient Deep Reinforcement Learning via Adaptive Policy Transfer [50.51637231309424]
  強化学習(RL)を促進するための政策伝達フレームワーク(PTF)の提案 我々のフレームワークは、いつ、いつ、どのソースポリシーがターゲットポリシーの再利用に最適なのか、いつそれを終了するかを学習する。 実験結果から,学習過程を著しく加速し,最先端の政策伝達手法を超越していることが判明した。
  論文  参考訳（メタデータ） (2020-02-19T07:30:57Z)
• Population-Guided Parallel Policy Search for Reinforcement Learning [17.360163137926]
  都市外強化学習(RL)の性能向上を図るために,新たな人口誘導型並列学習手法を提案する。 提案手法では,複数の同一学習者が独自の値関数とポリシーを共用し,共通体験再生バッファを共有し,最良のポリシー情報のガイダンスと協調して適切なポリシーを探索する。
  論文  参考訳（メタデータ） (2020-01-09T10:13:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。