論文の概要: Progressive-Resolution Policy Distillation: Leveraging Coarse-Resolution Simulation for Time-Efficient Fine-Resolution Policy Learning

• arxiv url: http://arxiv.org/abs/2412.07477v1
• Date: Tue, 10 Dec 2024 12:50:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:35:33.790694
• Title: Progressive-Resolution Policy Distillation: Leveraging Coarse-Resolution Simulation for Time-Efficient Fine-Resolution Policy Learning
• Title（参考訳）: 進行的解法政策蒸留:時間効率の細かい解法学習のための粗解法シミュレーションの活用
• Authors: Yuki Kadokawa, Hirotaka Tahara, Takamitsu Matsubara,
• Abstract要約: 本稿では,岩盤掘削シミュレータを用いた補強学習(RL)による自律掘削の枠組みを提案する。 ファインレゾリューションシミュレーションは現実世界の挙動を忠実に模倣するが、かなりの計算時間と挑戦的なサンプル収集を必要とする。 本稿では,政策移行の失敗につながる可能性のあるドメインギャップを回避するため,保守的な政策移行を伴う中間分解能シミュレーションを通じて政策を段階的に伝達する,プログレッシブ・リゾリューション・ポリシー蒸留(PRPD)と呼ばれる新しい政策学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 8.411775485363338
• License:
• Abstract: In earthwork and construction, excavators often encounter large rocks mixed with various soil conditions, requiring skilled operators. This paper presents a framework for achieving autonomous excavation using reinforcement learning (RL) through a rock excavation simulator. In the simulation, resolution can be defined by the particle size/number in the whole soil space. Fine-resolution simulations closely mimic real-world behavior but demand significant calculation time and challenging sample collection, while coarse-resolution simulations enable faster sample collection but deviate from real-world behavior. To combine the advantages of both resolutions, we explore using policies developed in coarse-resolution simulations for pre-training in fine-resolution simulations. To this end, we propose a novel policy learning framework called Progressive-Resolution Policy Distillation (PRPD), which progressively transfers policies through some middle-resolution simulations with conservative policy transfer to avoid domain gaps that could lead to policy transfer failure. Validation in a rock excavation simulator and nine real-world rock environments demonstrated that PRPD reduced sampling time to less than 1/7 while maintaining task success rates comparable to those achieved through policy learning in a fine-resolution simulation.
• Abstract（参考訳）: 土木工事や建設では、掘削機は様々な土壌条件と混ざった大きな岩に遭遇し、熟練したオペレーターを必要とした。 本稿では,岩盤掘削シミュレータを用いた補強学習(RL)による自律掘削の枠組みを提案する。 シミュレーションでは、分解能は土壌空間全体における粒子の大きさ/数によって定義される。 微視的シミュレーションは現実世界の挙動を忠実に模倣するが、計算時間が大きくなり、サンプル収集に挑戦する一方で、粗視的シミュレーションはより高速なサンプル収集を可能にするが、現実の挙動から逸脱する。 両解像度の利点を組み合わせるために, 粗大分解能シミュレーションで開発されたポリシーを用いて, 微小分解能シミュレーションの事前学習を行う。 そこで本研究では,政策移行の失敗につながるドメインギャップを回避するため,保守的な政策移行を伴う中間分解能シミュレーションを通じて政策を段階的に伝達する,プログレッシブ・リゾリューション・ポリシー蒸留(PRPD)と呼ばれる新しい政策学習フレームワークを提案する。 岩盤掘削シミュレータと実世界の9つの岩盤環境の検証により, PRPDはサンプリング時間を1/7未満に削減し, 詳細なシミュレーションで得られた政策学習に匹敵するタスク成功率を維持した。

関連論文リスト

• Statistical Analysis of Policy Space Compression Problem [54.1754937830779]
  政策探索手法は強化学習において重要であり、継続的な状態反応と部分的に観察可能な問題に対処するための枠組みを提供する。 政策圧縮による政策空間の削減は、学習プロセスを加速するための強力で報酬のないアプローチとして現れます。 この手法は方針空間をより小さく代表的な集合に凝縮し、元の効果のほとんどを維持している。
  論文  参考訳（メタデータ） (2024-11-15T02:46:55Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Marginalized Importance Sampling for Off-Environment Policy Evaluation [13.824507564510503]
  強化学習法(Reinforcement Learning, RL)は、通常、サンプル非効率であり、実世界のロボットでRLポリティエの訓練と展開が困難である。 本稿では,エージェントポリシーを実環境にデプロイする前に,エージェントポリシーの現実的性能を評価するための新しいアプローチを提案する。 提案手法では,実世界のオフラインデータとともにシミュレータを組み込んで,任意のポリシーの性能評価を行う。
  論文  参考訳（メタデータ） (2023-09-04T20:52:04Z)
• Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
  本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。 シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
  論文  参考訳（メタデータ） (2022-09-15T07:22:58Z)
• Accelerated Policy Learning with Parallel Differentiable Simulation [59.665651562534755]
  微分可能シミュレータと新しいポリシー学習アルゴリズム(SHAC)を提案する。 本アルゴリズムは,スムーズな批判機能により局所最小化の問題を軽減する。 現状のRLと微分可能なシミュレーションベースアルゴリズムと比較して,サンプル効率と壁面時間を大幅に改善した。
  論文  参考訳（メタデータ） (2022-04-14T17:46:26Z)
• Policy Learning for Robust Markov Decision Process with a Mismatched Generative Model [42.28001762749647]
  医療や自動操縦といった高度なシナリオでは、オンラインの実験データを収集してエージェントを訓練するのは危険か不可能です。 本稿では,ロバスト・マルコフ決定過程(RMDP)に対する政策学習について考察する。 我々のゴールは、さらなる技術的困難をもたらす、摂動テスト環境に対するほぼ最適のロバストなポリシーを特定することです。
  論文  参考訳（メタデータ） (2022-03-13T06:37:25Z)
• Reinforcement Learning for Adaptive Mesh Refinement [63.7867809197671]
  マルコフ決定過程としてのAMRの新規な定式化を提案し,シミュレーションから直接改良政策を訓練するために深部強化学習を適用した。 これらのポリシーアーキテクチャのモデルサイズはメッシュサイズに依存しないため、任意に大きく複雑なシミュレーションにスケールします。
  論文  参考訳（メタデータ） (2021-03-01T22:55:48Z)
• Sim-to-Real Transfer with Incremental Environment Complexity for Reinforcement Learning of Depth-Based Robot Navigation [1.290382979353427]
  段階的環境複雑性を用いたソフト・アクター・クリティカル(SAC)トレーニング戦略を提案し,実世界における追加トレーニングの必要性を大幅に低減した。 アプリケーションは深度に基づくマップレスナビゲーションで、移動ロボットは、事前のマッピング情報なしで、散らかった環境で所定の経路点に到達すべきである。
  論文  参考訳（メタデータ） (2020-04-30T10:47:02Z)
• Deep Reinforcement Learning with Robust and Smooth Policy [90.78795857181727]
  我々は、国家に対して円滑に振る舞う円滑な政策を学ぶことを提案する。 textbfSmooth textbfRegularized textbfReinforcement textbfLearning(textbfSR2textbfL$)という新しいフレームワークを開発し、スムーズな正規化によってポリシーを訓練する。 このような正規化は、探索空間を効果的に制限し、学習ポリシーの滑らかさを強制する。
  論文  参考訳（メタデータ） (2020-03-21T00:10:29Z)
• A Nonparametric Off-Policy Policy Gradient [32.35604597324448]
  強化学習(RL)アルゴリズムは、最近の顕著な成功にもかかわらず、高いサンプリング複雑性に悩まされている。 オフポリシーアルゴリズムの一般的なサンプル効率に基づいて構築する。 提案手法は,現状の政策勾配法よりもサンプル効率がよいことを示す。
  論文  参考訳（メタデータ） (2020-01-08T10:13:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。