論文の概要: Deep Policy Gradient Methods Without Batch Updates, Target Networks, or Replay Buffers

• arxiv url: http://arxiv.org/abs/2411.15370v1
• Date: Fri, 22 Nov 2024 22:46:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:22:06.698941
• Title: Deep Policy Gradient Methods Without Batch Updates, Target Networks, or Replay Buffers
• Title（参考訳）: バッチ更新やターゲットネットワーク,バッファの再生のない,詳細なポリシ勾配メソッド
• Authors: Gautham Vasan, Mohamed Elsayed, Alireza Azimi, Jiamin He, Fahim Shariar, Colin Bellinger, Martha White, A. Rupam Mahmood,
• Abstract要約: アクション・バリュー・グラディエント(AVG)は、新たなディープ・ポリシー・グラディエント法である。 インクリメンタルアップデートのみを使用して、実際のロボットによる効果的な深層強化学習を初めて示す。
• 参考スコア（独自算出の注目度）: 19.097776174247244
• License:
• Abstract: Modern deep policy gradient methods achieve effective performance on simulated robotic tasks, but they all require large replay buffers or expensive batch updates, or both, making them incompatible for real systems with resource-limited computers. We show that these methods fail catastrophically when limited to small replay buffers or during incremental learning, where updates only use the most recent sample without batch updates or a replay buffer. We propose a novel incremental deep policy gradient method -- Action Value Gradient (AVG) and a set of normalization and scaling techniques to address the challenges of instability in incremental learning. On robotic simulation benchmarks, we show that AVG is the only incremental method that learns effectively, often achieving final performance comparable to batch policy gradient methods. This advancement enabled us to show for the first time effective deep reinforcement learning with real robots using only incremental updates, employing a robotic manipulator and a mobile robot.
• Abstract（参考訳）: 最新のディープポリシー勾配法は、シミュレーションされたロボットタスクにおいて効果的なパフォーマンスを達成するが、いずれも大きなリプレイバッファや高価なバッチ更新を必要とするため、リソース制限されたコンピュータを持つ実際のシステムでは互換性がない。 バッチ更新やリプレイバッファを使わずに最新のサンプルを更新するだけで、小さなリプレイバッファに制限されたり、インクリメンタルラーニング中に破滅的に失敗することを示す。 本稿では,漸進的学習における不安定性の課題に対処するために,行動価値勾配(AVG)と正規化とスケーリング手法のセットを新たに提案する。 ロボットシミュレーションのベンチマークでは、AVGが効果的な学習方法であり、バッチポリシー勾配法に匹敵する最終的な性能を達成することがしばしばある。 この進歩により,ロボットマニピュレータと移動ロボットを用いて,インクリメンタルアップデートのみを用いて,実ロボットによる効果的な深層強化学習を初めて行うことができた。

関連論文リスト

• One-Step Diffusion Policy: Fast Visuomotor Policies via Diffusion Distillation [80.71541671907426]
  OneStep Diffusion Policy (OneDP)は、事前訓練された拡散政策から知識を単一ステップのアクションジェネレータに蒸留する新しいアプローチである。 OneDPはロボット制御タスクの応答時間を著しく短縮する。
  論文  参考訳（メタデータ） (2024-10-28T17:54:31Z)
• FLaRe: Achieving Masterful and Adaptive Robot Policies with Large-Scale Reinforcement Learning Fine-Tuning [74.25049012472502]
  FLaReは、堅牢な事前訓練された表現、大規模なトレーニング、勾配安定化技術を統合する大規模な強化学習フレームワークである。 提案手法は,タスク完了に向けた事前訓練されたポリシーを整列し,これまで実証され,全く新しいタスクや実施状況において,最先端(SoTA)のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-09-25T03:15:17Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• REBOOT: Reuse Data for Bootstrapping Efficient Real-World Dexterous Manipulation [61.7171775202833]
  本稿では,強化学習による巧妙な操作スキルの学習を効率化するシステムを提案する。 我々のアプローチの主な考え方は、サンプル効率のRLとリプレイバッファブートストラップの最近の進歩の統合である。 本システムでは,実世界の学習サイクルを,模倣に基づくピックアップポリシを通じて学習されたリセットを組み込むことで完遂する。
  論文  参考訳（メタデータ） (2023-09-06T19:05:31Z)
• Value-Based Reinforcement Learning for Continuous Control Robotic Manipulation in Multi-Task Sparse Reward Settings [15.198729819644795]
  スパース報酬設定における連続的なロボット操作タスクの学習における価値に基づく強化学習の可能性を示す。 ロボット操作タスクにおいて、RBF-DQNはTD3、SAC、PPOといった最先端のアルゴリズムよりも高速に収束することを示す。 また,RBF-DQNを用いてアブレーション研究を行い,HER (Hindsight Experience Replay) やPER ( Prioritized Experience Replay) などのバニラ深度Q学習の強化手法がRBF-DQNにも適用可能であることを示した。
  論文  参考訳（メタデータ） (2021-07-28T13:40:08Z)
• A Framework for Efficient Robotic Manipulation [79.10407063260473]
  単一のロボットアームがピクセルからスパースリワード操作ポリシーを学習できることを示します。 デモは10回しかなく、単一のロボットアームがピクセルからスパースリワード操作のポリシーを学習できることを示しています。
  論文  参考訳（メタデータ） (2020-12-14T22:18:39Z)
• Hyperparameter Auto-tuning in Self-Supervised Robotic Learning [12.193817049957733]
  不十分な学習(局所最適収束による)は、冗長な学習が時間と資源を浪費する一方で、低パフォーマンスの政策をもたらす。 自己教師付き強化学習のためのエビデンス下界(ELBO)に基づく自動チューニング手法を提案する。 本手法は,オンラインで自動チューニングが可能であり,計算資源のごく一部で最高の性能が得られる。
  論文  参考訳（メタデータ） (2020-10-16T08:58:24Z)
• DDPG++: Striving for Simplicity in Continuous-control Off-Policy Reinforcement Learning [95.60782037764928]
  過大評価バイアスが制御される限り、単純な決定論的政策勾配は著しく機能することを示す。 第二に、非政治的なアルゴリズムの典型であるトレーニングの不安定性を、欲張りのポリシー更新ステップに向ける。 第3に、確率推定文学におけるアイデアは、リプレイバッファからの重要サンプル遷移や、性能劣化を防ぐためのポリシー更新に利用できることを示す。
  論文  参考訳（メタデータ） (2020-06-26T20:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。