Fugu-MT 論文翻訳(概要): R^3: On-device Real-Time Deep Reinforcement Learning for Autonomous Robotics

論文の概要: R^3: On-device Real-Time Deep Reinforcement Learning for Autonomous Robotics

arxiv url: http://arxiv.org/abs/2308.15039v2
Date: Fri, 15 Sep 2023 04:00:38 GMT
ステータス: 処理完了
システム内更新日: 2023-09-18 17:48:39.375768
Title: R^3: On-device Real-Time Deep Reinforcement Learning for Autonomous Robotics
Title（参考訳）: r^3: 自律ロボットのためのリアルタイム深層強化学習
Authors: Zexin Li, Aritra Samanta, Yufei Li, Andrea Soltoggio, Hyoseung Kim and Cong Liu
Abstract要約: 本稿では、デバイス上でのリアルタイムDRLトレーニングにおけるタイミング、メモリ、アルゴリズム性能を管理するための総合的なソリューションR3を提案する。 R3は、(i)動的バッチサイズを最適化するためのデッドライン駆動フィードバックループ、(ii)メモリフットプリントを削減し、より大きなリプレイバッファサイズを実現するための効率的なメモリ管理、(iii)ランタイム分析によってガイドされるランタイムコーディネータ、およびメモリリソース予約を調整するランタイムプロファイラを採用している。
参考スコア（独自算出の注目度）: 9.2327813168753
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Autonomous robotic systems, like autonomous vehicles and robotic search and rescue, require efficient on-device training for continuous adaptation of Deep Reinforcement Learning (DRL) models in dynamic environments. This research is fundamentally motivated by the need to understand and address the challenges of on-device real-time DRL, which involves balancing timing and algorithm performance under memory constraints, as exposed through our extensive empirical studies. This intricate balance requires co-optimizing two pivotal parameters of DRL training -- batch size and replay buffer size. Configuring these parameters significantly affects timing and algorithm performance, while both (unfortunately) require substantial memory allocation to achieve near-optimal performance. This paper presents R^3, a holistic solution for managing timing, memory, and algorithm performance in on-device real-time DRL training. R^3 employs (i) a deadline-driven feedback loop with dynamic batch sizing for optimizing timing, (ii) efficient memory management to reduce memory footprint and allow larger replay buffer sizes, and (iii) a runtime coordinator guided by heuristic analysis and a runtime profiler for dynamically adjusting memory resource reservations. These components collaboratively tackle the trade-offs in on-device DRL training, improving timing and algorithm performance while minimizing the risk of out-of-memory (OOM) errors. We implemented and evaluated R^3 extensively across various DRL frameworks and benchmarks on three hardware platforms commonly adopted by autonomous robotic systems. Additionally, we integrate R^3 with a popular realistic autonomous car simulator to demonstrate its real-world applicability. Evaluation results show that R^3 achieves efficacy across diverse platforms, ensuring consistent latency performance and timing predictability with minimal overhead.
Abstract（参考訳）: 自律型ロボットシステム(自動運転車やロボット検索や救助など)は、動的環境におけるdrl(deep reinforcement learning)モデルの継続的適応のために、効率的なオンデバイストレーニングを必要とする。この研究は、大規模な実証研究を通じて明らかになったように、メモリ制約下でのタイミングとアルゴリズム性能のバランスをとるオンデバイスリアルタイムDRLの課題を理解し、解決する必要があることによる。この複雑なバランスは、DRLトレーニングの2つの重要なパラメータ、バッチサイズとバッファサイズの共最適化を必要とする。これらのパラメータの設定はタイミングやアルゴリズムのパフォーマンスに大きく影響するが、(残念なことに)ほぼ最適の性能を達成するには相当なメモリ割り当てが必要となる。本稿では,リアルタイムdrlトレーニングにおけるタイミング,メモリ,アルゴリズム性能を管理するための総合的なソリューションであるr^3を提案する。 R^3 採用 (i)時間最適化のための動的バッチサイズ付き期限駆動フィードバックループ。 (ii)メモリフットプリントを削減し、再生バッファサイズを大きくするための効率的なメモリ管理 (iii)ヒューリスティック解析により誘導されるランタイムコーディネータと、メモリリソース予約を動的に調整するランタイムプロファイラ。これらのコンポーネントは、オンデバイスDRLトレーニングのトレードオフに協力的に取り組み、メモリ外エラー(OOM)のリスクを最小限に抑えながら、タイミングとアルゴリズムのパフォーマンスを改善する。自律ロボットシステムで一般的に採用されている3つのハードウェアプラットフォーム上で,様々なDRLフレームワークとベンチマークを用いてR^3を広範囲に実装し,評価した。さらに、R^3と一般的な現実的な自律走行車シミュレータを統合し、実世界の応用性を実証する。評価の結果、R^3は様々なプラットフォームで有効であり、一貫したレイテンシ性能とタイミング予測性を最小限のオーバーヘッドで確保できることがわかった。

関連論文リスト

DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。 DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
論文参考訳（メタデータ） (2024-11-04T18:26:08Z)
SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning [85.21378553454672]
筆者らは,報酬の計算と環境のリセットを行う手法とともに,効率的なオフ・ポリティクス・ディープ・RL法を含むライブラリを開発した。我々は,PCBボードアセンブリ,ケーブルルーティング,オブジェクトの移動に関するポリシを,非常に効率的な学習を実現することができることを発見した。これらの政策は完全な成功率またはほぼ完全な成功率、摂動下でさえ極端な堅牢性を実現し、突発的な堅牢性回復と修正行動を示す。
論文参考訳（メタデータ） (2024-01-29T10:01:10Z)
Scaling Studies for Efficient Parameter Search and Parallelism for Large Language Model Pre-training [2.875838666718042]
並列および分散機械学習アルゴリズムの開発,特に5個のエンコーダデコーダLLMのデータの処理と事前学習の最適化に着目する。我々は3つのMLメソッド間の関係を定量化するための詳細な研究を行い、特にMicrosoft DeepSpeed Zero Redundancyのステージを探索した。
論文参考訳（メタデータ） (2023-10-09T02:22:00Z)
Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。 3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
論文参考訳（メタデータ） (2023-08-30T10:57:41Z)
Just Round: Quantized Observation Spaces Enable Memory Efficient Learning of Dynamic Locomotion [0.7106986689736827]
深層強化学習モデルのトレーニングは計算とメモリ集約である。観測空間の量子化は、学習性能に影響を与えることなく、全体のメモリコストを4.2倍に削減する。
論文参考訳（メタデータ） (2022-10-14T19:14:47Z)
Effective Multi-User Delay-Constrained Scheduling with Deep Recurrent Reinforcement Learning [28.35473469490186]
マルチユーザ遅延制約スケジューリングは、無線通信、ライブストリーミング、クラウドコンピューティングを含む多くの現実世界アプリケーションにおいて重要である。 Recurrent Softmax Delayed Deep Double Deterministic Policy Gradient (mathttRSD4$) という深部強化学習アルゴリズムを提案する。 $mathttRSD4$は、それぞれLagrangianのデュアルと遅延に敏感なキューによるリソースと遅延の制約を保証する。また、リカレントニューラルネットワーク(RNN)によって実現されたメモリ機構により、部分的可観測性にも効率よく取り組み、ユーザレベルの分解とノードレベルを導入している。
論文参考訳（メタデータ） (2022-08-30T08:44:15Z)
GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
論文参考訳（メタデータ） (2022-07-18T06:01:29Z)
Online Convolutional Re-parameterization [51.97831675242173]
2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
論文参考訳（メタデータ） (2022-04-02T09:50:19Z)
Dynamic Network-Assisted D2D-Aided Coded Distributed Learning [59.29409589861241]
本稿では,デバイス間のロードバランシングのための新しいデバイス・ツー・デバイス(D2D)支援型符号化学習手法(D2D-CFL)を提案する。最小処理時間を達成するための最適圧縮率を導出し、収束時間との接続を確立する。提案手法は,ユーザが継続的にトレーニングデータを生成するリアルタイム協調アプリケーションに有用である。
論文参考訳（メタデータ） (2021-11-26T18:44:59Z)
Dynamic Scheduling for Stochastic Edge-Cloud Computing Environments using A3C learning and Residual Recurrent Neural Networks [30.61220416710614]
A-Advantage-Actor-Critic(A3C)学習は、データが少ない動的なシナリオに迅速に適応することが知られ、Residual Recurrent Neural Network(R2N2)はモデルパラメータを迅速に更新する。我々はR2N2アーキテクチャを用いて、多数のホストパラメータとタスクパラメータを時間パターンとともにキャプチャし、効率的なスケジューリング決定を提供する。実世界のデータセットで実施された実験では、エネルギー消費、応答時間、ServiceLevelAgreementおよびランニングコストがそれぞれ14.4%、7.74%、31.9%、および4.64%で大幅に改善された。
論文参考訳（メタデータ） (2020-09-01T13:36:34Z)
Stacked Auto Encoder Based Deep Reinforcement Learning for Online Resource Scheduling in Large-Scale MEC Networks [44.40722828581203]
オンラインリソーススケジューリングフレームワークは、IoT(Internet of Things)の全ユーザに対して、重み付けされたタスクレイテンシの総和を最小化するために提案されている。以下を含む深層強化学習(DRL)に基づく解法を提案する。 DRLがポリシーネットワークをトレーニングし、最適なオフロードポリシーを見つけるのを支援するために、保存および優先されたエクスペリエンスリプレイ(2p-ER)を導入する。
論文参考訳（メタデータ） (2020-01-24T23:01:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。