論文の概要: Real-Time Reinforcement Learning for Vision-Based Robotics Utilizing
Local and Remote Computers
- arxiv url: http://arxiv.org/abs/2210.02317v2
- Date: Mon, 26 Jun 2023 22:43:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-28 18:07:28.690750
- Title: Real-Time Reinforcement Learning for Vision-Based Robotics Utilizing
Local and Remote Computers
- Title（参考訳）: ローカルコンピュータとリモートコンピュータを用いた視覚ロボットのリアルタイム強化学習
- Authors: Yan Wang, Gautham Vasan, A. Rupam Mahmood
- Abstract要約: リアルタイム学習は、絶え間なく変化する非定常環境に適応するロボットエージェントにとって不可欠である。
ロボットエージェントの一般的なセットアップは、リソース限定のローカルコンピュータと、ワイヤレスで接続された強力なリモートコンピュータの2つの異なるコンピュータを同時に持つことである。
ローカルコンピュータとリモートコンピュータの間で計算処理を分散するRemote-Local Distributed (ReLoD)システムというリアルタイム学習システムを実装した。
- 参考スコア（独自算出の注目度）: 8.187223660946128
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-time learning is crucial for robotic agents adapting to ever-changing,
non-stationary environments. A common setup for a robotic agent is to have two
different computers simultaneously: a resource-limited local computer tethered
to the robot and a powerful remote computer connected wirelessly. Given such a
setup, it is unclear to what extent the performance of a learning system can be
affected by resource limitations and how to efficiently use the wirelessly
connected powerful computer to compensate for any performance loss. In this
paper, we implement a real-time learning system called the Remote-Local
Distributed (ReLoD) system to distribute computations of two deep reinforcement
learning (RL) algorithms, Soft Actor-Critic (SAC) and Proximal Policy
Optimization (PPO), between a local and a remote computer. The performance of
the system is evaluated on two vision-based control tasks developed using a
robotic arm and a mobile robot. Our results show that SAC's performance
degrades heavily on a resource-limited local computer. Strikingly, when all
computations of the learning system are deployed on a remote workstation, SAC
fails to compensate for the performance loss, indicating that, without careful
consideration, using a powerful remote computer may not result in performance
improvement. However, a carefully chosen distribution of computations of SAC
consistently and substantially improves its performance on both tasks. On the
other hand, the performance of PPO remains largely unaffected by the
distribution of computations. In addition, when all computations happen solely
on a powerful tethered computer, the performance of our system remains on par
with an existing system that is well-tuned for using a single machine. ReLoD is
the only publicly available system for real-time RL that applies to multiple
robots for vision-based tasks.
- Abstract（参考訳）: リアルタイム学習は、絶え間なく変化する非定常環境に適応するロボットエージェントにとって不可欠である。
ロボットエージェントの一般的なセットアップは、リソース限定のローカルコンピュータと、ワイヤレスで接続された強力なリモートコンピュータの2つの異なるコンピュータを同時に持つことである。
このような設定を考えると、学習システムの性能がリソースの制限によってどの程度影響を受けるか、また、無線接続された強力なコンピュータを効率よく利用してパフォーマンス損失を補う方法が不明確である。
本稿では,2つの深部強化学習(RL)アルゴリズム,Soft Actor-Critic (SAC) と Proximal Policy Optimization (PPO) の計算をローカルコンピュータとリモートコンピュータ間で分散するリアルタイム学習システムであるRemote-Local Distributed (ReLoD) を実装した。
ロボットアームと移動ロボットを用いて開発した2つの視覚制御タスクに対して,システムの性能を評価する。
その結果,SACの性能は資源限定のローカルコンピュータ上で大幅に低下することがわかった。
興味深いことに、学習システムの全ての計算がリモートワークステーションにデプロイされると、SACは性能損失を補うことができなくなり、注意深い考慮なしには、強力なリモートコンピュータを使用することで性能が向上しない可能性がある。
しかし、慎重に選択されたSACの計算分布は、両タスクのパフォーマンスを大幅に改善する。
一方,PPOの性能は計算量分布の影響を受けていない。
さらに、全ての計算が強力なテザリングコンピュータ上でのみ実行される場合、システムの性能は1台のマシンで十分に調整された既存のシステムと同等である。
ReLoDは、視覚ベースのタスクのために複数のロボットに適用される、リアルタイムRLのための唯一の公開システムである。
関連論文リスト
- DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。
活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。
DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
論文 参考訳（メタデータ） (2024-11-04T18:26:08Z) - DaCapo: Accelerating Continuous Learning in Autonomous Systems for Video Analytics [4.962007210373803]
本稿では,自律型システムによる推論,ラベリング,トレーニングの同時実行を可能にする,継続的学習のためのハードウェアアルゴリズムであるDaCapoを提案する。
DaCapoは、最先端の継続的学習システムであるEkyaとEOMUよりも6.5%と5.5%高い精度を実現し、消費電力は254倍少ない。
論文 参考訳（メタデータ） (2024-03-21T12:28:44Z) - SERL: A Software Suite for Sample-Efficient Robotic Reinforcement
Learning [85.21378553454672]
筆者らは,報酬の計算と環境のリセットを行う手法とともに,効率的なオフ・ポリティクス・ディープ・RL法を含むライブラリを開発した。
我々は,PCBボードアセンブリ,ケーブルルーティング,オブジェクトの移動に関するポリシを,非常に効率的な学習を実現することができることを発見した。
これらの政策は完全な成功率またはほぼ完全な成功率、摂動下でさえ極端な堅牢性を実現し、突発的な堅牢性回復と修正行動を示す。
論文 参考訳（メタデータ） (2024-01-29T10:01:10Z) - Stabilizing Contrastive RL: Techniques for Robotic Goal Reaching from
Offline Data [101.43350024175157]
自己指導型学習は、制御戦略を学ぶのに必要な人間のアノテーションとエンジニアリングの労力を減らす可能性がある。
我々の研究は、強化学習(RL)自体が自己監督的な問題であることを示す先行研究に基づいている。
コントラスト学習に基づく自己教師付きRLアルゴリズムは,実世界の画像に基づくロボット操作タスクを解くことができることを示す。
論文 参考訳（メタデータ） (2023-06-06T01:36:56Z) - Learnability with Time-Sharing Computational Resource Concerns [65.268245109828]
本稿では,学習理論における計算資源の影響を考慮した理論的枠組みを提案する。
このフレームワークは、入ってくるデータストリームが潜在的に無限であるようなストリーム学習に自然に適用できる。
これはまた、インテリジェントなスーパーコンピュータオペレーティングシステムの設計に対する理論的視点を提供するかもしれない。
論文 参考訳（メタデータ） (2023-05-03T15:54:23Z) - Architecting Peer-to-Peer Serverless Distributed Machine Learning
Training for Improved Fault Tolerance [1.495380389108477]
サーバレスコンピューティングは、計算単位として関数を使用するクラウドコンピューティングの新しいパラダイムである。
ワークロードを分散することにより、分散機械学習はトレーニングプロセスを高速化し、より複雑なモデルをトレーニングできるようにする。
本稿では、分散機械学習トレーニングにおけるサーバーレスコンピューティングの利用について検討し、P2Pアーキテクチャの性能とパラメータサーバアーキテクチャを比較した。
論文 参考訳（メタデータ） (2023-02-27T17:38:47Z) - Multi-Agent Reinforcement Learning for Long-Term Network Resource
Allocation through Auction: a V2X Application [7.326507804995567]
我々は,自律エージェント間の分散意思決定として,移動エージェントの動的グループ(自動車など)からの計算タスクのオフロードを定式化する。
我々は、競争と協力のバランスをとることで、そのようなエージェントにプライベートとシステム目標の整合を動機付けるインタラクションメカニズムを設計する。
本稿では,部分的,遅延,ノイズの多い状態情報を用いて学習する,新しいマルチエージェントオンライン学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-07-29T10:29:06Z) - Don't Start From Scratch: Leveraging Prior Data to Automate Robotic
Reinforcement Learning [70.70104870417784]
強化学習(RL)アルゴリズムは、ロボットシステムの自律的なスキル獲得を可能にするという約束を持っている。
現実のロボットRLは、通常、環境をリセットするためにデータ収集と頻繁な人間の介入を必要とする。
本研究では,従来のタスクから収集した多様なオフラインデータセットを効果的に活用することで,これらの課題にどのように対処できるかを検討する。
論文 参考訳（メタデータ） (2022-07-11T08:31:22Z) - Learning Centric Wireless Resource Allocation for Edge Computing:
Algorithm and Experiment [15.577056429740951]
Edge Intelligenceは、センサー、通信、コンピューティングコンポーネントを統合し、さまざまな機械学習アプリケーションをサポートする、新興ネットワークアーキテクチャである。
既存の方法は2つの重要な事実を無視している: 1) 異なるモデルがトレーニングデータに不均一な要求を持っている; 2) シミュレーション環境と実環境との間にはミスマッチがある。
本稿では,複数のタスクの最悪の学習性能を最大化する学習中心の無線リソース割り当て方式を提案する。
論文 参考訳（メタデータ） (2020-10-29T06:20:40Z) - A Machine Learning Approach for Task and Resource Allocation in Mobile
Edge Computing Based Networks [108.57859531628264]
無線ネットワークにおいて,共同作業,スペクトル,送信電力配分問題について検討する。
提案アルゴリズムは、標準Q-ラーニングアルゴリズムと比較して、収束に必要なイテレーション数と全ユーザの最大遅延を最大18%、11.1%削減することができる。
論文 参考訳（メタデータ） (2020-07-20T13:46:42Z) - Multi-agent Reinforcement Learning for Resource Allocation in IoT
networks with Edge Computing [16.129649374251088]
エンドユーザーが計算をオフロードするのは、スペクトルとリソースに対する大きな要求のためである。
本稿では,IoTエッジコンピューティングネットワークにおけるリソース割り当てを伴うオフロード機構をゲームとして定式化することによって検討する。
論文 参考訳（メタデータ） (2020-04-05T20:59:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。