論文の概要: SuPLE: Robot Learning with Lyapunov Rewards
- arxiv url: http://arxiv.org/abs/2411.13613v1
- Date: Wed, 20 Nov 2024 03:20:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-22 15:18:23.757173
- Title: SuPLE: Robot Learning with Lyapunov Rewards
- Title（参考訳）: SuPLE: Lyapunov Rewardsによるロボット学習
- Authors: Phu Nguyen, Daniel Polani, Stas Tiomkin,
- Abstract要約: 外部の仮定を加えることなく、ダイナミクスの特性を使ってシステムに適切な報酬を生み出す。
我々は,「正のリアプノフ指数」(SuPLE)が,そのような報酬の設計の有力な候補であることを示す。
これは、任意の状態で訓練軌道を開始する必要をなくし、補助探査としても知られる。
- 参考スコア（独自算出の注目度）: 4.424170214926035
- License:
- Abstract: The reward function is an essential component in robot learning. Reward directly affects the sample and computational complexity of learning, and the quality of a solution. The design of informative rewards requires domain knowledge, which is not always available. We use the properties of the dynamics to produce system-appropriate reward without adding external assumptions. Specifically, we explore an approach to utilize the Lyapunov exponents of the system dynamics to generate a system-immanent reward. We demonstrate that the `Sum of the Positive Lyapunov Exponents' (SuPLE) is a strong candidate for the design of such a reward. We develop a computational framework for the derivation of this reward, and demonstrate its effectiveness on classical benchmarks for sample-based stabilization of various dynamical systems. It eliminates the need to start the training trajectories at arbitrary states, also known as auxiliary exploration. While the latter is a common practice in simulated robot learning, it is unpractical to consider to use it in real robotic systems, since they typically start from natural rest states such as a pendulum at the bottom, a robot on the ground, etc. and can not be easily initialized at arbitrary states. Comparing the performance of SuPLE to commonly-used reward functions, we observe that the latter fail to find a solution without auxiliary exploration, even for the task of swinging up the double pendulum and keeping it stable at the upright position, a prototypical scenario for multi-linked robots. SuPLE-induced rewards for robot learning offer a novel route for effective robot learning in typical as opposed to highly specialized or fine-tuned scenarios. Our code is publicly available for reproducibility and further research.
- Abstract（参考訳）: 報酬関数はロボット学習において不可欠な要素である。
Rewardは、学習のサンプルと計算の複雑さ、そしてソリューションの品質に直接影響を与える。
情報的報酬の設計はドメイン知識を必要とするが、常に利用できるとは限らない。
我々は、外部の仮定を加えることなく、システムに適切な報酬を生み出すために、ダイナミクスの特性を使用します。
具体的には,システム力学のリアプノフ指数を用いてシステム不変報酬を生成する手法について検討する。
我々は,「肯定的なリアプノフ指数」 (SuPLE) が,そのような報酬の設計の有力な候補であることを示す。
この報酬の導出のための計算フレームワークを開発し、様々な力学系のサンプルベース安定化のための古典的ベンチマークでその効果を実証する。
これは、任意の状態で訓練軌道を開始する必要をなくし、補助探査としても知られる。
後者はシミュレートされたロボット学習において一般的なプラクティスであるが、通常は底の振り子や地上のロボットなどの自然の安静状態から始まり、任意の状態では容易に初期化できないため、実際のロボットシステムでの使用を考えることは現実的ではない。
SuPLEの性能を一般用途の報酬関数と比較すると、二重振り子を揺らし、直立位置で安定させるタスクであっても、補助探索なしで解を見つけることができず、これはマルチリンクロボットの原始シナリオである。
SuPLEによるロボット学習の報酬は、高度に専門化されたシナリオや微調整されたシナリオとは対照的に、一般的な効果的なロボット学習のための新しいルートを提供する。
私たちのコードは再現性とさらなる研究のために公開されています。
関連論文リスト
- Autonomous Robotic Reinforcement Learning with Asynchronous Human
Feedback [27.223725464754853]
GEARは、ロボットを現実世界の環境に配置し、中断することなく自律的に訓練することを可能にする。
システムはリモート、クラウドソース、非専門家からの非同期フィードバックのみを必要とする、Webインターフェースにロボットエクスペリエンスをストリームする。
論文 参考訳（メタデータ） (2023-10-31T16:43:56Z) - Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for
Autonomous Real-World Reinforcement Learning [58.3994826169858]
ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。
我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。
提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
論文 参考訳（メタデータ） (2023-10-23T17:50:08Z) - What Matters to You? Towards Visual Representation Alignment for Robot
Learning [81.30964736676103]
人のために運用する場合、ロボットはエンドユーザーの好みに合わせて報酬を最適化する必要がある。
本稿では、視覚的表現アライメント問題を解決するためのRAPL(Representation-Aligned Preference-based Learning)を提案する。
論文 参考訳（メタデータ） (2023-10-11T23:04:07Z) - On-Robot Bayesian Reinforcement Learning for POMDPs [16.667924736270415]
本稿では,ロボット工学におけるベイズ強化学習を,物理システムのための特殊フレームワークの提案により進める。
この知識を因子表現で捉え、後続の分解を同様の形で示し、最終的にベイズ的枠組みでモデルを定式化する。
次に,モンテカルロ木探索と粒子フィルタリングに基づくサンプルベースオンライン解法を提案する。
論文 参考訳（メタデータ） (2023-07-22T01:16:29Z) - Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement
Learning [54.636562516974884]
模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。
本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。
ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
論文 参考訳（メタデータ） (2023-03-02T18:51:38Z) - Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。
学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
論文 参考訳（メタデータ） (2022-11-16T16:26:48Z) - Active Predicting Coding: Brain-Inspired Reinforcement Learning for
Sparse Reward Robotic Control Problems [79.07468367923619]
ニューラルジェネレーティブ・コーディング(NGC)の神経認知計算フレームワークによるロボット制御へのバックプロパゲーションフリーアプローチを提案する。
我々は、スパース報酬から動的オンライン学習を容易にする強力な予測符号化/処理回路から完全に構築されたエージェントを設計する。
提案するActPCエージェントは,スパース(外部)報酬信号に対して良好に動作し,複数の強力なバックプロップベースのRLアプローチと競合し,性能が優れていることを示す。
論文 参考訳（メタデータ） (2022-09-19T16:49:32Z) - SAGCI-System: Towards Sample-Efficient, Generalizable, Compositional,
and Incremental Robot Learning [41.19148076789516]
上記の4つの要件を満たすために,SAGCIシステムと呼ばれる体系的な学習フレームワークを導入する。
本システムはまず,ロボットの手首に搭載されたカメラによって収集された生点雲を入力とし,URDFに代表される周囲環境の初期モデリングを生成する。
そのロボットは、対話的な知覚を利用して環境と対話し、URDFのオンライン検証と修正を行う。
論文 参考訳（メタデータ） (2021-11-29T16:53:49Z) - Semi-supervised reward learning for offline reinforcement learning [71.6909757718301]
トレーニングエージェントは通常、報酬機能が必要ですが、報酬は実際にはほとんど利用できず、エンジニアリングは困難で手間がかかります。
限定されたアノテーションから学習し,ラベルなしデータを含む半教師付き学習アルゴリズムを提案する。
シミュレーションロボットアームを用いた実験では,動作のクローン化が大幅に向上し,真理の報奨によって達成される性能に近づいた。
論文 参考訳（メタデータ） (2020-12-12T20:06:15Z) - Feature Expansive Reward Learning: Rethinking Human Input [31.413656752926208]
そこで我々は,ロボットが教えている特徴が表現されていない状態からロボットを誘導する新しいタイプの人間入力を紹介した。
本稿では,その特徴を生の状態空間から学習し,報酬関数に組み込むアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-23T17:59:34Z) - Active Preference-Based Gaussian Process Regression for Reward Learning [42.697198807877925]
一般的なアプローチの1つは、収集された専門家によるデモンストレーションから報酬関数を学ぶことである。
選好に基づく学習手法を提案し、その代替として、人間のフィードバックは軌跡間の比較の形でのみ存在する。
当社のアプローチは、嗜好に基づく学習フレームワークにおいて、柔軟性とデータ非効率の両問題に対処することを可能にする。
論文 参考訳（メタデータ） (2020-05-06T03:29:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。