論文の概要: Curriculum Is More Influential Than Haptic Information During Reinforcement Learning of Object Manipulation Against Gravity
- arxiv url: http://arxiv.org/abs/2407.09986v1
- Date: Sat, 13 Jul 2024 19:23:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 19:58:18.389224
- Title: Curriculum Is More Influential Than Haptic Information During Reinforcement Learning of Object Manipulation Against Gravity
- Title（参考訳）: 重力に対する物体操作の強化学習におけるカリキュラムはハプティック情報よりも流動的である
- Authors: Pegah Ojaghi, Romina Mir, Ali Marjaninejad, Andrew Erwin, Michael Wehner, Francisco J Valero-Cueva,
- Abstract要約: 指先で物体を持ち上げて回転させる学習は、自律的な手動操作に必要である。
そこで我々は,カリキュラム学習と触覚フィードバックが創発的操作の学習に果たす役割について検討した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning to lift and rotate objects with the fingertips is necessary for autonomous in-hand dexterous manipulation. In our study, we explore the impact of various factors on successful learning strategies for this task. Specifically, we investigate the role of curriculum learning and haptic feedback in enabling the learning of dexterous manipulation. Using model-free Reinforcement Learning, we compare different curricula and two haptic information modalities (No-tactile vs. 3D-force sensing) for lifting and rotating a ball against gravity with a three-fingered simulated robotic hand with no visual input. Note that our best results were obtained when we used a novel curriculum-based learning rate scheduler, which adjusts the linearly-decaying learning rate when the reward is changed as it accelerates convergence to higher rewards. Our findings demonstrate that the choice of curriculum greatly biases the acquisition of different features of dexterous manipulation. Surprisingly, successful learning can be achieved even in the absence of tactile feedback, challenging conventional assumptions about the necessity of haptic information for dexterous manipulation tasks. We demonstrate the generalizability of our results to balls of different weights and sizes, underscoring the robustness of our learning approach. This work, therefore, emphasizes the importance of the choice curriculum and challenges long-held notions about the need for tactile information to autonomously learn in-hand dexterous manipulation.
- Abstract（参考訳）: 指先で物体を持ち上げて回転させる学習は、自律的な手動操作に必要である。
本研究は,本課題の学習戦略における各種要因の影響について考察する。
具体的には,デクスタラス操作の学習において,カリキュラム学習と触覚フィードバックが果たす役割について検討する。
モデルレス強化学習を用いて、視覚的な入力のない3本指のロボットハンドでボールを持ち上げて重力に対して回転させるための異なるカリキュラムと2つの触覚情報モード(No-tactile vs. 3D-force Sensor)を比較した。
カリキュラムベースの学習率スケジューラを用いた場合,報奨が変化した場合に,報奨の収束を加速する線形遅延学習率を調整することにより,報奨率スケジューラが得られた。
以上の結果から,カリキュラムの選択は異質な操作の異なる特徴の獲得に大きく偏っていることが示唆された。
意外なことに、触覚フィードバックがなくても学習を成功させることができ、巧妙な操作タスクに触覚情報が必要であるという従来の仮定に挑戦することができる。
実験結果の一般化可能性について,異なる重みと大きさの球に対して示し,学習手法の頑健さを裏付ける。
この研究は、選択カリキュラムの重要性を強調し、手動操作を自律的に学習する触覚情報の必要性に関する長年の考えに挑戦する。
関連論文リスト
- Lessons from Learning to Spin "Pens" [51.9182692233916]
本研究では,ペンのような物体を回転させる能力を示すことによって,学習に基づく手動操作システムの境界を推し進める。
まず、強化学習を用いて、特権情報でオラクルポリシーを訓練し、シミュレーションにおいて高忠実度軌道データセットを生成する。
次に、これらの実世界の軌道を用いて感覚運動のポリシーを微調整し、実世界の力学に適応させる。
論文 参考訳（メタデータ） (2024-07-26T17:56:01Z) - Exploring CausalWorld: Enhancing robotic manipulation via knowledge transfer and curriculum learning [6.683222869973898]
本研究では,指間の複雑な動きと協調を必要とする,学習に基づく三指ロボットアーム操作タスクについて検討する。
強化学習を利用することで、エージェントに熟練した操作に必要なスキルを習得するよう訓練する。
微調整とカリキュラム学習という2つの知識伝達戦略を,ソフトアクター・クリティカルなアーキテクチャで活用した。
論文 参考訳（メタデータ） (2024-03-25T23:19:19Z) - Learning to Transfer In-Hand Manipulations Using a Greedy Shape
Curriculum [79.6027464700869]
本研究では, 動的シミュレーションにおける簡易物体の自然な, 頑健な手動操作が, 高品質なモーションキャプチャの例から学習可能であることを示す。
本稿では,ティーポット,バニー,ボトル,トレイン,ゾウなど,さまざまな対象に適用可能な,単純なグリージーなカリキュラム検索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-03-14T17:08:19Z) - Teacher-student curriculum learning for reinforcement learning [1.7259824817932292]
強化学習(rl)は、シーケンシャルな意思決定問題に対する一般的なパラダイムである。
深部強化学習手法のサンプル非効率性は,実世界の問題に適用する際の重要な障害である。
そこで我々は,学生が選択した課題の解き方を学習している間に,生徒の課題を選択する教師を同時に訓練する学習環境を提案する。
論文 参考訳（メタデータ） (2022-10-31T14:45:39Z) - Self-Supervised Learning of Multi-Object Keypoints for Robotic
Manipulation [8.939008609565368]
本稿では,下流政策学習におけるDense Cor correspondence pretext Taskによる画像キーポイントの学習の有効性を示す。
我々は,多様なロボット操作タスクに対するアプローチを評価し,他の視覚表現学習手法と比較し,その柔軟性と有効性を示した。
論文 参考訳（メタデータ） (2022-05-17T13:15:07Z) - Rethinking Learning Dynamics in RL using Adversarial Networks [79.56118674435844]
本稿では,スキル埋め込み空間を通じてパラメータ化された,密接に関連するスキルの強化学習のための学習機構を提案する。
本研究の主な貢献は、エントロピー規則化政策勾配定式化の助けを借りて、強化学習のための敵の訓練体制を定式化することである。
論文 参考訳（メタデータ） (2022-01-27T19:51:09Z) - What Matters in Learning from Offline Human Demonstrations for Robot
Manipulation [64.43440450794495]
ロボット操作のための6つのオフライン学習アルゴリズムについて広範な研究を行う。
我々の研究は、オフラインの人間のデータから学習する際の最も重要な課題を分析します。
人間のデータセットから学ぶ機会を強調します。
論文 参考訳（メタデータ） (2021-08-06T20:48:30Z) - Visual Adversarial Imitation Learning using Variational Models [60.69745540036375]
逆関数仕様は、深い強化学習を通しての学習行動にとって大きな障害であり続けている。
望ましい行動の視覚的なデモンストレーションは、エージェントを教えるためのより簡単で自然な方法を示すことが多い。
変動モデルに基づく対向的模倣学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-07-16T00:15:18Z) - Learning Dexterous Grasping with Object-Centric Visual Affordances [86.49357517864937]
控えめなロボットハンドは、機敏さと人間のような形態をアピールしています。
本稿では,厳密な把握を学習するためのアプローチを提案する。
私たちのキーとなるアイデアは、オブジェクト中心の視覚的余裕モデルを深い強化学習ループに埋め込むことです。
論文 参考訳（メタデータ） (2020-09-03T04:00:40Z) - The utility of tactile force to autonomous learning of in-hand
manipulation is task-dependent [0.0]
本稿では,3指腱を用いた手指操作の自律学習における触覚情報の役割について検討する。
2つの操作タスクを3段階の触覚で学習するのと同じ学習アルゴリズムの能力を比較した。
我々は、一般的に、感覚入力はタスクに関連する場合にのみ学習するのに役立つと結論付けている。
論文 参考訳（メタデータ） (2020-02-05T06:24:40Z) - Inter- and Intra-domain Knowledge Transfer for Related Tasks in Deep
Character Recognition [2.320417845168326]
ImageNetデータセットでディープニューラルネットワークを事前トレーニングすることは、ディープラーニングモデルをトレーニングするための一般的なプラクティスである。
1つのタスクで事前トレーニングを行い、新しいタスクで再トレーニングするテクニックは、トランスファーラーニング(transfer learning)と呼ばれる。
本稿では,文字認識タスクにおけるDeep Transfer Learningの有効性について分析する。
論文 参考訳（メタデータ） (2020-01-02T14:18:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。