論文の概要: Tactile Active Inference Reinforcement Learning for Efficient Robotic Manipulation Skill Acquisition

• arxiv url: http://arxiv.org/abs/2311.11287v1
• Date: Sun, 19 Nov 2023 10:19:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-21 21:09:06.981061
• Title: Tactile Active Inference Reinforcement Learning for Efficient Robotic Manipulation Skill Acquisition
• Title（参考訳）: 効率的なロボットマニピュレーションスキル獲得のための触覚アクティブ推論強化学習
• Authors: Zihao Liu, Xing Liu, Yizhai Zhang, Zhengxiong Liu and Panfeng Huang
• Abstract要約: 触覚能動推論強化学習(Tactile Active Inference Reinforcement Learning, Tactile-AIRL)と呼ばれるロボット操作におけるスキル学習手法を提案する。 強化学習(RL)の性能を高めるために,モデルに基づく手法と本質的な好奇心をRLプロセスに統合した能動推論を導入する。 本研究では,タスクをプッシュする非包括的オブジェクトにおいて,学習効率が著しく向上することが実証された。
• 参考スコア（独自算出の注目度）: 10.072992621244042
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robotic manipulation holds the potential to replace humans in the execution of tedious or dangerous tasks. However, control-based approaches are not suitable due to the difficulty of formally describing open-world manipulation in reality, and the inefficiency of existing learning methods. Thus, applying manipulation in a wide range of scenarios presents significant challenges. In this study, we propose a novel method for skill learning in robotic manipulation called Tactile Active Inference Reinforcement Learning (Tactile-AIRL), aimed at achieving efficient training. To enhance the performance of reinforcement learning (RL), we introduce active inference, which integrates model-based techniques and intrinsic curiosity into the RL process. This integration improves the algorithm's training efficiency and adaptability to sparse rewards. Additionally, we utilize a vision-based tactile sensor to provide detailed perception for manipulation tasks. Finally, we employ a model-based approach to imagine and plan appropriate actions through free energy minimization. Simulation results demonstrate that our method achieves significantly high training efficiency in non-prehensile objects pushing tasks. It enables agents to excel in both dense and sparse reward tasks with just a few interaction episodes, surpassing the SAC baseline. Furthermore, we conduct physical experiments on a gripper screwing task using our method, which showcases the algorithm's rapid learning capability and its potential for practical applications.
• Abstract（参考訳）: ロボット操作は、退屈で危険なタスクの実行において、人間を置き換える可能性を秘めている。 しかし、現実のオープンワールド操作を形式的に記述することが困難であり、既存の学習手法の非効率性のため、制御に基づくアプローチは適切ではない。 したがって、幅広いシナリオに操作を適用することが大きな課題となる。 本研究では,ロボット操作におけるスキル学習のための新しい手法である触覚能動推論強化学習(tactile-airl)を提案する。 強化学習(RL)の性能を高めるために,モデルに基づく手法と本質的な好奇心をRLプロセスに統合した能動推論を導入する。 この統合により、アルゴリズムのトレーニング効率とスパース報酬への適応性が向上する。 さらに、視覚に基づく触覚センサを用いて、操作タスクの詳細な認識を行う。 最後に,自由エネルギー最小化による適切な行動を想定し,計画するためにモデルベースアプローチを採用する。 シミュレーションの結果,タスクをプッシュする非理解オブジェクトのトレーニング効率は有意に高いことがわかった。 エージェントは、SACベースラインを越え、わずか数回の相互作用エピソードで、密度と疎度の両方の報酬タスクをエクササイズすることができる。 さらに,本手法を用いてグリッパーねじり作業の物理実験を行い,アルゴリズムの高速学習能力とその実用的応用の可能性を示す。

関連論文リスト

• Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning [47.785786984974855]
  本稿では,多種多様な操作タスクに対して印象的な性能を示す,ループ内視覚に基づくRLシステムを提案する。 提案手法では,実証と人間の修正,効率的なRLアルゴリズム,その他のシステムレベルの設計選択を統合してポリシを学習する。 提案手法は,再現学習のベースラインと先行RLアプローチを著しく上回り,成功率の平均2倍,実行速度1.8倍に向上した。
  論文  参考訳（メタデータ） (2024-10-29T08:12:20Z)
• Affordance-Guided Reinforcement Learning via Visual Prompting [51.361977466993345]
  Keypoint-based Affordance Guidance for Improvements (KAGI) は、視覚言語モデル(VLM)によって形成される報酬を自律的なRLに活用する手法である。 自然言語記述によって指定された実世界の操作タスクにおいて、KAGIは自律的なRLのサンプル効率を改善し、20Kのオンライン微調整ステップでタスク完了を成功させる。
  論文  参考訳（メタデータ） (2024-07-14T21:41:29Z)
• RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
  我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。 提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。 このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
  論文  参考訳（メタデータ） (2023-11-21T21:05:21Z)
• Exploiting Symmetry and Heuristic Demonstrations in Off-policy Reinforcement Learning for Robotic Manipulation [1.7901837062462316]
  本稿では,物理ロボット環境に存在する自然対称性を定義し,組み込むことを目的とする。 提案手法は,産業用アームの2つのポイント・ツー・ポイント・リーチタスクによって,障害物を伴わずに検証される。 提案手法と従来の非政治強化学習アルゴリズムとの比較研究は,アプリケーションにおける学習性能と潜在的価値の優位性を示している。
  論文  参考訳（メタデータ） (2023-04-12T11:38:01Z)
• Demonstration-Guided Reinforcement Learning with Efficient Exploration for Task Automation of Surgical Robot [54.80144694888735]
  効率的な強化学習アルゴリズムであるDEX(Demonstration-Guided Exploration)を導入する。 本手法は,生産的相互作用を促進するために,高い値で専門家のような行動を推定する。 総合的な手術シミュレーションプラットフォームであるSurRoLによる10ドルの手術操作に関する実験では、大幅な改善が示されている。
  論文  参考訳（メタデータ） (2023-02-20T05:38:54Z)
• Dexterous Manipulation from Images: Autonomous Real-World RL via Substep Guidance [71.36749876465618]
  本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。 本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。 実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
  論文  参考訳（メタデータ） (2022-12-19T22:50:40Z)
• Maximum Entropy Model-based Reinforcement Learning [0.0]
  この研究は、探索技術とモデルに基づく強化学習を結びつけている。 モデルベースアプローチの特徴を考慮した新しい探索手法を考案した。 また,本手法がモデルベースアルゴリズムDreamerの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2021-12-02T13:07:29Z)
• Accelerating Robotic Reinforcement Learning via Parameterized Action Primitives [92.0321404272942]
  強化学習は汎用ロボットシステムの構築に使用することができる。 しかし、ロボット工学の課題を解決するためにRLエージェントを訓練することは依然として困難である。 本研究では,ロボット行動プリミティブ(RAPS)のライブラリを手動で指定し,RLポリシーで学習した引数をパラメータ化する。 動作インターフェースへの簡単な変更は、学習効率とタスクパフォーマンスの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2021-10-28T17:59:30Z)
• An Empowerment-based Solution to Robotic Manipulation Tasks with Sparse Rewards [14.937474939057596]
  ロボットマニピュレータは、非常にまばらな指示信号しか提供されていなくても、タスクを達成できることを学ぶことが重要である。 本稿では,任意の標準強化学習アルゴリズムに容易に組み込むことができる本質的な動機づけ手法を提案する。
  論文  参考訳（メタデータ） (2020-10-15T19:06:21Z)
• Emergent Real-World Robotic Skills via Unsupervised Off-Policy Reinforcement Learning [81.12201426668894]
  報奨関数を使わずに多様なスキルを習得し,これらのスキルを下流のタスクに再利用する効率的な強化学習手法を開発した。 提案アルゴリズムは学習効率を大幅に向上させ,報酬のない実世界のトレーニングを実現する。 また,学習スキルは,目標指向ナビゲーションのためのモデル予測制御を用いて,追加のトレーニングを伴わずに構成可能であることも実証した。
  論文  参考訳（メタデータ） (2020-04-27T17:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。