論文の概要: Sample Efficient Robot Learning in Supervised Effect Prediction Tasks
- arxiv url: http://arxiv.org/abs/2412.02331v1
- Date: Tue, 03 Dec 2024 09:48:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-04 15:47:38.400210
- Title: Sample Efficient Robot Learning in Supervised Effect Prediction Tasks
- Title（参考訳）: 教師付き効果予測課題におけるサンプル能率ロボット学習
- Authors: Mehmet Arda Eren, Erhan Oztop,
- Abstract要約: 本研究では,アクション・エフェクトの予測や,より一般的にはMUSELと呼ばれる世界モデル学習のためのロボットレグレッションタスクを目的とした新しいALフレームワークを開発する。
MUSELは、学習エンジンが与える総不確実性推定から、進捗と入力の多様性を利用してモデル不確かさを抽出し、それを用いて、最先端のアクション・エフェクト予測法を超えてサンプル効率を向上させることを目的としている。
MUSELの有効性は、ロボットのアクション・エフェクト・ラーニングで使用される標準的な方法と比較することによって実証される。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: In self-supervised robot learning, robots actively explore their environments and generate data by acting on entities in the environment. Therefore, an exploration policy is desired that ensures sample efficiency to minimize robot execution costs while still providing accurate learning. For this purpose, the robotic community has adopted Intrinsic Motivation (IM)-based approaches such as Learning Progress (LP). On the machine learning front, Active Learning (AL) has been used successfully, especially for classification tasks. In this work, we develop a novel AL framework geared towards robotics regression tasks, such as action-effect prediction and, more generally, for world model learning, which we call MUSEL - Model Uncertainty for Sample Efficient Learning. MUSEL aims to extract model uncertainty from the total uncertainty estimate given by a suitable learning engine by making use of earning progress and input diversity and use it to improve sample efficiency beyond the state-of-the-art action-effect prediction methods. We demonstrate the feasibility of our model by using a Stochastic Variational Gaussian Process (SVGP) as the learning engine and testing the system on a set of robotic experiments in simulation. The efficacy of MUSEL is demonstrated by comparing its performance to standard methods used in robot action-effect learning. In a robotic tabletop environment in which a robot manipulator is tasked with learning the effect of its actions, the experiments show that MUSEL facilitates higher accuracy in learning action effects while ensuring sample efficiency.
- Abstract（参考訳）: 自己教師型ロボット学習では、ロボットは環境を積極的に探索し、環境内のエンティティに作用してデータを生成する。
そのため、正確な学習を提供しながら、ロボットの実行コストを最小限に抑えるため、サンプル効率を確保する探索政策が望まれている。
この目的のために、ロボットコミュニティは、学習進歩(LP)のような固有のモチベーション(IM)ベースのアプローチを採用してきた。
機械学習の分野では、特に分類タスクにおいて、アクティブラーニング(AL)が成功している。
本研究では,アクション・エフェクトの予測や,より一般的にはMUSEL(Model Uncertainty for Sample Efficient Learning, MUSEL)と呼ばれる世界モデル学習のためのロボットレグレッションタスクを目的とした新しいALフレームワークを開発する。
MUSELは、学習エンジンが与える総不確実性推定から、進捗と入力の多様性を利用してモデル不確かさを抽出し、それを用いて、最先端のアクション・エフェクト予測法を超えてサンプル効率を向上させることを目的としている。
本稿では,Stochastic Variational Gaussian Process (SVGP) を学習エンジンとして使用し,シミュレーションにおけるロボット実験のセット上でシステムをテストすることにより,本モデルの有効性を実証する。
MUSELの有効性は、ロボットのアクション・エフェクト・ラーニングで使用される標準的な方法と比較することによって実証される。
ロボットマニピュレータが動作の効果を学習するロボットテーブルトップ環境において、MUSELはサンプル効率を確保しつつ、学習行動効果の高精度化を促進する。
関連論文リスト
- Simulation-Aided Policy Tuning for Black-Box Robot Learning [47.83474891747279]
本稿では,データ効率の向上に着目した新しいブラックボックスポリシー探索アルゴリズムを提案する。
このアルゴリズムはロボット上で直接学習し、シミュレーションを追加の情報源として扱い、学習プロセスを高速化する。
ロボットマニピュレータ上でのタスク学習の高速化と成功を,不完全なシミュレータの助けを借りて示す。
論文 参考訳（メタデータ） (2024-11-21T15:52:23Z) - DiffGen: Robot Demonstration Generation via Differentiable Physics Simulation, Differentiable Rendering, and Vision-Language Model [72.66465487508556]
DiffGenは、微分可能な物理シミュレーション、微分可能なレンダリング、ビジョン言語モデルを統合する新しいフレームワークである。
言語命令の埋め込みとシミュレートされた観察の埋め込みとの距離を最小化することにより、現実的なロボットデモを生成することができる。
実験によると、DiffGenを使えば、人間の努力やトレーニング時間を最小限に抑えて、ロボットデータを効率よく、効果的に生成できる。
論文 参考訳（メタデータ） (2024-05-12T15:38:17Z) - Unsupervised Learning of Effective Actions in Robotics [0.9374652839580183]
ロボット工学における現在の最先端のアクション表現は、ロボットのアクションに対する適切な効果駆動学習を欠いている。
連続運動空間の離散化と「アクションプロトタイプ」生成のための教師なしアルゴリズムを提案する。
シミュレーションされた階段登上補強学習課題について,本手法の評価を行った。
論文 参考訳（メタデータ） (2024-04-03T13:28:52Z) - Active Exploration in Bayesian Model-based Reinforcement Learning for Robot Manipulation [8.940998315746684]
ロボットアームのエンドタスクに対するモデルベース強化学習(RL)アプローチを提案する。
我々はベイズニューラルネットワークモデルを用いて、探索中に動的モデルに符号化された信念と情報の両方を確率論的に表現する。
実験により,ベイズモデルに基づくRL手法の利点が示された。
論文 参考訳（メタデータ） (2024-04-02T11:44:37Z) - Interactive Planning Using Large Language Models for Partially
Observable Robotics Tasks [54.60571399091711]
大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。
LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
論文 参考訳（メタデータ） (2023-12-11T22:54:44Z) - Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for
Autonomous Real-World Reinforcement Learning [58.3994826169858]
ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。
我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。
提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
論文 参考訳（メタデータ） (2023-10-23T17:50:08Z) - Active Exploration for Robotic Manipulation [40.39182660794481]
本稿では,スパース・リワード型ロボット操作作業における効率的な学習を可能にするモデルに基づく能動探索手法を提案する。
我々は,提案アルゴリズムをシミュレーションおよび実ロボットで評価し,スクラッチから本手法を訓練した。
論文 参考訳（メタデータ） (2022-10-23T18:07:51Z) - Sample Efficient Robot Learning with Structured World Models [3.1761323820497656]
ゲーム環境では、世界モデルの使用は、優れた性能を保ちながら、サンプル効率を向上させることが示されている。
本稿では,RGB画像観察と,ロボットのスキル学習における共通アプローチである内蔵構造を利用した特徴空間を比較し,タスク性能と学習効率への影響を世界モデルと無関係に比較する。
論文 参考訳（メタデータ） (2022-10-21T22:08:55Z) - Revisiting the Adversarial Robustness-Accuracy Tradeoff in Robot
Learning [121.9708998627352]
近年の研究では、現実的なロボット学習の応用において、対人訓練の効果が公平なトレードオフを起こさないことが示されている。
本研究は,ロボット学習におけるロバストネスと精度のトレードオフを再考し,最近のロバストトレーニング手法と理論の進歩により,現実のロボット応用に適した対人トレーニングが可能かどうかを解析する。
論文 参考訳（メタデータ） (2022-04-15T08:12:15Z) - Model Predictive Actor-Critic: Accelerating Robot Skill Acquisition with
Deep Reinforcement Learning [42.525696463089794]
Model Predictive Actor-Critic (MoPAC)は、モデル予測ロールアウトとポリシー最適化を組み合わせてモデルバイアスを軽減するハイブリッドモデルベース/モデルフリーメソッドである。
MoPACは最適なスキル学習を近似誤差まで保証し、環境との物理的相互作用を減らす。
論文 参考訳（メタデータ） (2021-03-25T13:50:24Z) - Scalable Multi-Task Imitation Learning with Autonomous Improvement [159.9406205002599]
我々は、自律的なデータ収集を通じて継続的に改善できる模倣学習システムを構築している。
我々は、ロボット自身の試行を、実際に試みたタスク以外のタスクのデモとして活用する。
従来の模倣学習のアプローチとは対照的に,本手法は,継続的改善のための疎い監視によるデータ収集を自律的に行うことができる。
論文 参考訳（メタデータ） (2020-02-25T18:56:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。