論文の概要: MILE: Model-based Intervention Learning

• arxiv url: http://arxiv.org/abs/2502.13519v1
• Date: Wed, 19 Feb 2025 08:15:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 13:59:16.431456
• Title: MILE: Model-based Intervention Learning
• Title（参考訳）: MILE:モデルに基づくインターベンション学習
• Authors: Yigit Korkmaz, Erdem Bıyık,
• Abstract要約: ごく少数の専門家の介入で政策を学ぶことが可能であることを示す。 私たちの重要な洞察は、専門家のフィードバックから、現在の状態の品質と選択されたアクションの最適性について重要な情報を得ることができます。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Imitation learning techniques have been shown to be highly effective in real-world control scenarios, such as robotics. However, these approaches not only suffer from compounding error issues but also require human experts to provide complete trajectories. Although there exist interactive methods where an expert oversees the robot and intervenes if needed, these extensions usually only utilize the data collected during intervention periods and ignore the feedback signal hidden in non-intervention timesteps. In this work, we create a model to formulate how the interventions occur in such cases, and show that it is possible to learn a policy with just a handful of expert interventions. Our key insight is that it is possible to get crucial information about the quality of the current state and the optimality of the chosen action from expert feedback, regardless of the presence or the absence of intervention. We evaluate our method on various discrete and continuous simulation environments, a real-world robotic manipulation task, as well as a human subject study. Videos and the code can be found at https://liralab.usc.edu/mile .
• Abstract（参考訳）: 模倣学習技術は、ロボット工学のような現実世界の制御シナリオにおいて非常に効果的であることが示されている。 しかしながら、これらのアプローチは、複雑なエラー問題に苦しむだけでなく、人間の専門家が完全な軌道を提供する必要がある。 専門家がロボットを監督し、必要に応じて介入するインタラクティブな方法が存在するが、これらの拡張は通常、介入期間中に収集されたデータのみを利用し、非干渉のタイムステップに隠されたフィードバック信号を無視する。 本研究では,そのような場合における介入の発生を定式化するためのモデルを作成し,少数の専門家による介入で政策を学ぶことができることを示す。 我々の重要な洞察は、介入の有無にかかわらず、専門家のフィードバックから、現在の状態の品質と選択された行動の最適性について重要な情報を得ることが可能であるということです。 本手法は,実世界におけるロボット操作作業や人体実験など,様々な離散的かつ連続的なシミュレーション環境において評価する。 ビデオとコードはhttps://liralab.usc.edu/mile で見ることができる。

関連論文リスト

• MILES: Making Imitation Learning Easy with Self-Supervision [12.314942459360605]
  MILESは完全に自律的で自己管理型のデータ収集パラダイムである。 MILESは,1つの実演と1つの環境リセットから,効率的なポリシー学習を可能にする。
  論文  参考訳（メタデータ） (2024-10-25T17:06:50Z)
• Self-Explainable Affordance Learning with Embodied Caption [63.88435741872204]
  具体的キャプションを具現化したSelf-Explainable Affordance Learning (SEA)を紹介する。 SEAは、ロボットが意図を明確に表現し、説明可能な視覚言語キャプションと視覚能力学習のギャップを埋めることを可能にする。 本稿では, 簡便かつ効率的な方法で, 空き地と自己説明を効果的に組み合わせた新しいモデルを提案する。
  論文  参考訳（メタデータ） (2024-04-08T15:22:38Z)
• RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
  我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。 提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。 このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
  論文  参考訳（メタデータ） (2023-11-21T21:05:21Z)
• When to Ask for Help: Proactive Interventions in Autonomous Reinforcement Learning [57.53138994155612]
  強化学習の長期的な目標は、世界で自律的に対話し学習できるエージェントを設計することである。 重要な課題は、ロボットアームが物体をテーブルから押し出したときなど、外部からの援助を必要とする不可逆状態の存在である。 本研究では,非可逆状態の検出と回避を効率よく学習し,エージェントが侵入した場合に積極的に支援を求めるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-19T17:57:24Z)
• Chain of Thought Imitation with Procedure Cloning [129.62135987416164]
  本稿では,一連の専門家計算を模倣するために,教師付きシーケンス予測を適用したプロシージャクローニングを提案する。 本研究では、専門家の行動の中間計算を模倣することで、プロシージャのクローン化により、未知の環境構成に顕著な一般化を示すポリシーを学習できることを示す。
  論文  参考訳（メタデータ） (2022-05-22T13:14:09Z)
• Self-Supervised Learning of Multi-Object Keypoints for Robotic Manipulation [8.939008609565368]
  本稿では,下流政策学習におけるDense Cor correspondence pretext Taskによる画像キーポイントの学習の有効性を示す。 我々は,多様なロボット操作タスクに対するアプローチを評価し,他の視覚表現学習手法と比較し,その柔軟性と有効性を示した。
  論文  参考訳（メタデータ） (2022-05-17T13:15:07Z)
• Human-in-the-Loop Imitation Learning using Remote Teleoperation [72.2847988686463]
  6-DoF操作設定に合わせたデータ収集システムを構築します。 システムによって収集された新しいデータに基づいて,ポリシーを反復的にトレーニングするアルゴリズムを開発した。 介入型システムで収集したデータに基づいて訓練されたエージェントと、非介入型デモ参加者が収集した同等数のサンプルで訓練されたアルゴリズムを上回るエージェントを実証する。
  論文  参考訳（メタデータ） (2020-12-12T05:30:35Z)
• Offline Learning for Planning: A Summary [0.0]
  自律的なエージェントの訓練は、しばしば、環境との高価で安全でない試行錯誤の相互作用を必要とする。 さまざまなタスクを実行するインテリジェントエージェントの記録された経験を含むデータセットは、インターネット上でアクセス可能である。 本稿では,最先端のオフライン学習ベースラインの開発を動機とするアイデアを要約する。
  論文  参考訳（メタデータ） (2020-10-05T11:41:11Z)
• Guided Uncertainty-Aware Policy Optimization: Combining Learning and Model-Based Strategies for Sample-Efficient Policy Learning [75.56839075060819]
  従来のロボットのアプローチは、環境の正確なモデル、タスクの実行方法の詳細な説明、現在の状態を追跡するための堅牢な認識システムに依存している。 強化学習アプローチは、タスクを記述するための報酬信号だけで、生の感覚入力から直接操作することができるが、非常にサンプル非効率で脆弱である。 本研究では,ロボットの知覚・運動パイプラインにおける不正確さを克服できる一般的な手法を得るために,モデルに基づく手法の強みと学習に基づく手法の柔軟性を組み合わせる。
  論文  参考訳（メタデータ） (2020-05-21T19:47:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。