論文の概要: DeepSym: Deep Symbol Generation and Rule Learning from Unsupervised Continuous Robot Interaction for Planning

• arxiv url: http://arxiv.org/abs/2012.02532v1
• Date: Fri, 4 Dec 2020 11:26:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-23 06:26:58.290002
• Title: DeepSym: Deep Symbol Generation and Rule Learning from Unsupervised Continuous Robot Interaction for Planning
• Title（参考訳）: DeepSym: 計画のための教師なし連続ロボットインタラクションによる深部シンボル生成とルール学習
• Authors: Alper Ahmetoglu, M. Yunus Seker, Aysu Sayin, Serkan Bugur, Justus Piater, Erhan Oztop, Emre Ugur
• Abstract要約: ロボットアームハンドシステムは、プッシュとスタックアクションから「ロータブル」、「インサータブル」、「ラーガー・サン」と解釈できるシンボルを学習する。 本システムは,ロボットアームハンドシステムにおいて,その動作から「回転可能」,「不可能」,「大きい」と解釈可能なシンボルを学習する物理に基づく3次元シミュレーション環境で検証する。
• 参考スコア（独自算出の注目度）: 1.3854111346209868
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autonomous discovery of discrete symbols and rules from continuous interaction experience is a crucial building block of robot AI, but remains a challenging problem. Solving it will overcome the limitations in scalability, flexibility, and robustness of manually-designed symbols and rules, and will constitute a substantial advance towards autonomous robots that can learn and reason at abstract levels in open-ended environments. Towards this goal, we propose a novel and general method that finds action-grounded, discrete object and effect categories and builds probabilistic rules over them that can be used in complex action planning. Our robot interacts with single and multiple objects using a given action repertoire and observes the effects created in the environment. In order to form action-grounded object, effect, and relational categories, we employ a binarized bottleneck layer of a predictive, deep encoder-decoder network that takes as input the image of the scene and the action applied, and generates the resulting object displacements in the scene (action effects) in pixel coordinates. The binary latent vector represents a learned, action-driven categorization of objects. To distill the knowledge represented by the neural network into rules useful for symbolic reasoning, we train a decision tree to reproduce its decoder function. From its branches we extract probabilistic rules and represent them in PPDDL, allowing off-the-shelf planners to operate on the robot's sensorimotor experience. Our system is verified in a physics-based 3d simulation environment where a robot arm-hand system learned symbols that can be interpreted as 'rollable', 'insertable', 'larger-than' from its push and stack actions; and generated effective plans to achieve goals such as building towers from given cubes, balls, and cups using off-the-shelf probabilistic planners.
• Abstract（参考訳）: 個別のシンボルとルールを連続的なインタラクション体験から自律的に発見することは、ロボットAIの重要な構成要素であるが、依然として難しい問題である。 手作業で設計したシンボルやルールのスケーラビリティ、柔軟性、堅牢性の限界を克服し、オープンな環境における抽象レベルを学習し、推論できる自律型ロボットへの大きな進歩となる。 この目的に向けて,アクション・グラウンド・離散オブジェクト・効果カテゴリを探索し,複雑なアクション・プランニングに使用できる確率的ルールを構築する,新規で汎用的な手法を提案する。 我々のロボットは、与えられたアクションレパートリーを用いて、単一のオブジェクトと複数のオブジェクトと相互作用し、環境内で生成された効果を観察する。 アクショングラウンドドオブジェクト,エフェクト,リレーショナルカテゴリを形成するために,シーンのイメージと適用されたアクションを入力とした予測型ディープエンコーダ・デコーダネットワークのバイナライズされたボトルネック層を用いて,ピクセル座標におけるシーン内のオブジェクト変位(アクション効果)を生成する。 binary latent vectorは、オブジェクトの学習された、アクション駆動の分類を表す。 ニューラルネットワークが表現する知識をシンボリック推論に有用なルールに抽出するために,決定木をトレーニングしてデコーダ関数を再現する。 分岐部から確率的ルールを抽出し、PDDLで表現し、市販のプランナーがロボットの感覚運動体験を操作できるようにする。 本システムは,ロボットアームハンドがプッシュ・スタック動作から'ロール可能','インサータブル','大きめ'と解釈できる記号を学習した物理系3次元シミュレーション環境において検証され,既設の確率的プランナーを用いてキューブ,ボール,カップからタワーを構築するような効果的な計画を作成した。

関連論文リスト

• Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
  我々はPolarisという対話型ロボット操作フレームワークを紹介した。 ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。 本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-15T06:40:38Z)
• Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
  我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。 私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。 学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
  論文  参考訳（メタデータ） (2024-05-02T17:56:55Z)
• RoboScript: Code Generation for Free-Form Manipulation Tasks across Real and Simulation [77.41969287400977]
  本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。 自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。 我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
  論文  参考訳（メタデータ） (2024-02-22T15:12:00Z)
• Towards a Causal Probabilistic Framework for Prediction, Action-Selection & Explanations for Robot Block-Stacking Tasks [4.244706520140677]
  因果モデル(英: Causal model)は、ロボットの環境との相互作用を管理する因果関係の形式的知識を符号化する原則的な枠組みを提供する。 本研究では,物理シミュレーション機能を構造因果モデルに組み込むことで,ロボットがブロックスタッキングタスクの現況を認識・評価できる新しい因果確率的枠組みを提案する。
  論文  参考訳（メタデータ） (2023-08-11T15:58:15Z)
• Nonprehensile Planar Manipulation through Reinforcement Learning with Multimodal Categorical Exploration [8.343657309038285]
  強化学習はそのようなロボットコントローラを開発するための強力なフレームワークである。 分類分布を用いたマルチモーダル探索手法を提案する。 学習したポリシは外部の障害や観測ノイズに対して堅牢であり、複数のプッシュ器でタスクにスケールできることが示される。
  論文  参考訳（メタデータ） (2023-08-04T16:55:00Z)
• VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models [38.503337052122234]
  大規模言語モデル(LLM)は、ロボット操作のために抽出できる豊富な行動可能な知識を持っていることが示されている。 我々は,オープンな命令セットとオープンなオブジェクトセットが与えられた様々な操作タスクに対して,ロボット軌道を合成することを目指している。 筆者らは,接触に富んだインタラクションを含むシーンのダイナミックスモデルを効率的に学習することで,提案フレームワークがオンライン体験の恩恵を享受できることを実証する。
  論文  参考訳（メタデータ） (2023-07-12T07:40:48Z)
• Robot Learning with Sensorimotor Pre-training [98.7755895548928]
  ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。 我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。 感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
  論文  参考訳（メタデータ） (2023-06-16T17:58:10Z)
• Active Predicting Coding: Brain-Inspired Reinforcement Learning for Sparse Reward Robotic Control Problems [79.07468367923619]
  ニューラルジェネレーティブ・コーディング(NGC)の神経認知計算フレームワークによるロボット制御へのバックプロパゲーションフリーアプローチを提案する。 我々は、スパース報酬から動的オンライン学習を容易にする強力な予測符号化/処理回路から完全に構築されたエージェントを設計する。 提案するActPCエージェントは,スパース(外部)報酬信号に対して良好に動作し,複数の強力なバックプロップベースのRLアプローチと競合し,性能が優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-19T16:49:32Z)
• FlowBot3D: Learning 3D Articulation Flow to Manipulate Articulated Objects [14.034256001448574]
  そこで本研究では,様々な物体の潜在的な動きを学習して予測する視覚ベースシステムを提案する。 我々は,このベクトル場に基づく解析的運動プランナを配置し,最大調音を与えるポリシを実現する。 その結果,本システムは実世界のシミュレーション実験と実世界実験の両方において,最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-05-09T15:35:33Z)
• RoboCraft: Learning to See, Simulate, and Shape Elasto-Plastic Objects with Graph Networks [32.00371492516123]
  弾塑性物体のモデリングと操作のためのモデルベース計画フレームワークを提案する。 我々のシステムであるRoboCraftは、グラフニューラルネットワーク(GNN)を用いて粒子ベースの力学モデルを学び、基礎となるシステムの構造を捉える。 実世界のロボットインタラクションデータの10分で、ロボットは制御信号を合成し、弾塑性の物体を様々な形状に変形させるダイナミックスモデルを学習できることを示す。
  論文  参考訳（メタデータ） (2022-05-05T20:28:15Z)
• INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
  INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。 我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。 我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
  論文  参考訳（メタデータ） (2021-08-25T07:35:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。