論文の概要: High-Degrees-of-Freedom Dynamic Neural Fields for Robot Self-Modeling
and Motion Planning
- arxiv url: http://arxiv.org/abs/2310.03624v1
- Date: Thu, 5 Oct 2023 16:01:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-06 15:30:13.314908
- Title: High-Degrees-of-Freedom Dynamic Neural Fields for Robot Self-Modeling
and Motion Planning
- Title（参考訳）: ロボットの自己モデリングと運動計画のための高自由度動的ニューラルネットワーク
- Authors: Lennart Schulze, Hod Lipson
- Abstract要約: ロボットの自己モデル(英: Robot self-model)は、ロボットの運動計画タスクに使用できる身体形態の表現である。
我々は、ニューラルネットワークを利用して、ロボットがキネマティクスをニューラルネットワーククエリモデルとして自己モデル化できるようにする。
7-DOFロボットテストでは、学習した自己モデルは、ロボットの寸法の2%のChamfer-L2距離を達成する。
- 参考スコア（独自算出の注目度）: 7.358994636133107
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A robot self-model is a task-agnostic representation of the robot's physical
morphology that can be used for motion planning tasks in absence of classical
geometric kinematic models. In particular, when the latter are hard to engineer
or the robot's kinematics change unexpectedly, human-free self-modeling is a
necessary feature of truly autonomous agents. In this work, we leverage neural
fields to allow a robot to self-model its kinematics as a neural-implicit query
model learned only from 2D images annotated with camera poses and
configurations. This enables significantly greater applicability than existing
approaches which have been dependent on depth images or geometry knowledge. To
this end, alongside a curricular data sampling strategy, we propose a new
encoder-based neural density field architecture for dynamic object-centric
scenes conditioned on high numbers of degrees of freedom (DOFs). In a 7-DOF
robot test setup, the learned self-model achieves a Chamfer-L2 distance of 2%
of the robot's workspace dimension. We demonstrate the capabilities of this
model on a motion planning task as an exemplary downstream application.
- Abstract（参考訳）: ロボットの自己モデル(robot self-model)は、ロボットの物理的形態のタスクに依存しない表現であり、古典的な幾何学的運動モデルがなければ、動き計画のタスクに使用できる。
特に、ロボットのキネマティクスが予想外に変化する場合、人間の自由な自己モデリングは真に自律的なエージェントに必要な特徴である。
本研究では,カメラのポーズや構成を付加した2次元画像のみから学習したニューラルネットワーククエリモデルとして,ロボットがキネマティクスを自己モデル化するために,ニューラルネットワークを活用する。
これにより、深度画像や幾何学知識に依存する既存のアプローチよりもはるかに高い適用性が得られる。
そこで,本稿では,曲率データサンプリング手法と並行して,高い自由度 (dofs) を条件とした動的オブジェクト中心シーンのための,新しいエンコーダベースのニューラルネットワーク密度場アーキテクチャを提案する。
7-DOFロボットテストでは、学習した自己モデルは、ロボットのワークスペース次元の2%のChamfer-L2距離を達成する。
我々は,このモデルの動作計画タスクにおける性能を,模範的な下流アプリケーションとして実証する。
関連論文リスト
- Differentiable Robot Rendering [45.23538293501457]
本稿では,ロボット本体の視覚的外観を,その制御パラメータに対して直接微分可能とするロボットレンダリングについて紹介する。
画像からロボットのポーズを復元したり、視覚言語モデルを用いてロボットを制御するなど、その能力と用途を実演する。
論文 参考訳（メタデータ） (2024-10-17T17:59:02Z) - Robot Learning with Sensorimotor Pre-training [98.7755895548928]
ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。
我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。
感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
論文 参考訳（メタデータ） (2023-06-16T17:58:10Z) - Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。
提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。
デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
論文 参考訳（メタデータ） (2023-06-09T07:22:12Z) - PACT: Perception-Action Causal Transformer for Autoregressive Robotics
Pre-Training [25.50131893785007]
本研究は,ロボットにおける複数のタスクの出発点として機能する汎用表現を事前学習するためのパラダイムを導入する。
本稿では,ロボットデータから直接表現を自己管理的に構築することを目的として,PACT(Perception-Action Causal Transformer)を提案する。
より大規模な事前学習モデル上に小さなタスク特化ネットワークを微調整すると、同時に1つのモデルをスクラッチからトレーニングするのに比べ、性能が大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-09-22T16:20:17Z) - Masked World Models for Visual Control [90.13638482124567]
視覚表現学習と動的学習を分離する視覚モデルに基づくRLフレームワークを提案する。
提案手法は,様々な視覚ロボット作業における最先端性能を実現する。
論文 参考訳（メタデータ） (2022-06-28T18:42:27Z) - RoboCraft: Learning to See, Simulate, and Shape Elasto-Plastic Objects
with Graph Networks [32.00371492516123]
弾塑性物体のモデリングと操作のためのモデルベース計画フレームワークを提案する。
我々のシステムであるRoboCraftは、グラフニューラルネットワーク(GNN)を用いて粒子ベースの力学モデルを学び、基礎となるシステムの構造を捉える。
実世界のロボットインタラクションデータの10分で、ロボットは制御信号を合成し、弾塑性の物体を様々な形状に変形させるダイナミックスモデルを学習できることを示す。
論文 参考訳（メタデータ） (2022-05-05T20:28:15Z) - Full-Body Visual Self-Modeling of Robot Morphologies [29.76701883250049]
身体の内部計算モデルは、ロボットや動物が行動の計画と制御を行う能力の基礎である。
完全データ駆動型自己モデリングの最近の進歩により、マシンはタスク非依存の相互作用データから直接フォワードキネマティクスを学習できるようになった。
ここでは、フォワードキネマティクスを直接モデル化するのではなく、空間占有クエリに答えることのできる、より有用な自己モデリング形式を提案する。
論文 参考訳（メタデータ） (2021-11-11T18:58:07Z) - 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。
学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
論文 参考訳（メタデータ） (2021-07-08T17:49:37Z) - Future Frame Prediction for Robot-assisted Surgery [57.18185972461453]
本稿では,ロボット手術用ビデオシーケンスにおけるフレーム予測のためのtpg-vaeモデルを提案する。
コンテンツ配信に加えて、私たちのモデルは、手術ツールの小さな動きを処理するために斬新な運動分布を学習します。
論文 参考訳（メタデータ） (2021-03-18T15:12:06Z) - Model-Based Visual Planning with Self-Supervised Functional Distances [104.83979811803466]
モデルに基づく視覚的目標達成のための自己監視手法を提案する。
私たちのアプローチは、オフラインでラベルなしのデータを使って完全に学習します。
このアプローチは,モデルフリーとモデルベース先行手法の両方で大幅に性能が向上することがわかった。
論文 参考訳（メタデータ） (2020-12-30T23:59:09Z) - Counterfactual Explanation and Causal Inference in Service of Robustness
in Robot Control [15.104159722499366]
我々は「事象AがCの代わりにBを引き起こすように変更できるか?」という形式の逆実数条件の生成モデルを訓練するためのアーキテクチャを提案する。
従来の制御設計手法とは対照的に、ノイズを除去する能力の観点から頑健さを定量化する手法では、ある要件に違反する可能性のある反事実の空間を探索する。
論文 参考訳（メタデータ） (2020-09-18T14:22:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。