論文の概要: Ab Initio Particle-based Object Manipulation
- arxiv url: http://arxiv.org/abs/2107.08865v1
- Date: Mon, 19 Jul 2021 13:27:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-20 19:32:44.371521
- Title: Ab Initio Particle-based Object Manipulation
- Title(参考訳): Ab Initio Particle-based Object Manipulation
- Authors: Siwei Chen, Xiao Ma, Yunfan Lu and David Hsu
- Abstract要約: 粒子をベースとした物体操作(Prompt)は,新規物体のロボット操作における新しいアプローチである。
Promptはモデルベースの推論とデータ駆動学習の両方の利点を組み合わせたものだ。
Promptは、さまざまな日常的なオブジェクトをうまく扱える。
- 参考スコア(独自算出の注目度): 22.78939235155233
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents Particle-based Object Manipulation (Prompt), a new
approach to robot manipulation of novel objects ab initio, without prior object
models or pre-training on a large object data set. The key element of Prompt is
a particle-based object representation, in which each particle represents a
point in the object, the local geometric, physical, and other features of the
point, and also its relation with other particles. Like the model-based
analytic approaches to manipulation, the particle representation enables the
robot to reason about the object's geometry and dynamics in order to choose
suitable manipulation actions. Like the data-driven approaches, the particle
representation is learned online in real-time from visual sensor input,
specifically, multi-view RGB images. The particle representation thus connects
visual perception with robot control. Prompt combines the benefits of both
model-based reasoning and data-driven learning. We show empirically that Prompt
successfully handles a variety of everyday objects, some of which are
transparent. It handles various manipulation tasks, including grasping,
pushing, etc,. Our experiments also show that Prompt outperforms a
state-of-the-art data-driven grasping method on the daily objects, even though
it does not use any offline training data.
- Abstract(参考訳): 本稿では,従来のオブジェクトモデルや大規模オブジェクトデータセットを事前学習することなく,新しいオブジェクトをロボット操作するための新しいアプローチであるParticle-based Object Manipulation (Prompt)を提案する。
プロンプトの主要な要素は粒子ベースのオブジェクト表現であり、各粒子は対象の点、その点の局所幾何学的、物理的、その他の特徴、および他の粒子との関係を表現する。
モデルに基づく操作分析のアプローチと同様に、粒子表現は、ロボットが適切な操作アクションを選択するために物体の幾何学とダイナミクスを判断することを可能にする。
データ駆動型アプローチと同様に、粒子表現は視覚センサー入力、特にマルチビューRGB画像からリアルタイムで学習される。
従って、粒子表現は視覚知覚とロボット制御を結びつける。
Promptはモデルベースの推論とデータ駆動学習の両方の利点を組み合わせる。
我々は、Promptが様々な日常的なオブジェクトをうまく扱えることを実証的に示す。
グルーピングやプッシュなど、さまざまな操作タスクを処理する。
我々の実験は、オフラインのトレーニングデータを使用しなくても、Pmptが日々のオブジェクトに対して最先端のデータ駆動の把握方法より優れていることも示している。
関連論文リスト
- Learning Object Properties Using Robot Proprioception via Differentiable Robot-Object Interaction [52.12746368727368]
微分可能シミュレーションは、システム識別の強力なツールとなっている。
本手法は,オブジェクト自体のデータに頼ることなく,ロボットからの情報を用いてオブジェクト特性を校正する。
低コストなロボットプラットフォームにおける本手法の有効性を実証する。
論文 参考訳(メタデータ) (2024-10-04T20:48:38Z) - Articulated Object Manipulation using Online Axis Estimation with SAM2-Based Tracking [59.87033229815062]
アーティキュレートされたオブジェクト操作は、オブジェクトの軸を慎重に考慮する必要がある、正確なオブジェクトインタラクションを必要とする。
従来の研究では、対話的な知覚を用いて関節のある物体を操作するが、通常、オープンループのアプローチは相互作用のダイナミクスを見渡すことに悩まされる。
本稿では,対話的知覚と3次元点雲からのオンライン軸推定を統合したクローズドループパイプラインを提案する。
論文 参考訳(メタデータ) (2024-09-24T17:59:56Z) - Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
我々はPolarisという対話型ロボット操作フレームワークを紹介した。
ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。
本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
論文 参考訳(メタデータ) (2024-08-15T06:40:38Z) - Learning Manipulation by Predicting Interaction [85.57297574510507]
本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。
実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
論文 参考訳(メタデータ) (2024-06-01T13:28:31Z) - Click to Grasp: Zero-Shot Precise Manipulation via Visual Diffusion Descriptors [30.579707929061026]
本研究は,ゼロショット設定における精密操作のための微細部分記述子の接地について検討する。
我々は、それを密接な意味部分対応タスクとしてフレーミングすることで、この問題に対処する。
我々のモデルは、同じオブジェクトの視覚的に異なるインスタンスのソースイメージからユーザ定義クリックを参照して、特定の部分を操作するためのグリップパポーズを返します。
論文 参考訳(メタデータ) (2024-03-21T16:26:19Z) - ICGNet: A Unified Approach for Instance-Centric Grasping [42.92991092305974]
オブジェクト中心の把握のためのエンドツーエンドアーキテクチャを導入する。
提案手法の有効性を,合成データセット上での最先端手法に対して広範囲に評価することにより示す。
論文 参考訳(メタデータ) (2024-01-18T12:41:41Z) - Learning Sim-to-Real Dense Object Descriptors for Robotic Manipulation [4.7246285569677315]
我々はSim-to-Real Dense Object Nets(SRDONs)という,オブジェクトを適切な表現で理解するだけでなく,シミュレートされた実データをピクセル整合性を持った統一された特徴空間にマップする,高密度オブジェクト記述子を提案する。
本研究では,事前学習したSRDONが実世界の訓練をゼロにした各種ロボット作業において,見えない物体や見えない視覚環境の性能を著しく向上させる実験を行った。
論文 参考訳(メタデータ) (2023-04-18T02:28:55Z) - Learn to Predict How Humans Manipulate Large-sized Objects from
Interactive Motions [82.90906153293585]
本稿では,動きデータと動的記述子を融合させるグラフニューラルネットワークHO-GCNを提案する。
動的記述子を消費するネットワークは、最先端の予測結果が得られ、未確認オブジェクトへのネットワークの一般化に役立つことを示す。
論文 参考訳(メタデータ) (2022-06-25T09:55:39Z) - KINet: Unsupervised Forward Models for Robotic Pushing Manipulation [8.572983995175909]
キーポイント表現に基づいたオブジェクトインタラクションを推論する、教師なしフレームワークKINetを紹介します。
我々のモデルは、オブジェクトとキーポイント座標を関連付けることを学び、システムのグラフ表現を発見する。
キーポイント空間における物理的推論を学習することにより、我々のモデルは、異なる数のオブジェクトを持つシナリオに自動的に一般化する。
論文 参考訳(メタデータ) (2022-02-18T03:32:08Z) - INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。
我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。
我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
論文 参考訳(メタデータ) (2021-08-25T07:35:21Z) - "What's This?" -- Learning to Segment Unknown Objects from Manipulation
Sequences [27.915309216800125]
本稿では,ロボットマニピュレータを用いた自己教師型把握対象セグメンテーションのための新しいフレームワークを提案する。
本稿では,モーションキューとセマンティック知識を共同で組み込んだ,エンドツーエンドのトレーニング可能な単一アーキテクチャを提案する。
我々の手法は、運動ロボットや3Dオブジェクトモデルの視覚的登録にも、正確な手眼の校正や追加センサーデータにも依存しない。
論文 参考訳(メタデータ) (2020-11-06T10:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。