論文の概要: Planning with Spatial-Temporal Abstraction from Point Clouds for Deformable Object Manipulation

• arxiv url: http://arxiv.org/abs/2210.15751v2
• Date: Fri, 23 Jun 2023 15:40:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-26 17:45:05.318882
• Title: Planning with Spatial-Temporal Abstraction from Point Clouds for Deformable Object Manipulation
• Title（参考訳）: 変形可能な物体操作のための点雲からの時空間抽象化による計画
• Authors: Xingyu Lin, Carl Qi, Yunchu Zhang, Zhiao Huang, Katerina Fragkiadaki, Yunzhu Li, Chuang Gan, David Held
• Abstract要約: 空間抽象と時間抽象の両方を組み込んだ空間抽象型PlAnning(PASTA)を提案する。 我々のフレームワークは,高次元の3次元観測を潜時ベクトルの集合にマッピングし,潜時集合表現の上のスキルシーケンスを計画する。 本手法は,実世界のオブジェクト操作を効果的に行うことができることを示す。
• 参考スコア（独自算出の注目度）: 64.00292856805865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Effective planning of long-horizon deformable object manipulation requires suitable abstractions at both the spatial and temporal levels. Previous methods typically either focus on short-horizon tasks or make strong assumptions that full-state information is available, which prevents their use on deformable objects. In this paper, we propose PlAnning with Spatial-Temporal Abstraction (PASTA), which incorporates both spatial abstraction (reasoning about objects and their relations to each other) and temporal abstraction (reasoning over skills instead of low-level actions). Our framework maps high-dimension 3D observations such as point clouds into a set of latent vectors and plans over skill sequences on top of the latent set representation. We show that our method can effectively perform challenging sequential deformable object manipulation tasks in the real world, which require combining multiple tool-use skills such as cutting with a knife, pushing with a pusher, and spreading the dough with a roller.
• Abstract（参考訳）: 長軸変形可能なオブジェクト操作の効果的な計画には、空間的および時間的レベルの適切な抽象化が必要である。 従来の手法は通常、短期水平タスクにフォーカスするか、フルステート情報が利用可能であるという強い仮定を行う。 本稿では,空間的抽象化(オブジェクトとその相互関係に関する推論)と時間的抽象化(低レベル動作ではなく,スキルによる推論)の両方を取り入れた空間的抽象化を用いたPlAnning with Spatial-Temporal Abstraction(PASTA)を提案する。 我々のフレームワークは、点雲のような高次元の3次元観測を潜在ベクトルの集合にマッピングし、潜在集合表現の上にスキルシーケンスを計画する。 本手法は,ナイフによる切削,押し押し,生地をローラーで広げるなど,複数の工具使用スキルを組み合わせることで,実世界において挑戦的な逐次変形可能な物体操作タスクを効果的に行うことができることを示す。

関連論文リスト

• Towards Flexible 3D Perception: Object-Centric Occupancy Completion Augments 3D Object Detection [54.78470057491049]
  占領は3Dシーンの知覚に有望な代替手段として現れてきた。 オブジェクトbboxのサプリメントとして,オブジェクト中心の占有率を導入する。 これらの特徴は,最先端の3Dオブジェクト検出器の検出結果を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2024-12-06T16:12:38Z)
• Articulated Object Manipulation using Online Axis Estimation with SAM2-Based Tracking [59.87033229815062]
  アーティキュレートされたオブジェクト操作は、オブジェクトの軸を慎重に考慮する必要がある、正確なオブジェクトインタラクションを必要とする。 従来の研究では、対話的な知覚を用いて関節のある物体を操作するが、通常、オープンループのアプローチは相互作用のダイナミクスを見渡すことに悩まされる。 本稿では,対話的知覚と3次元点雲からのオンライン軸推定を統合したクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-09-24T17:59:56Z)
• Efficient Exploration and Discriminative World Model Learning with an Object-Centric Abstraction [19.59151245929067]
  エージェントにオブジェクト中心のマッピング(アイテムとその属性のセットを記述する)を与えることで、より効率的な学習が可能になるかどうかを検討する。 この問題は、ピクセルへの高レベルの状態抽象化でアイテムをモデル化し、プリミティブアクションへの高レベルの時間抽象化で属性を変更することで、階層的に最もよく解決されている。 我々は,識別的世界モデルを学ぶ完全モデルに基づくアルゴリズムを提案し,数に基づく本質的な報酬のみを用いて効率的に探索し,その後に発見された(抽象的な)状態に到達する計画を立てる。
  論文  参考訳（メタデータ） (2024-08-21T17:59:31Z)
• Local Occupancy-Enhanced Object Grasping with Multiple Triplanar Projection [24.00828999360765]
  本稿では,一般的な物体をロボットでつかむという課題に対処する。 提案したモデルはまず、シーン内で最も可能性の高いいくつかの把握ポイントを提案する。 各グリップポイントの周囲に、モジュールはその近傍にある任意のボクセルが空か、ある物体に占有されているかを推測するように設計されている。 モデルはさらに、局所占有力向上した物体形状情報を利用して、6-DoFグリップポーズを推定する。
  論文  参考訳（メタデータ） (2024-07-22T16:22:28Z)
• Make a Donut: Hierarchical EMD-Space Planning for Zero-Shot Deformable Manipulation with Tools [14.069149456110676]
  本研究では,複雑な長期タスクに対処可能な実証自由階層型計画手法を提案する。 我々は,大規模言語モデル (LLMs) を用いて,特定のタスクに対応する高レベルステージ・バイ・ステージ・プランを記述している。 我々は、実世界のロボットプラットフォームの実験的な試行で、我々のアプローチをさらに裏付ける。
  論文  参考訳（メタデータ） (2023-11-05T22:43:29Z)
• ShapeShift: Superquadric-based Object Pose Estimation for Robotic Grasping [85.38689479346276]
  現在の技術は参照3Dオブジェクトに大きく依存しており、その一般化性を制限し、新しいオブジェクトカテゴリに拡張するのにコストがかかる。 本稿では,オブジェクトに適合するプリミティブな形状に対してオブジェクトのポーズを予測する,オブジェクトのポーズ推定のためのスーパークワッドリックベースのフレームワークであるShapeShiftを提案する。
  論文  参考訳（メタデータ） (2023-04-10T20:55:41Z)
• DiffSkill: Skill Abstraction from Differentiable Physics for Deformable Object Manipulations with Tools [96.38972082580294]
  DiffSkillは、変形可能なオブジェクト操作タスクを解決するために、スキル抽象化に微分可能な物理シミュレータを使用する新しいフレームワークである。 特に、勾配に基づくシミュレーターから個々のツールを用いて、まず短距離のスキルを得る。 次に、RGBD画像を入力として取り込む実演軌跡から、ニューラルネットワークの抽象体を学習する。
  論文  参考訳（メタデータ） (2022-03-31T17:59:38Z)
• A Long Horizon Planning Framework for Manipulating Rigid Pointcloud Objects [25.428781562909606]
  本稿では,剛体物体の操作に伴う長期計画問題の解決のための枠組みを提案する。 提案手法はオブジェクトサブゴールの空間における計画であり,ロボットとオブジェクトの相互作用のダイナミクスに関する推論からプランナーを解放する。
  論文  参考訳（メタデータ） (2020-11-16T18:59:33Z)
• Latent Space Roadmap for Visual Action Planning of Deformable and Rigid Object Manipulation [74.88956115580388]
  プランニングは、イメージを埋め込んだ低次元の潜在状態空間で行われる。 我々のフレームワークは2つの主要なコンポーネントで構成されており、画像のシーケンスとして視覚的な計画を生成するビジュアル・フォレスト・モジュール(VFM)と、それら間のアクションを予測するアクション・プロポーザル・ネットワーク(APN)である。
  論文  参考訳（メタデータ） (2020-03-19T18:43:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。