論文の概要: Learning the Generalizable Manipulation Skills on Soft-body Tasks via Guided Self-attention Behavior Cloning Policy

• arxiv url: http://arxiv.org/abs/2410.05756v1
• Date: Tue, 8 Oct 2024 07:31:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 13:09:48.719371
• Title: Learning the Generalizable Manipulation Skills on Soft-body Tasks via Guided Self-attention Behavior Cloning Policy
• Title（参考訳）: 自己注意行動クローン政策によるソフトボディタスクにおける一般化可能な操作スキルの学習
• Authors: Xuetao Li, Fang Gao, Jun Yu, Shaodong Li, Feng Shuang,
• Abstract要約: GP2E行動クローニングポリシーは、ソフトボディタスクから汎用的な操作スキルを学ぶためのエージェントを誘導することができる。 本研究は,Embodied AIモデルの一般化能力を向上する手法の可能性を明らかにするものである。
• 参考スコア（独自算出の注目度）: 9.345203561496552
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Embodied AI represents a paradigm in AI research where artificial agents are situated within and interact with physical or virtual environments. Despite the recent progress in Embodied AI, it is still very challenging to learn the generalizable manipulation skills that can handle large deformation and topological changes on soft-body objects, such as clay, water, and soil. In this work, we proposed an effective policy, namely GP2E behavior cloning policy, which can guide the agent to learn the generalizable manipulation skills from soft-body tasks, including pouring, filling, hanging, excavating, pinching, and writing. Concretely, we build our policy from three insights:(1) Extracting intricate semantic features from point cloud data and seamlessly integrating them into the robot's end-effector frame; (2) Capturing long-distance interactions in long-horizon tasks through the incorporation of our guided self-attention module; (3) Mitigating overfitting concerns and facilitating model convergence to higher accuracy levels via the introduction of our two-stage fine-tuning strategy. Through extensive experiments, we demonstrate the effectiveness of our approach by achieving the 1st prize in the soft-body track of the ManiSkill2 Challenge at the CVPR 2023 4th Embodied AI workshop. Our findings highlight the potential of our method to improve the generalization abilities of Embodied AI models and pave the way for their practical applications in real-world scenarios.
• Abstract（参考訳）: Embodied AIは、人工知能研究におけるパラダイムであり、人工エージェントが物理的または仮想環境内に配置され、相互作用する。 Embodied AIの最近の進歩にもかかわらず、粘土や水、土壌といったソフトボディの物体に大きな変形やトポロジ的変化を処理できる汎用的な操作スキルを学ぶことは、依然として非常に難しい。 本研究は,GP2E行動クローニング政策を効果的に提案し,エージェントに対して,注水,充填,吊り下げ,掘削,ピンチ,筆記などのソフトボディタスクから,汎用的な操作スキルの学習を指導する。 具体的には,(1)ポイントクラウドデータから複雑な意味的特徴を抽出し,ロボットのエンドエフェクタフレームにシームレスに統合すること,(2)ガイド付き自己保持モジュールの導入による長距離タスクにおける長距離インタラクションの獲得,(3)2段階の微調整戦略の導入による過度な関心事の緩和,モデル収束の高精度化,の3点からポリシーを構築した。 CVPR 2023 4th Embodied AIワークショップで,ManiSkill2 Challengeのソフトボディトラックで第1回受賞を達成して,我々のアプローチの有効性を実証した。 本研究は,Embodied AIモデルの一般化能力を向上し,現実のシナリオにおける実践的応用の道を開くための手法の可能性を明らかにするものである。

関連論文リスト

• Continuously Improving Mobile Manipulation with Autonomous Real-World RL [33.085671103158866]
  モバイル操作のための完全に自律的な実世界のRLフレームワークを提案する。 これはタスク関連自律性によって実現され、これはオブジェクトのインタラクションへの探索をガイドし、目標状態付近の停滞を防ぐ。 我々は,Spotロボットがモバイル操作タスクの4つの課題に対して,継続的なパフォーマンス向上を可能にすることを実証した。
  論文  参考訳（メタデータ） (2024-09-30T17:59:50Z)
• Ag2Manip: Learning Novel Manipulation Skills with Agent-Agnostic Visual and Action Representations [77.31328397965653]
  Ag2Manip(Agent-Agnostic representations for Manipulation)は,2つの重要なイノベーションを通じて課題を克服するフレームワークである。 人間の操作ビデオから派生した新しいエージェント非依存の視覚表現であり、その具体的特徴は一般化性を高めるために隠蔽された。 ロボットのキネマティクスを普遍的なエージェントプロキシに抽象化し、エンドエフェクタとオブジェクト間の重要な相互作用を強調するエージェント非依存のアクション表現。
  論文  参考訳（メタデータ） (2024-04-26T16:40:17Z)
• Twisting Lids Off with Two Hands [82.21668778600414]
  シミュレーションで訓練された政策を実世界へ効果的かつ効率的に移行する方法を示す。 具体的には,ボトル状物体の蓋を両手でねじる問題について考察する。 これは、バイマガル・マルチフィンガーハンドでそのような機能を実現する最初のsim-to-real RLシステムである。
  論文  参考訳（メタデータ） (2024-03-04T18:59:30Z)
• Robot Skill Generalization via Keypoint Integrated Soft Actor-Critic Gaussian Mixture Models [21.13906762261418]
  ロボット操作システムの長年の課題は、取得したモータースキルを、目に見えない環境に適応させ、一般化することだ。 我々は、模倣と強化のパラダイムを統合するハイブリッドスキルモデルを用いて、この課題に取り組む。 提案手法は,ロボットが新規環境への大幅なゼロショット一般化を実現し,目標環境におけるスキルをスクラッチから学習するよりも早く洗練することができることを示す。
  論文  参考訳（メタデータ） (2023-10-23T16:03:23Z)
• A Two-stage Fine-tuning Strategy for Generalizable Manipulation Skill of Embodied AI [15.480968464853769]
  そこで我々は,Maniskill2ベンチマークに基づく2段階ファインチューニング手法を提案する。 本研究は,Embodied AIモデルの一般化能力を向上し,現実のシナリオにおける実践的応用の道を開く手法の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-07-21T04:15:36Z)
• SoftGPT: Learn Goal-oriented Soft Object Manipulation Skills by Generative Pre-trained Heterogeneous Graph Transformer [34.86946655775187]
  家庭シーンにおけるソフトオブジェクト操作タスクは、既存のロボットスキル学習技術にとって重要な課題である。 本研究では,ソフトオブジェクト操作スキル学習モデルであるSoftGPTを提案する。 各ダウンストリームタスクに対して、ゴール指向ポリシーエージェントがトレーニングされ、その後のアクションを予測し、SoftGPTが結果を生成する。
  論文  参考訳（メタデータ） (2023-06-22T05:48:22Z)
• Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
  インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。 提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。 デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
  論文  参考訳（メタデータ） (2023-06-09T07:22:12Z)
• ArK: Augmented Reality with Knowledge Interactive Emergent Ability [115.72679420999535]
  基礎モデルから新しいドメインへの知識記憶の伝達を学習する無限エージェントを開発する。 私たちのアプローチの核心は、Augmented Reality with Knowledge Inference Interaction (ArK)と呼ばれる新しいメカニズムである。 我々のArKアプローチは,大規模な基礎モデルと組み合わせることで,生成された2D/3Dシーンの品質を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-05-01T17:57:01Z)
• Human-Timescale Adaptation in an Open-Ended Task Space [56.55530165036327]
  大規模にRLエージェントを訓練することで、オープンエンドの新規な3D問題に人間と同じくらい早く適応できる一般的なコンテキスト内学習アルゴリズムが実現可能であることを示す。 我々の研究は、より大規模で適応的なRLエージェントの基礎を築いた。
  論文  参考訳（メタデータ） (2023-01-18T15:39:21Z)
• Robot Skill Adaptation via Soft Actor-Critic Gaussian Mixture Models [29.34375999491465]
  現実の世界で行動する自律的エージェントにとっての中核的な課題は、その騒々しい知覚とダイナミクスに対処するために、そのスキルのレパートリーを適応させることである。 ロングホライズンタスクにスキルの学習を拡大するためには、ロボットは学習し、その後、構造化された方法でスキルを洗練する必要がある。 SAC-GMMは,動的システムを通じてロボットのスキルを学習し,学習したスキルを自身の軌道分布空間に適応させる,新しいハイブリッドアプローチである。
  論文  参考訳（メタデータ） (2021-11-25T15:36:11Z)
• Learning to Generalize Across Long-Horizon Tasks from Human Demonstrations [52.696205074092006]
  Generalization Through Imitation (GTI) は、2段階のオフライン模倣学習アルゴリズムである。 GTIは、状態空間の共通領域で異なるタスクの軌道を示す構造を利用する。 GTIの第1段階では,異なる実演軌跡から行動を構成する能力を持つために交差点を利用する政策を訓練する。 GTIの第2段階では、ゴール指向エージェントをトレーニングして、新しいスタートとゴールの設定を一般化する。
  論文  参考訳（メタデータ） (2020-03-13T02:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。