論文の概要: Semantic-Geometric-Physical-Driven Robot Manipulation Skill Transfer via Skill Library and Tactile Representation

• arxiv url: http://arxiv.org/abs/2411.11714v1
• Date: Mon, 18 Nov 2024 16:42:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:27:46.700126
• Title: Semantic-Geometric-Physical-Driven Robot Manipulation Skill Transfer via Skill Library and Tactile Representation
• Title（参考訳）: セマンティック・ジオメトリック・物理駆動型ロボットマニピュレーション・スキル・トランスファー : スキル・ライブラリと触覚表現
• Authors: Mingchao Qi, Yuanjin Li, Xing Liu, Zhengxiong Liu, Panfeng Huang,
• Abstract要約: 知識グラフに基づくスキルライブラリフレームワークは,高度なスキル認識と空間的意味理解を備えたロボットを支援する。 動作レベルでは,A*アルゴリズムとスキルライブラリを用いて適応軌道伝達法を開発した。 身体レベルでは,触覚に基づく適応的輪郭抽出と姿勢知覚法を導入する。
• 参考スコア（独自算出の注目度）: 6.324290412766366
• License:
• Abstract: Deploying robots in open-world environments involves complex tasks characterized by long sequences and rich interactions, necessitating efficient transfer of robotic skills across diverse and complex scenarios. To address this challenge, we propose a skill library framework based on knowledge graphs, which endows robots with high-level skill awareness and spatial semantic understanding. The framework hierarchically organizes operational knowledge by constructing a "task graph" and a "scene graph" to represent task and scene semantic information, respectively. We introduce a "state graph" to facilitate interaction between high-level task planning and low-level scene information. Furthermore, we propose a hierarchical transfer framework for operational skills. At the task level, the framework integrates contextual learning and chain-of-thought prompting within a four-stage prompt paradigm, leveraging large language models' (LLMs) reasoning and generalization capabilities to achieve task-level subtask sequence transfer. At the motion level, an adaptive trajectory transfer method is developed using the A* algorithm and the skill library, enabling motion-level adaptive trajectory transfer. At the physical level, we introduce an adaptive contour extraction and posture perception method based on tactile perception. This method dynamically obtains high-precision contour and posture information from visual-tactile texture data and adjusts transferred skills, such as contact positions and postures, to ensure effectiveness in new environments. Experimental results validate the effectiveness of the proposed methods. Project website:https://github.com/MingchaoQi/skill_transfer
• Abstract（参考訳）: オープンな環境にロボットを配置するには、長いシーケンスと豊富な相互作用を特徴とする複雑なタスクが伴う。 この課題に対処するために,ロボットに高度なスキル認識と空間意味理解を付与する知識グラフに基づくスキルライブラリフレームワークを提案する。 このフレームワークは「タスクグラフ」と「シーングラフ」をそれぞれ構築し、タスクとシーンの意味情報を表現して運用知識を階層的に整理する。 我々は,ハイレベルなタスク計画と低レベルなシーン情報とのインタラクションを容易にする「ステートグラフ」を導入する。 さらに,運用スキルの階層的伝達フレームワークを提案する。 タスクレベルでは、このフレームワークは4段階のプロンプトパラダイム内にコンテキスト学習とチェーン・オブ・思想のプロンプトを統合し、大きな言語モデル(LLM)の推論と一般化機能を活用してタスクレベルのサブタスクシーケンス転送を実現する。 動作レベルでは、A*アルゴリズムとスキルライブラリを用いて適応軌道伝達法を開発し、動きレベル適応軌道伝達を可能にする。 身体レベルでは,触覚に基づく適応的輪郭抽出と姿勢知覚法を導入する。 視覚触覚テクスチャデータから高精度な輪郭と姿勢情報を動的に取得し、接触位置や姿勢などの伝達技術を調整することにより、新しい環境における有効性を確保する。 提案手法の有効性を実験的に検証した。 Project website:https://github.com/MingchaoQi/skill_transfer

関連論文リスト

• Flex: End-to-End Text-Instructed Visual Navigation with Foundation Models [59.892436892964376]
  本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。 この知見はFlex (Fly-lexically) で合成され,VLM(Vision Language Models) をフリーズしたパッチワイド特徴抽出器として利用するフレームワークである。 本研究では,本手法が4段階のフライ・トゥ・ターゲットタスクにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T19:59:31Z)
• Trustworthy Image Semantic Communication with GenAI: Explainablity, Controllability, and Efficiency [59.15544887307901]
  画像意味コミュニケーション(ISC)は,高効率な映像コンテンツ伝送を実現する可能性に注目されている。 既存のISCシステムは、解釈可能性、操作性、互換性の課題に直面している。 我々は、複数の下流推論タスクにGenerative Artificial Intelligence(GenAI)を利用する新しい信頼できるISCフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-07T14:32:36Z)
• Learning Where to Look: Self-supervised Viewpoint Selection for Active Localization using Geometrical Information [68.10033984296247]
  本稿では, 位置決めの精度を高めるために, 視点選択の重要性を強調し, アクティブな位置決め領域について検討する。 私たちのコントリビューションは、リアルタイム操作用に設計されたシンプルなアーキテクチャ、自己教師付きデータトレーニング方法、および実世界のロボティクスアプリケーションに適した計画フレームワークにマップを一貫して統合する能力による、データ駆動型アプローチの使用に関するものです。
  論文  参考訳（メタデータ） (2024-07-22T12:32:09Z)
• Exploring CausalWorld: Enhancing robotic manipulation via knowledge transfer and curriculum learning [6.683222869973898]
  本研究では,指間の複雑な動きと協調を必要とする,学習に基づく三指ロボットアーム操作タスクについて検討する。 強化学習を利用することで、エージェントに熟練した操作に必要なスキルを習得するよう訓練する。 微調整とカリキュラム学習という2つの知識伝達戦略を,ソフトアクター・クリティカルなアーキテクチャで活用した。
  論文  参考訳（メタデータ） (2024-03-25T23:19:19Z)
• SkillDiffuser: Interpretable Hierarchical Planning via Skill Abstractions in Diffusion-Based Task Execution [75.2573501625811]
  拡散モデルは、ロボット軌道計画の強力な可能性を示している。 高レベルの命令からコヒーレントな軌道を生成することは依然として困難である。 エンド・ツー・エンドの階層的計画フレームワークであるSkillDiffuserを提案する。
  論文  参考訳（メタデータ） (2023-12-18T18:16:52Z)
• RT-Trajectory: Robotic Task Generalization via Hindsight Trajectory Sketches [74.300116260004]
  一般化は、ロバストなロボット学習システムにとって最も重要なデシダータの1つである。 粗い軌道スケッチを用いたポリシー条件付け手法を提案する。 RT-Trajectoryは言語条件や目標条件よりも幅広いタスクを実行できることを示す。
  論文  参考訳（メタデータ） (2023-11-03T15:31:51Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Learning Transferable Motor Skills with Hierarchical Latent Mixture Policies [37.09286945259353]
  階層的混合潜時変動モデルを用いて,データから抽象運動スキルを学習する手法を提案する。 提案手法は,オフラインデータを異なる実行動作に効果的にクラスタ化することができることを示す。
  論文  参考訳（メタデータ） (2021-12-09T17:37:14Z)
• Intrinsically Motivated Open-Ended Multi-Task Learning Using Transfer Learning to Discover Task Hierarchy [0.0]
  オープンエンド環境では、ロボットは階層的強化学習において複数のパラメータ化された制御タスクを学習する必要がある。 最も複雑なタスクは、より単純なタスクから知識を転送することでより簡単に学習でき、タスクにアクションの複雑さを適用することでより早く学習できることを示します。 複雑な行動のタスク指向表現(手順と呼ばれる)を提案し、オンラインのタスク関係とアクションプリミティブの無制限のシーケンスを学び、環境の異なる可観測性を制御する。
  論文  参考訳（メタデータ） (2021-02-19T10:44:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。