論文の概要: Modality-Driven Design for Multi-Step Dexterous Manipulation: Insights from Neuroscience

• arxiv url: http://arxiv.org/abs/2412.11337v1
• Date: Sun, 15 Dec 2024 23:05:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:59:30.909084
• Title: Modality-Driven Design for Multi-Step Dexterous Manipulation: Insights from Neuroscience
• Title（参考訳）: マルチステップデキスタラスマニピュレーションのためのモダリティ駆動設計:神経科学からの洞察
• Authors: Naoki Wake, Atsushi Kanehira, Daichi Saito, Jun Takamatsu, Kazuhiro Sasabuchi, Hideki Koike, Katsushi Ikeuchi,
• Abstract要約: マルチステップデキスタラスな操作は家庭のシナリオでは基本的なスキルであるが、ロボット工学では未探索の領域である。 本稿では,効率的なモダリティ入力に基づく専用ポリシーで操作プロセスの各ステップに対処するモジュール方式を提案する。
• 参考スコア（独自算出の注目度）: 14.49331945543691
• License:
• Abstract: Multi-step dexterous manipulation is a fundamental skill in household scenarios, yet remains an underexplored area in robotics. This paper proposes a modular approach, where each step of the manipulation process is addressed with dedicated policies based on effective modality input, rather than relying on a single end-to-end model. To demonstrate this, a dexterous robotic hand performs a manipulation task involving picking up and rotating a box. Guided by insights from neuroscience, the task is decomposed into three sub-skills, 1)reaching, 2)grasping and lifting, and 3)in-hand rotation, based on the dominant sensory modalities employed in the human brain. Each sub-skill is addressed using distinct methods from a practical perspective: a classical controller, a Vision-Language-Action model, and a reinforcement learning policy with force feedback, respectively. We tested the pipeline on a real robot to demonstrate the feasibility of our approach. The key contribution of this study lies in presenting a neuroscience-inspired, modality-driven methodology for multi-step dexterous manipulation.
• Abstract（参考訳）: マルチステップデキスタラスな操作は家庭のシナリオでは基本的なスキルであるが、ロボット工学では未探索の領域である。 本稿では,1つのエンドツーエンドモデルに頼るのではなく,効率的なモダリティ入力に基づく専用ポリシーで操作プロセスの各ステップに対処するモジュール方式を提案する。 これを実証するために、器用なロボットハンドは、箱を拾い上げて回転させる操作を行う。 神経科学の知見によって導かれ、タスクは、1)リーチング、2)グラスピングとリフト、3)人間の脳で使用される支配的な感覚モーメントに基づいて、手動で回転する3つのサブスキルに分解される。 各サブスキルは、古典的なコントローラ、ビジョン・ランゲージ・アクションモデル、力フィードバックによる強化学習ポリシーなど、実践的な観点から異なる方法で対処される。 実際のロボットでパイプラインをテストし、アプローチの有効性を実証しました。 この研究の重要な貢献は、神経科学にインスパイアされた、モダリティ駆動の方法論を多段階のデキスタラス操作に提示することである。

関連論文リスト

• Offline Imitation Learning Through Graph Search and Retrieval [57.57306578140857]
  模倣学習は、ロボットが操作スキルを取得するための強力な機械学習アルゴリズムである。 本稿では,グラフ検索と検索により,最適下実験から学習する,シンプルで効果的なアルゴリズムGSRを提案する。 GSRは、ベースラインに比べて10%から30%高い成功率、30%以上の熟練を達成できる。
  論文  参考訳（メタデータ） (2024-07-22T06:12:21Z)
• Learning a Universal Human Prior for Dexterous Manipulation from Human Preference [35.54663426598218]
  本稿では,ビデオ上での人間の嗜好を直接フィードバックすることで,人類の普遍性を学習するフレームワークを提案する。 多様な警察を反復的に生成し、軌道上の人間の嗜好を収集することにより、タスクに依存しない報酬モデルを訓練する。 提案手法は,ロボットの手の動作を,目に見えないタスクを含む多様なタスクで実証的に示す。
  論文  参考訳（メタデータ） (2023-04-10T14:17:33Z)
• Zero-Shot Robot Manipulation from Passive Human Videos [59.193076151832145]
  我々は,人間の映像からエージェント非依存の行動表現を抽出するフレームワークを開発した。 我々の枠組みは、人間の手の動きを予測することに基づいている。 トレーニングされたモデルゼロショットを物理ロボット操作タスクにデプロイする。
  論文  参考訳（メタデータ） (2023-02-03T21:39:52Z)
• Dexterous Manipulation from Images: Autonomous Real-World RL via Substep Guidance [71.36749876465618]
  本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。 本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。 実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
  論文  参考訳（メタデータ） (2022-12-19T22:50:40Z)
• Silver-Bullet-3D at ManiSkill 2021: Learning-from-Demonstrations and Heuristic Rule-based Methods for Object Manipulation [118.27432851053335]
  本稿では,SAPIEN ManiSkill Challenge 2021: No Interaction Trackにおいて,以下の2つのトラックを対象としたシステムの概要と比較分析を行った。 No Interactionは、事前に収集された実証軌道からの学習ポリシーのターゲットを追跡する。 このトラックでは,タスクを一連のサブタスクに分解することで,高品質なオブジェクト操作をトリガするHuristic Rule-based Method (HRM) を設計する。 各サブタスクに対して、ロボットアームに適用可能なアクションを予測するために、単純なルールベースの制御戦略が採用されている。
  論文  参考訳（メタデータ） (2022-06-13T16:20:42Z)
• Bottom-Up Skill Discovery from Unsegmented Demonstrations for Long-Horizon Robot Manipulation [55.31301153979621]
  我々は,実世界の長距離ロボット操作作業に,スキル発見による取り組みを行う。 未解決のデモンストレーションから再利用可能なスキルのライブラリを学ぶためのボトムアップアプローチを提案する。 提案手法は,多段階操作タスクにおける最先端の模倣学習手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-09-28T16:18:54Z)
• Learning by Watching: Physical Imitation of Manipulation Skills from Human Videos [28.712673809577076]
  本稿では,ロボット操作作業のための人間ビデオからの物理模倣手法を提案する。 人間のビデオをロボットドメインに翻訳し,教師なしのキーポイント検出を行う知覚モジュールを設計した。 リーチ、プッシュ、スライディング、コーヒー製造、引き出しの閉鎖を含む5つのロボット操作タスクに対するアプローチの有効性を評価します。
  論文  参考訳（メタデータ） (2021-01-18T18:50:32Z)
• Neural Dynamic Policies for End-to-End Sensorimotor Learning [51.24542903398335]
  感覚運動制御における現在の主流パラダイムは、模倣であれ強化学習であれ、生の行動空間で政策を直接訓練することである。 軌道分布空間の予測を行うニューラル・ダイナミック・ポリシー(NDP)を提案する。 NDPは、いくつかのロボット制御タスクにおいて、効率と性能の両面で、これまでの最先端よりも優れている。
  論文  参考訳（メタデータ） (2020-12-04T18:59:32Z)
• Robotic self-representation improves manipulation skills and transfer learning [14.863872352905629]
  我々は,多感覚情報から,身体スキーマと周辺空間の表現を符号化する双方向行動効果関連を学習するモデルを開発する。 本手法は,ノイズ条件下での学習に基づく問題解決を著しく安定化し,ロボット操作スキルの伝達学習を改善することを実証する。
  論文  参考訳（メタデータ） (2020-11-13T16:04:58Z)
• Understanding Contexts Inside Robot and Human Manipulation Tasks through a Vision-Language Model and Ontology System in a Video Stream [4.450615100675747]
  本稿では,ロボットと人間の操作の双方に対して,厳密な制約付き知識領域の下で視覚データセットを提案する。 本稿では,視覚的注意とコモンセンス知識に満ちた知識グラフを組み合わせて生成する手法を提案する。 提案手法により,ロボットはリアルタイム映像を視聴することで,人間の意図的な動作を模倣することができる。
  論文  参考訳（メタデータ） (2020-03-02T19:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。