論文の概要: How to select and use tools? : Active Perception of Target Objects Using Multimodal Deep Learning

• arxiv url: http://arxiv.org/abs/2106.02445v1
• Date: Fri, 4 Jun 2021 12:49:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 14:50:47.960340
• Title: How to select and use tools? : Active Perception of Target Objects Using Multimodal Deep Learning
• Title（参考訳）: ツールの選択と使用方法? マルチモーダル深層学習を用いた対象物の能動的知覚
• Authors: Namiko Saito, Tetsuya Ogata, Satoshi Funabashi, Hiroki Mori and Shigeki Sugano
• Abstract要約: 我々は,ロボットが物体と相互作用する間,マルチモーダル感覚運動子データを用いた能動的知覚に焦点を当てた。 物体の特徴を認識することを学ぶディープニューラルネットワーク(DNN)モデルを構築した。 また, 画像, 力, 触覚データのコントリビューションについても検討し, 多様なマルチモーダル情報を学習することで, ツール使用に対する認知度が向上することを示す。
• 参考スコア（独自算出の注目度）: 9.677391628613025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Selection of appropriate tools and use of them when performing daily tasks is a critical function for introducing robots for domestic applications. In previous studies, however, adaptability to target objects was limited, making it difficult to accordingly change tools and adjust actions. To manipulate various objects with tools, robots must both understand tool functions and recognize object characteristics to discern a tool-object-action relation. We focus on active perception using multimodal sensorimotor data while a robot interacts with objects, and allow the robot to recognize their extrinsic and intrinsic characteristics. We construct a deep neural networks (DNN) model that learns to recognize object characteristics, acquires tool-object-action relations, and generates motions for tool selection and handling. As an example tool-use situation, the robot performs an ingredients transfer task, using a turner or ladle to transfer an ingredient from a pot to a bowl. The results confirm that the robot recognizes object characteristics and servings even when the target ingredients are unknown. We also examine the contributions of images, force, and tactile data and show that learning a variety of multimodal information results in rich perception for tool use.
• Abstract（参考訳）: 日常業務における適切なツールの選択と利用は、家庭アプリケーションのためのロボットの導入に欠かせない機能である。 しかし,従来の研究では対象物への適応性が制限されており,ツールの変更や動作の調整が困難であった。 様々な物体をツールで操作するには、ロボットはツール機能を理解し、物体の特徴を認識してツール・オブジェクト・アクション関係を識別する必要がある。 ロボットが物体と対話している間に,マルチモーダルセンサモジュレータデータを用いた能動的知覚に着目し,ロボットが自発的・本質的特徴を認識できるようにする。 我々は、物体の特徴を認識し、ツール-オブジェクト-アクション関係を取得し、ツール選択とハンドリングのための動きを生成するディープニューラルネットワーク(DNN)モデルを構築した。 ツール使用状況の例として、回転器またはろうそくを用いて材料を鍋からボウルに搬送する材料伝達作業を行う。 その結果,対象成分が不明な場合でも,ロボットは対象特性を認識し,機能することを確認した。 また, 画像, 力, 触覚データの寄与について検討し, 多様なマルチモーダル情報を学習することで, ツールの使用感が豊かになることを示す。

関連論文リスト

• Learning Object Properties Using Robot Proprioception via Differentiable Robot-Object Interaction [52.12746368727368]
  微分可能シミュレーションは、システム識別の強力なツールとなっている。 本手法は,オブジェクト自体のデータに頼ることなく,ロボットからの情報を用いてオブジェクト特性を校正する。 低コストなロボットプラットフォームにおける本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-10-04T20:48:38Z)
• A Survey of Embodied Learning for Object-Centric Robotic Manipulation [27.569063968870868]
  オブジェクト中心のロボット操作のための身体学習は、AIの急速に発展し、挑戦的な分野である。 データ駆動機械学習とは異なり、具体化学習は環境との物理的相互作用を通じてロボット学習に焦点を当てる。
  論文  参考訳（メタデータ） (2024-08-21T11:32:09Z)
• Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
  我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。 学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
  論文  参考訳（メタデータ） (2022-11-16T16:26:48Z)
• Learning Tool Morphology for Contact-Rich Manipulation Tasks with Differentiable Simulation [27.462052737553055]
  本稿では,異なる物理シミュレータを応用して,コンタクトリッチな操作タスクのためのツール形態を自動学習するエンドツーエンドフレームワークを提案する。 提案手法では,タスク性能に関する目的を定義し,タスクの変動をランダムにすることで,頑健な形態学の学習を可能にする。 提案手法の有効性を, ロープの巻き上げ, 箱をひっくり返し, ピースをスクープに押し付けるなど, 様々なシナリオにおける新しいツールの設計手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-11-04T00:57:36Z)
• Deep Active Visual Attention for Real-time Robot Motion Generation: Emergence of Tool-body Assimilation and Adaptive Tool-use [9.141661467673817]
  本稿では,人間の認知構造に触発された新しいロボットモーション生成モデルを提案する。 このモデルには状態駆動のアクティブなトップダウン視覚的注意モジュールが組み込まれており、タスクの状態に基づいてターゲットを積極的に変更することができる。 その結果、訓練されていない道具を装着したり、実験者の気遣いに晒されたりしても、安定した注意と動きを維持できるモデル視覚の柔軟性の向上が示唆された。
  論文  参考訳（メタデータ） (2022-06-29T10:55:32Z)
• Synthesis and Execution of Communicative Robotic Movements with Generative Adversarial Networks [59.098560311521034]
  我々は、繊細な物体を操作する際に人間が採用するのと同じキネマティクス変調を2つの異なるロボットプラットフォームに転送する方法に焦点を当てる。 我々は、ロボットのエンドエフェクターが採用する速度プロファイルを、異なる特徴を持つ物体を輸送する際に人間が何をするかに触発されて調整する。 我々は、人体キネマティクスの例を用いて訓練され、それらを一般化し、新しい有意義な速度プロファイルを生成する、新しいジェネレーティブ・アドバイサル・ネットワークアーキテクチャを利用する。
  論文  参考訳（メタデータ） (2022-03-29T15:03:05Z)
• INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
  INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。 我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。 我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
  論文  参考訳（メタデータ） (2021-08-25T07:35:21Z)
• Property-Aware Robot Object Manipulation: a Generative Approach [57.70237375696411]
  本研究では,操作対象の隠れた特性に適応したロボットの動きを生成する方法に焦点を当てた。 本稿では,ジェネレーティブ・アドバイサル・ネットワークを利用して,オブジェクトの特性に忠実な新しいアクションを合成する可能性について検討する。 以上の結果から,ジェネレーティブ・アドバイサル・ネットは,新規かつ有意義な輸送行動を生み出すための強力なツールとなる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-08T14:15:36Z)
• TANGO: Commonsense Generalization in Predicting Tool Interactions for Mobile Manipulators [15.61285199988595]
  タスク固有のツール相互作用を予測するための新しいニューラルモデルであるTANGOを紹介します。 TANGOは、グラフニューラルネットワークを使用して、オブジェクトとそれらの間のシンボリックな関係からなる世界状態をエンコードする。 知識ベースから学習した組込みによる環境表現の強化により,新しい環境に効果的に一般化できることを示す。
  論文  参考訳（メタデータ） (2021-05-05T18:11:57Z)
• Learning Predictive Models From Observation and Interaction [137.77887825854768]
  世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。 しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。 本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
  論文  参考訳（メタデータ） (2019-12-30T01:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。