論文の概要: TANGO: Commonsense Generalization in Predicting Tool Interactions for Mobile Manipulators

• arxiv url: http://arxiv.org/abs/2105.04556v1
• Date: Wed, 5 May 2021 18:11:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-14 06:39:11.936347
• Title: TANGO: Commonsense Generalization in Predicting Tool Interactions for Mobile Manipulators
• Title（参考訳）: TANGO:モバイルマニピュレータのツールインタラクション予測における常識の一般化
• Authors: Shreshth Tuli and Rajas Bansal and Rohan Paul and Mausam
• Abstract要約: タスク固有のツール相互作用を予測するための新しいニューラルモデルであるTANGOを紹介します。 TANGOは、グラフニューラルネットワークを使用して、オブジェクトとそれらの間のシンボリックな関係からなる世界状態をエンコードする。 知識ベースから学習した組込みによる環境表現の強化により,新しい環境に効果的に一般化できることを示す。
• 参考スコア（独自算出の注目度）: 15.61285199988595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robots assisting us in factories or homes must learn to make use of objects as tools to perform tasks, e.g., a tray for carrying objects. We consider the problem of learning commonsense knowledge of when a tool may be useful and how its use may be composed with other tools to accomplish a high-level task instructed by a human. We introduce TANGO, a novel neural model for predicting task-specific tool interactions. TANGO is trained using demonstrations obtained from human teachers instructing a virtual robot in a physics simulator. TANGO encodes the world state comprising of objects and symbolic relationships between them using a graph neural network. The model learns to attend over the scene using knowledge of the goal and the action history, finally decoding the symbolic action to execute. Crucially, we address generalization to unseen environments where some known tools are missing, but alternative unseen tools are present. We show that by augmenting the representation of the environment with pre-trained embeddings derived from a knowledge-base, the model can generalize effectively to novel environments. Experimental results show a 60.5-78.9% improvement over the baseline in predicting successful symbolic plans in unseen settings for a simulated mobile manipulator.
• Abstract（参考訳）: 工場や家庭で私たちを助けるロボットは、オブジェクトをタスクを実行するツールとして利用することを学ぶ必要がある。 ツールがいつ役に立つのか、またそのツールが他のツールとどのように組み合わされ、人間が指示するハイレベルなタスクを達成するかに関する常識知識を学ぶ問題を考える。 我々はタスク固有のツールインタラクションを予測する新しいニューラルモデルであるTANGOを紹介する。 TANGOは物理シミュレーターで仮想ロボットを指示する人間教師のデモを用いて訓練される。 TANGOは、グラフニューラルネットワークを使用して、オブジェクトとそれらの間のシンボリックな関係からなる世界状態をエンコードする。 モデルは、ゴールとアクション履歴の知識を使ってシーンに出席することを学び、最終的に実行するシンボリックアクションをデコードする。 重要なことは、既知のツールが欠落している未確認環境への一般化に対処するが、代替の未確認ツールが存在する。 知識ベースから学習した組込みによる環境表現の強化により,新しい環境に効果的に一般化できることを示す。 実験の結果,シミュレートされた移動マニピュレータにおいて,シンボリックプランの予測精度が60.5-78.9%向上した。

関連論文リスト

• Symbolic Learning Enables Self-Evolving Agents [55.625275970720374]
  エージェントシンボリックラーニング(エージェントシンボリックラーニング)(エージェントシンボリックラーニング)は、言語エージェントが自分自身で最適化できるための体系的なフレームワークである。 エージェント記号学習は、コネクショナリズム学習における2つの基本的なアルゴリズムを模倣することにより、言語エージェント内のシンボルネットワークを最適化するように設計されている。 我々は、標準ベンチマークと複雑な実世界のタスクの両方で概念実証実験を行う。
  論文  参考訳（メタデータ） (2024-06-26T17:59:18Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• Learning Generalizable Tool-use Skills through Trajectory Generation [13.879860388944214]
  4つの異なる変形可能なオブジェクト操作タスクで1つのモデルをトレーニングします。 モデルは様々な新しいツールに一般化され、ベースラインを大幅に上回る。 トレーニングされたポリシーを、目に見えないツールを使って現実世界でテストし、人間に匹敵するパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2023-09-29T21:32:42Z)
• Learning Generalizable Tool Use with Non-rigid Grasp-pose Registration [29.998917158604694]
  本稿では,ツール使用行動の強化学習を可能にする新しい手法を提案する。 私たちのアプローチは、ひとつのデモだけで新しいカテゴリのツールの操作を学ぶためのスケーラブルな方法を提供します。 学習したポリシーは複雑なツールの使用タスクを解決し、テスト時に見えないツールに一般化する。
  論文  参考訳（メタデータ） (2023-07-31T08:49:11Z)
• Tool Learning with Foundation Models [158.8640687353623]
  基礎モデルの出現により、AIシステムは、人間としてのツールの使用に等しく適応できる可能性がある。 その大きな可能性にもかかわらず、この分野における重要な課題、機会、そして将来の取り組みに関する包括的な理解はいまだに欠けている。
  論文  参考訳（メタデータ） (2023-04-17T15:16:10Z)
• Planning for Learning Object Properties [117.27898922118946]
  我々は、物体特性を象徴的な計画問題として認識するために、ニューラルネットワークを自動的に訓練する問題を定式化する。 トレーニングデータセット作成と学習プロセスを自動化するための戦略を作成するために,計画手法を使用します。 シミュレーションと実環境の両方で実験的な評価を行う。
  論文  参考訳（メタデータ） (2023-01-15T09:37:55Z)
• Learning Tool Morphology for Contact-Rich Manipulation Tasks with Differentiable Simulation [27.462052737553055]
  本稿では,異なる物理シミュレータを応用して,コンタクトリッチな操作タスクのためのツール形態を自動学習するエンドツーエンドフレームワークを提案する。 提案手法では,タスク性能に関する目的を定義し,タスクの変動をランダムにすることで,頑健な形態学の学習を可能にする。 提案手法の有効性を, ロープの巻き上げ, 箱をひっくり返し, ピースをスクープに押し付けるなど, 様々なシナリオにおける新しいツールの設計手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-11-04T00:57:36Z)
• How to select and use tools? : Active Perception of Target Objects Using Multimodal Deep Learning [9.677391628613025]
  我々は,ロボットが物体と相互作用する間,マルチモーダル感覚運動子データを用いた能動的知覚に焦点を当てた。 物体の特徴を認識することを学ぶディープニューラルネットワーク(DNN)モデルを構築した。 また, 画像, 力, 触覚データのコントリビューションについても検討し, 多様なマルチモーダル情報を学習することで, ツール使用に対する認知度が向上することを示す。
  論文  参考訳（メタデータ） (2021-06-04T12:49:30Z)
• myGym: Modular Toolkit for Visuomotor Robotic Tasks [0.0]
  myGymは、3Dシミュレータで訓練された強化学習(RL)、本質的な動機付け、模倣学習タスク用に開発された新しい仮想ロボットツールキットです。 シミュレータのモジュラ構造により、ユーザはさまざまなロボット、環境、タスクを使って、多数のシナリオでアルゴリズムをトレーニングし、検証することができる。 このツールキットは、Visuomotorタスク用に事前トレーニングされたビジュアルモジュールを提供し、迅速なプロトタイピングを可能にし、さらに視覚的なサブモジュールをカスタマイズしたり、自身のオブジェクトで再トレーニングすることができる。
  論文  参考訳（メタデータ） (2020-12-21T19:15:05Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)
• Learning Predictive Models From Observation and Interaction [137.77887825854768]
  世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。 しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。 本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
  論文  参考訳（メタデータ） (2019-12-30T01:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。