論文の概要: Improving Object Permanence using Agent Actions and Reasoning
- arxiv url: http://arxiv.org/abs/2110.00238v1
- Date: Fri, 1 Oct 2021 07:09:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-04 14:28:52.199400
- Title: Improving Object Permanence using Agent Actions and Reasoning
- Title（参考訳）: エージェントアクションと推論によるオブジェクトパーマンスの改善
- Authors: Ying Siu Liang, Chen Zhang, Dongkyu Choi and Kenneth Kwok
- Abstract要約: 既存のアプローチは、低レベルの知覚からオブジェクト永続性を学ぶ。
我々は、ロボットが実行された動作に関する知識を使用する場合、オブジェクトの永続性を改善することができると論じる。
- 参考スコア（独自算出の注目度）: 8.847502932609737
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Object permanence in psychology means knowing that objects still exist even
if they are no longer visible. It is a crucial concept for robots to operate
autonomously in uncontrolled environments. Existing approaches learn object
permanence from low-level perception, but perform poorly on more complex
scenarios, like when objects are contained and carried by others. Knowledge
about manipulation actions performed on an object prior to its disappearance
allows us to reason about its location, e.g., that the object has been placed
in a carrier. In this paper we argue that object permanence can be improved
when the robot uses knowledge about executed actions and describe an approach
to infer hidden object states from agent actions. We show that considering
agent actions not only improves rule-based reasoning models but also purely
neural approaches, showing its general applicability. Then, we conduct
quantitative experiments on a snitch localization task using a dataset of 1,371
synthesized videos, where we compare the performance of different object
permanence models with and without action annotations. We demonstrate that
models with action annotations can significantly increase performance of both
neural and rule-based approaches. Finally, we evaluate the usability of our
approach in real-world applications by conducting qualitative experiments with
two Universal Robots (UR5 and UR16e) in both lab and industrial settings. The
robots complete benchmark tasks for a gearbox assembly and demonstrate the
object permanence capabilities with real sensor data in an industrial
environment.
- Abstract（参考訳）: 心理学における物体の永続性とは、物体がもはや見えなくなってもまだ存在することを知ることである。
これは、ロボットが制御されていない環境で自律的に動くための重要な概念である。
既存のアプローチは、低レベルの知覚からオブジェクトの永続性を学習するが、オブジェクトが他の人に含まれたり運ばれたりする場合など、より複雑なシナリオでは不十分である。
オブジェクトが消える前に実行される操作に関する知識は、例えば、オブジェクトがキャリアに置かれているなど、その位置について推論することができる。
本稿では,ロボットが実行動作に関する知識を使用すると,オブジェクトの永続性が向上し,エージェント動作から隠されたオブジェクト状態を推測するアプローチを記述する。
エージェントアクションを考慮することで、ルールベースの推論モデルの改善だけでなく、純粋に神経アプローチも実現可能であることを示す。
そこで我々は,1,371個の合成ビデオのデータセットを用いて,スニッチ局所化タスクの定量的実験を行い,異なるオブジェクトパーマンスモデルの性能とアクションアノテーションとを比較した。
我々は、アクションアノテーションを持つモデルが、ニューラルネットワークとルールベースのアプローチの両方のパフォーマンスを著しく向上させることを実証する。
最後に,2つのユニバーサルロボット(UR5とUR16e)を実験室および産業環境で定性実験することにより,実世界の応用におけるアプローチの有用性を評価する。
ロボットは、ギヤボックスアセンブリのベンチマークタスクを完了し、産業環境における実際のセンサーデータによるオブジェクト永続能力を実証する。
関連論文リスト
- Learning Object Properties Using Robot Proprioception via Differentiable Robot-Object Interaction [52.12746368727368]
微分可能シミュレーションは、システム識別の強力なツールとなっている。
本手法は,オブジェクト自体のデータに頼ることなく,ロボットからの情報を用いてオブジェクト特性を校正する。
低コストなロボットプラットフォームにおける本手法の有効性を実証する。
論文 参考訳（メタデータ） (2024-10-04T20:48:38Z) - Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
我々はPolarisという対話型ロボット操作フレームワークを紹介した。
ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。
本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
論文 参考訳（メタデータ） (2024-08-15T06:40:38Z) - Learning active tactile perception through belief-space control [21.708391958446274]
本稿では,創造的世界モデルを開発することにより,触覚探索政策を自律的に学習する手法を提案する。
本手法は,目的が所望のオブジェクト特性を推定することである3つのシミュレーションタスクに対して評価する。
提案手法は, 所望のプロパティに関する情報を直感的に収集するポリシーを発見できることがわかった。
論文 参考訳（メタデータ） (2023-11-30T21:54:42Z) - Localizing Active Objects from Egocentric Vision with Symbolic World
Knowledge [62.981429762309226]
タスクの指示をエゴセントリックな視点から積極的に下す能力は、AIエージェントがタスクを達成したり、人間をバーチャルに支援する上で不可欠である。
本稿では,現在進行中のオブジェクトの役割を学習し,指示から正確に抽出することで,アクティブなオブジェクトをローカライズするフレーズグラウンドモデルの性能を向上させることを提案する。
Ego4DおよびEpic-Kitchensデータセットに関するフレームワークの評価を行った。
論文 参考訳（メタデータ） (2023-10-23T16:14:05Z) - H-SAUR: Hypothesize, Simulate, Act, Update, and Repeat for Understanding
Object Articulations from Interactions [62.510951695174604]
The Hypothesize, Simulate, Act, Update, and Repeat (H-SAUR) is a probabilistic generative framework that generated hypotheses about objects articulate given input observed。
提案手法は,現在最先端のオブジェクト操作フレームワークよりも優れていることを示す。
我々は、学習に基づく視覚モデルから学習前の学習を統合することにより、H-SAURのテスト時間効率をさらに向上する。
論文 参考訳（メタデータ） (2022-10-22T18:39:33Z) - Object Manipulation via Visual Target Localization [64.05939029132394]
オブジェクトを操作するための訓練エージェントは、多くの課題を提起します。
本研究では,対象物体を探索する環境を探索し,位置が特定されると3次元座標を計算し,対象物が見えない場合でも3次元位置を推定する手法を提案する。
評価の結果,同じ感覚スイートにアクセス可能なモデルに比べて,成功率が3倍に向上したことが示された。
論文 参考訳（メタデータ） (2022-03-15T17:59:01Z) - SORNet: Spatial Object-Centric Representations for Sequential
Manipulation [39.88239245446054]
シーケンシャルな操作タスクでは、ロボットが環境の状態を認識し、望ましい目標状態につながる一連のアクションを計画する必要がある。
本研究では,対象対象の標準視に基づくRGB画像からオブジェクト中心表現を抽出するSORNetを提案する。
論文 参考訳（メタデータ） (2021-09-08T19:36:29Z) - Maintaining a Reliable World Model using Action-aware Perceptual
Anchoring [4.971403153199917]
物体が見えなくなったり見えなくなったりしても、ロボットは周囲のモデルを維持する必要がある。
これは、環境内のオブジェクトを表すシンボルに知覚情報をアンカーする必要がある。
本稿では,ロボットが物体を永続的に追跡できる行動認識型知覚アンカーのモデルを提案する。
論文 参考訳（メタデータ） (2021-07-07T06:35:14Z) - Property-Aware Robot Object Manipulation: a Generative Approach [57.70237375696411]
本研究では,操作対象の隠れた特性に適応したロボットの動きを生成する方法に焦点を当てた。
本稿では,ジェネレーティブ・アドバイサル・ネットワークを利用して,オブジェクトの特性に忠実な新しいアクションを合成する可能性について検討する。
以上の結果から,ジェネレーティブ・アドバイサル・ネットは,新規かつ有意義な輸送行動を生み出すための強力なツールとなる可能性が示唆された。
論文 参考訳（メタデータ） (2021-06-08T14:15:36Z) - Learning Object-Based State Estimators for Household Robots [11.055133590909097]
我々は高次元観測と仮説に基づいてオブジェクトベースのメモリシステムを構築する。
シミュレーション環境と実画像の両方において動的に変化するオブジェクトの記憶を維持するシステムの有効性を実証する。
論文 参考訳（メタデータ） (2020-11-06T04:18:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。