論文の概要: Out of Sight, Still in Mind: Reasoning and Planning about Unobserved Objects with Video Tracking Enabled Memory Models

• arxiv url: http://arxiv.org/abs/2309.15278v1
• Date: Tue, 26 Sep 2023 21:31:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-28 17:26:10.609332
• Title: Out of Sight, Still in Mind: Reasoning and Planning about Unobserved Objects with Video Tracking Enabled Memory Models
• Title（参考訳）: 目に見える、まだ心に残る:ビデオ追跡可能な記憶モデルによる未観測物体の推論と計画
• Authors: Yixuan Huang, Jialin Yuan, Chanho Kim, Pupul Pradhan, Bryan Chen, Li Fuxin, Tucker Hermans
• Abstract要約: オブジェクト指向メモリを多目的操作推論フレームワークに符号化する問題について検討する。 部分ビュー点雲のトラジェクトリの履歴を符号化するためにトランスフォーマダイナミクスを利用するLOOMを提案する。 提案手法は,新規なオブジェクトの出現を排除した推論や,オブジェクトの再出現など,複数のタスクを実行できる。
• 参考スコア（独自算出の注目度）: 11.68462871722194
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robots need to have a memory of previously observed, but currently occluded objects to work reliably in realistic environments. We investigate the problem of encoding object-oriented memory into a multi-object manipulation reasoning and planning framework. We propose DOOM and LOOM, which leverage transformer relational dynamics to encode the history of trajectories given partial-view point clouds and an object discovery and tracking engine. Our approaches can perform multiple challenging tasks including reasoning with occluded objects, novel objects appearance, and object reappearance. Throughout our extensive simulation and real-world experiments, we find that our approaches perform well in terms of different numbers of objects and different numbers of distractor actions. Furthermore, we show our approaches outperform an implicit memory baseline.
• Abstract（参考訳）: ロボットは以前に観測された記憶を持つ必要があるが、現実的な環境で確実に動作するには、現在物体を隠蔽する必要がある。 オブジェクト指向メモリを多目的操作推論・計画フレームワークに符号化する問題について検討する。 本研究では,変換器のリレーショナルダイナミクスを利用して,部分視点雲と物体発見・追跡エンジンのトラジェクトリ履歴を符号化するDOOMとLOOMを提案する。 我々のアプローチは、隠されたオブジェクトによる推論、新しいオブジェクトの外観、オブジェクトの再出現など、複数の困難なタスクを実行することができる。 大規模なシミュレーションと実世界の実験を通して、我々のアプローチは、異なる物体の数と異なる乱れの回数でうまく機能することがわかった。 さらに,提案手法は暗黙のメモリベースラインよりも優れていることを示す。

関連論文リスト

• The Background Also Matters: Background-Aware Motion-Guided Objects Discovery [2.6442319761949875]
  本研究では,背景認識型動き誘導物体探索法を提案する。 我々は光学的流れから抽出した移動物体のマスクを活用し、学習機構を設計し、それらを真の前景に拡張する。 これにより、オブジェクト発見タスクとオブジェクト/非オブジェクト分離の合同学習が可能になる。
  論文  参考訳（メタデータ） (2023-11-05T12:35:47Z)
• Tracking through Containers and Occluders in the Wild [32.86030395660071]
  重い閉塞と封じ込めによる視覚追跡のための新しいベンチマークとモデルである$textbfTCOW$を紹介した。 我々は、教師付き学習とモデル性能の構造化評価の両方をサポートするために、合成データセットと注釈付き実データセットの混合を作成する。 最近の2つのトランスフォーマーベースビデオモデルを評価し,タスク変動の特定の設定下でターゲットを驚くほど追跡できるが,トラッキングモデルが真のオブジェクト永続性(permanence)の概念を獲得したと主張するまでには,かなりの性能差が残っていることを発見した。
  論文  参考訳（メタデータ） (2023-05-04T17:59:58Z)
• Finding Fallen Objects Via Asynchronous Audio-Visual Integration [89.75296559813437]
  本稿では,3次元仮想環境におけるマルチモーダルオブジェクトのローカライゼーションについて検討する。 カメラとマイクを装備したロボットエージェントは、音声と視覚信号を基礎となる物理学の知識と組み合わせることで、どの物体が落下したか(そしてどこにあるか)を判断しなければならない。 このデータセットは、物理ベースの衝撃音と、フォトリアリスティックな設定でオブジェクト間の複雑な物理的相互作用をシミュレートする3DWorldプラットフォームを使用している。
  論文  参考訳（メタデータ） (2022-07-07T17:59:59Z)
• Discovering Objects that Can Move [55.743225595012966]
  手動ラベルなしでオブジェクトを背景から分離する、オブジェクト発見の問題について検討する。 既存のアプローチでは、色、テクスチャ、位置などの外観の手がかりを使用して、ピクセルをオブジェクトのような領域に分類する。 私たちは、動的オブジェクト -- 世界で独立して動くエンティティ -- にフォーカスすることを選びます。
  論文  参考訳（メタデータ） (2022-03-18T21:13:56Z)
• Improving Object Permanence using Agent Actions and Reasoning [8.847502932609737]
  既存のアプローチは、低レベルの知覚からオブジェクト永続性を学ぶ。 我々は、ロボットが実行された動作に関する知識を使用する場合、オブジェクトの永続性を改善することができると論じる。
  論文  参考訳（メタデータ） (2021-10-01T07:09:49Z)
• INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
  INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。 我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。 我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
  論文  参考訳（メタデータ） (2021-08-25T07:35:21Z)
• Learning to Track with Object Permanence [61.36492084090744]
  共同物体の検出と追跡のためのエンドツーエンドのトレーニング可能なアプローチを紹介します。 私たちのモデルは、合成データと実データで共同トレーニングされ、KITTIおよびMOT17データセットの最先端を上回ります。
  論文  参考訳（メタデータ） (2021-03-26T04:43:04Z)
• Learning Object-Based State Estimators for Household Robots [11.055133590909097]
  我々は高次元観測と仮説に基づいてオブジェクトベースのメモリシステムを構築する。 シミュレーション環境と実画像の両方において動的に変化するオブジェクトの記憶を維持するシステムの有効性を実証する。
  論文  参考訳（メタデータ） (2020-11-06T04:18:52Z)
• SoDA: Multi-Object Tracking with Soft Data Association [75.39833486073597]
  マルチオブジェクトトラッキング(MOT)は、自動運転車の安全な配備の前提条件である。 観測対象間の依存関係をエンコードするトラック埋め込みの計算に注目するMOTに対する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-08-18T03:40:25Z)
• Hindsight for Foresight: Unsupervised Structured Dynamics Models from Physical Interaction [24.72947291987545]
  エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。 本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-08-02T11:04:49Z)
• Object-Centric Image Generation from Layouts [93.10217725729468]
  複数のオブジェクトを持つ複雑なシーンを生成するレイアウト・ツー・イメージ生成法を開発した。 本手法は,シーン内のオブジェクト間の空間的関係の表現を学習し,レイアウトの忠実度の向上につながる。 本稿では,Fr'echet Inception Distanceのオブジェクト中心適応であるSceneFIDを紹介する。
  論文  参考訳（メタデータ） (2020-03-16T21:40:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。