論文の概要: Hallucinative Topological Memory for Zero-Shot Visual Planning

• arxiv url: http://arxiv.org/abs/2002.12336v1
• Date: Thu, 27 Feb 2020 18:54:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 07:13:00.351686
• Title: Hallucinative Topological Memory for Zero-Shot Visual Planning
• Title（参考訳）: ゼロショット視覚計画のための幻覚的トポロジカルメモリ
• Authors: Kara Liu, Thanard Kurutach, Christine Tung, Pieter Abbeel, Aviv Tamar
• Abstract要約: 視覚計画(VP)では、エージェントは、オフラインで取得した動的システムの観察から目標指向の振る舞いを計画することを学ぶ。 以前のVPに関するほとんどの研究は、学習された潜在空間で計画することでこの問題にアプローチし、結果として品質の低い視覚計画を生み出した。 本稿では,画像空間を直接計画し,競合性能を示すシンプルなVP手法を提案する。
• 参考スコア（独自算出の注目度）: 86.20780756832502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In visual planning (VP), an agent learns to plan goal-directed behavior from observations of a dynamical system obtained offline, e.g., images obtained from self-supervised robot interaction. Most previous works on VP approached the problem by planning in a learned latent space, resulting in low-quality visual plans, and difficult training algorithms. Here, instead, we propose a simple VP method that plans directly in image space and displays competitive performance. We build on the semi-parametric topological memory (SPTM) method: image samples are treated as nodes in a graph, the graph connectivity is learned from image sequence data, and planning can be performed using conventional graph search methods. We propose two modifications on SPTM. First, we train an energy-based graph connectivity function using contrastive predictive coding that admits stable training. Second, to allow zero-shot planning in new domains, we learn a conditional VAE model that generates images given a context of the domain, and use these hallucinated samples for building the connectivity graph and planning. We show that this simple approach significantly outperform the state-of-the-art VP methods, in terms of both plan interpretability and success rate when using the plan to guide a trajectory-following controller. Interestingly, our method can pick up non-trivial visual properties of objects, such as their geometry, and account for it in the plans.
• Abstract（参考訳）: 視覚計画(VP)において、エージェントは、オフラインで取得した動的システムの観察、例えば、自己監督ロボットのインタラクションから得られる画像から、目標指向の行動を計画することを学ぶ。 vpの以前のほとんどの作業は、学習された潜在空間で計画することでこの問題にアプローチし、その結果、低品質の視覚計画と難しい訓練アルゴリズムを生み出した。 そこで本研究では,画像空間を直接計画し,競合性能を示すシンプルなVP手法を提案する。 我々は,半パラメトリックトポロジカルメモリ (SPTM) 法に基づいて,画像サンプルをグラフ内のノードとして処理し,画像シーケンスデータからグラフ接続を学習し,従来のグラフ探索手法を用いて計画を行う。 本稿ではSPTMに関する2つの修正を提案する。 まず、安定なトレーニングを許容するコントラスト予測符号化を用いて、エネルギーベースのグラフ接続関数を訓練する。 第2に,新たなドメインにおけるゼロショット計画を可能にするために,条件付きvaeモデルを学び,ドメインのコンテキストに与えられたイメージを生成し,これらの幻覚的なサンプルを使用して接続グラフの構築と計画を行う。 提案手法は,提案計画を用いて軌道追従制御器を誘導する場合の,計画解釈可能性と成功率の両方の観点から,最先端のVP手法を著しく上回ることを示す。 興味深いことに,本手法は,物体の形状などの非自明な視覚特性を抽出し,計画において考慮することができる。

関連論文リスト

• Planning as In-Painting: A Diffusion-Based Embodied Task Planning Framework for Environments under Uncertainty [56.30846158280031]
  具体的AIのためのタスクプランニングは、最も難しい問題の1つだ。 In-paintingとしての計画」というタスク非依存の手法を提案する。 提案するフレームワークは,様々な具体的AIタスクにおいて,有望なパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-12-02T10:07:17Z)
• Sequential Manipulation Planning on Scene Graph [90.28117916077073]
  我々は,効率的な逐次タスク計画のための3次元シーングラフ表現であるコンタクトグラフ+(cg+)を考案する。 ゴール設定は、自然にコンタクトグラフに指定され、最適化法を用いて遺伝的アルゴリズムによって作成することができる。 次に、初期接触グラフと目標設定との間のグラフ編集距離(GED)を計算してタスクプランを簡潔化し、ロボット動作に対応するグラフ編集操作を生成する。
  論文  参考訳（メタデータ） (2022-07-10T02:01:33Z)
• Template based Graph Neural Network with Optimal Transport Distances [11.56532171513328]
  現在のグラフニューラルネットワーク(GNN)アーキテクチャは、2つの重要なコンポーネントに依存している。 本稿では,学習可能なグラフテンプレートとの距離をグラフ表現のコアに配置する新しい視点を提案する。 この距離埋め込みは、Fused Gromov-Wasserstein (FGW) 距離という最適な輸送距離によって構築される。
  論文  参考訳（メタデータ） (2022-05-31T12:24:01Z)
• Dynamic Graph Representation Learning via Graph Transformer Networks [41.570839291138114]
  動的グラフ変換器 (DGT) を用いた動的グラフ学習手法を提案する。 DGTは、グラフトポロジを効果的に学習し、暗黙のリンクをキャプチャするための時空間符号化を持つ。 DGTはいくつかの最先端のベースラインと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-11-19T21:44:23Z)
• Learning to plan with uncertain topological maps [14.774543742438176]
  我々は,グラフベースのプランナとローカルポリシーを含む階層的戦略を用いて,エージェントに3D環境をナビゲートするように訓練する。 実写3D環境における本手法の実証解析により,学習したニューラルプランナーに視覚的特徴を組み込むことで,グラフベース計画における古典的記号解よりも優れることを示した。
  論文  参考訳（メタデータ） (2020-07-10T09:28:30Z)
• Plan2Vec: Unsupervised Representation Learning by Latent Plans [106.37274654231659]
  Plan2vecは、強化学習にインスパイアされた教師なしの表現学習手法である。 Plan2vecは、近距離を用いて画像データセット上に重み付きグラフを構築し、その局所距離を、計画された経路上の経路積分を蒸留することによって、大域的な埋め込みに外挿する。 1つのシミュレーションと2つの実世界の画像データセットに対する Plan2vec の有効性を実証する。
  論文  参考訳（メタデータ） (2020-05-07T17:52:23Z)
• Latent Space Roadmap for Visual Action Planning of Deformable and Rigid Object Manipulation [74.88956115580388]
  プランニングは、イメージを埋め込んだ低次元の潜在状態空間で行われる。 我々のフレームワークは2つの主要なコンポーネントで構成されており、画像のシーケンスとして視覚的な計画を生成するビジュアル・フォレスト・モジュール(VFM)と、それら間のアクションを予測するアクション・プロポーザル・ネットワーク(APN)である。
  論文  参考訳（メタデータ） (2020-03-19T18:43:26Z)
• Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
  グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。 しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。 本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
  論文  参考訳（メタデータ） (2020-01-18T09:14:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。