論文の概要: Sparse Graphical Memory for Robust Planning
- arxiv url: http://arxiv.org/abs/2003.06417v3
- Date: Thu, 12 Nov 2020 21:37:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-24 00:57:17.977189
- Title: Sparse Graphical Memory for Robust Planning
- Title(参考訳): ロバスト計画のためのスパースグラフィカルメモリ
- Authors: Scott Emmons, Ajay Jain, Michael Laskin, Thanard Kurutach, Pieter
Abbeel, Deepak Pathak
- Abstract要約: スパースメモリに状態と実現可能な遷移を格納する新しいデータ構造であるスパースグラフィカルメモリ(SGM)を導入する。
SGMは、ゴール条件付きRLに古典的状態集約基準を適用し、新しい双方向整合目標に従って状態を集約する。
本研究では, SGM が, 遠近法, スパース・リワード視覚ナビゲーションタスクにおいて, 最先端の工法を著しく上回っていることを示す。
- 参考スコア(独自算出の注目度): 93.39298821537197
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To operate effectively in the real world, agents should be able to act from
high-dimensional raw sensory input such as images and achieve diverse goals
across long time-horizons. Current deep reinforcement and imitation learning
methods can learn directly from high-dimensional inputs but do not scale well
to long-horizon tasks. In contrast, classical graphical methods like A* search
are able to solve long-horizon tasks, but assume that the state space is
abstracted away from raw sensory input. Recent works have attempted to combine
the strengths of deep learning and classical planning; however, dominant
methods in this domain are still quite brittle and scale poorly with the size
of the environment. We introduce Sparse Graphical Memory (SGM), a new data
structure that stores states and feasible transitions in a sparse memory. SGM
aggregates states according to a novel two-way consistency objective, adapting
classic state aggregation criteria to goal-conditioned RL: two states are
redundant when they are interchangeable both as goals and as starting states.
Theoretically, we prove that merging nodes according to two-way consistency
leads to an increase in shortest path lengths that scales only linearly with
the merging threshold. Experimentally, we show that SGM significantly
outperforms current state of the art methods on long horizon, sparse-reward
visual navigation tasks. Project video and code are available at
https://mishalaskin.github.io/sgm/
- Abstract(参考訳): 実世界で効果的に行動するためには、エージェントは画像などの高次元の生の感覚入力から行動し、長い時間をかけて多様な目標を達成する必要がある。
現在の深部強化法と模倣学習法は,高次元入力から直接学習できるが,長期的タスクには適さない。
対照的に、A*検索のような古典的なグラフィカルな手法は、長い水平タスクを解くことができるが、状態空間は生の感覚入力から抽象化されていると仮定する。
近年の研究では、深層学習と古典的計画の強みを組み合わそうとしているが、この領域における支配的な手法はいまだに非常に脆弱であり、環境の規模には及ばない。
スパースメモリに状態と実現可能な遷移を格納する新しいデータ構造であるスパースグラフィックメモリ(SGM)を導入する。
SGMは、ゴール条件付きRLに古典的状態集約基準を適用し、新しい双方向整合目標に従って状態を集約する: 2つの状態は、目標と開始状態の両方として交換可能で、冗長である。
理論的には、2方向の一貫性に従ってマージノードはマージしきい値と線形にしかスケールしない最短経路長の増加をもたらすことが証明される。
実験により,SGMは長い水平方向,スパース・リワード視覚ナビゲーションタスクにおいて,最先端の工法を著しく上回ることを示した。
プロジェクトビデオとコードはhttps://mishalaskin.github.io/sgm/で入手できる。
関連論文リスト
- Towards Synchronous Memorizability and Generalizability with Site-Modulated Diffusion Replay for Cross-Site Continual Segmentation [50.70671908078593]
本稿では,同期記憶可能性と一般化可能性(SMG-Learning)に学ぶ新しい学習パラダイムを提案する。
我々は,過去の地点での記憶可能性を確保するために方位勾配アライメントと,目に見えない地点での一般化性を高めるために任意の勾配アライメントを作成する。
実験により,本手法は,他の最先端手法よりも,記憶可能性と一般性の両方を効果的に向上させることが示された。
論文 参考訳(メタデータ) (2024-06-26T03:10:57Z) - GLACE: Global Local Accelerated Coordinate Encoding [66.87005863868181]
シーン座標回帰法は小規模なシーンでは有効であるが、大規模シーンでは重大な課題に直面している。
本研究では,事前学習したグローバルおよびローカルのエンコーディングを統合したGLACEを提案する。
提案手法は,低マップサイズモデルを用いて,大規模シーンにおける最先端結果を実現する。
論文 参考訳(メタデータ) (2024-06-06T17:59:50Z) - Deep Homography Estimation for Visual Place Recognition [49.235432979736395]
本稿では,変換器を用いたディープホモグラフィー推定(DHE)ネットワークを提案する。
バックボーンネットワークによって抽出された濃密な特徴写像を入力とし、高速で学習可能な幾何的検証のためにホモグラフィーに適合する。
ベンチマークデータセットを用いた実験により,本手法はいくつかの最先端手法より優れていることが示された。
論文 参考訳(メタデータ) (2024-02-25T13:22:17Z) - Network Memory Footprint Compression Through Jointly Learnable Codebooks
and Mappings [23.1120983784623]
量子化は、高精度テンソルを低精度でメモリ効率の良いフォーマットにマッピングするため、好ましい解である。
メモリフットプリントの削減に関して、最も効果的なバリエーションはコードブックに基づいている。
本稿では,近年の勾配に基づくポストトレーニング量子化手法と類似性を有するコードブックとウェイトマッピングの合同学習を提案する。
論文 参考訳(メタデータ) (2023-09-29T16:04:55Z) - One-4-All: Neural Potential Fields for Embodied Navigation [10.452316044889177]
実世界のナビゲーションには高次元RGB画像を用いた長期計画が必要である。
One-4-All (O4A) は、グラフのないエンドツーエンドのナビゲーションパイプラインを得るために、自己教師付きおよび多様体学習を活用する方法である。
O4Aは,8つの模擬ギブソン屋内環境において長距離目標を達成することができることを示す。
論文 参考訳(メタデータ) (2023-03-07T16:25:41Z) - APP: Anytime Progressive Pruning [104.36308667437397]
本稿では,特にオンライン学習の場合において,ニューラルネットワークをターゲット空間でトレーニングする方法を提案する。
提案手法は,複数のアーキテクチャやデータセットにまたがるベースライン密度とAnytime OSPモデルにおいて,短時間で適度かつ長時間のトレーニングにおいて,大幅に性能が向上する。
論文 参考訳(メタデータ) (2022-04-04T16:38:55Z) - Jointly Learnable Data Augmentations for Self-Supervised GNNs [0.311537581064266]
本稿では,グラフ表現学習のための自己教師型学習手法であるGraphSurgeonを提案する。
学習可能なデータ拡張の柔軟性を活用し、埋め込み空間で強化する新しい戦略を導入する。
その結果,GraphSurgeonは6つのSOTA半教師付きベースラインに匹敵し,ノード分類タスクにおける5つのSOTA自己教師付きベースラインに匹敵することがわかった。
論文 参考訳(メタデータ) (2021-08-23T21:33:12Z) - Model-Based Reinforcement Learning via Latent-Space Collocation [110.04005442935828]
我々は、行動だけでなく、状態の順序を計画することで、長期的タスクの解決がより容易であると主張する。
我々は、学習された潜在状態空間モデルを利用して、画像に基づく設定に最適な制御文献における長い水平タスクに対する良い結果を示すコロケーションの概念を適応させる。
論文 参考訳(メタデータ) (2021-06-24T17:59:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。