論文の概要: TOMA: Topological Map Abstraction for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2005.06061v2
• Date: Tue, 23 Jun 2020 11:12:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-04 19:16:34.037498
• Title: TOMA: Topological Map Abstraction for Reinforcement Learning
• Title（参考訳）: TOMA: 強化学習のためのトポロジカルマップ抽象化
• Authors: Zhao-Heng Yin, Wu-Jun Li
• Abstract要約: 動物は周囲の環境のトポロジカルマップ(グラフ)を発見でき、ナビゲーションに使用される。 グラフ生成のためのトポロジカルマップ抽象化(TOMA)と呼ばれる新しい手法を提案する。 TOMAはマルコフ決定プロセス(MDP)の抽象グラフ表現を生成することができる。
• 参考スコア（独自算出の注目度）: 25.344022177507938
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Animals are able to discover the topological map (graph) of surrounding environment, which will be used for navigation. Inspired by this biological phenomenon, researchers have recently proposed to generate graph representation for Markov decision process (MDP) and use such graphs for planning in reinforcement learning (RL). However, existing graph generation methods suffer from many drawbacks. One drawback is that existing methods do not learn an abstraction for graphs, which results in high memory and computation cost. This drawback also makes generated graph non-robust, which degrades the planning performance. Another drawback is that existing methods cannot be used for facilitating exploration which is important in RL. In this paper, we propose a new method, called topological map abstraction (TOMA), for graph generation. TOMA can generate an abstract graph representation for MDP, which costs much less memory and computation cost than existing methods. Furthermore, TOMA can be used for facilitating exploration. In particular, we propose planning to explore, in which TOMA is used to accelerate exploration by guiding the agent towards unexplored states. A novel experience replay module called vertex memory is also proposed to improve exploration performance. Experimental results show that TOMA can outperform existing methods to achieve the state-of-the-art performance.
• Abstract（参考訳）: 動物は、航行に使用される周囲の環境のトポロジカルマップ(グラフ)を見つけることができる。 この生物学的現象に触発されて、研究者らは最近、マルコフ決定過程(MDP)のグラフ表現を作成し、強化学習(RL)の計画にそのようなグラフを使用することを提案した。 しかし,既存のグラフ生成手法には多くの欠点がある。 1つの欠点は、既存のメソッドがグラフの抽象化を学習していないことである。 この欠点はグラフ生成の非ロバスト化にもつながり、計画性能が低下する。 もう一つの欠点は、RLで重要な探索を容易にするために既存の手法は使用できないことである。 本稿では,グラフ生成のためのトポロジカルマップ抽象化(TOMA)と呼ばれる新しい手法を提案する。 tomaはmdp用の抽象グラフ表現を生成することができ、既存のメソッドよりもはるかに少ないメモリと計算コストがかかる。 さらに、TOMAは探索を容易にするために使用できる。 特に,未探索状態に向けてエージェントを誘導することにより,TOMAを探索の高速化に活用する探索計画を提案する。 バーテックスメモリと呼ばれる新しい体験再生モジュールも探索性能を向上させるために提案されている。 実験の結果,tomaは既存の手法を上回って最先端のパフォーマンスを達成できることがわかった。

関連論文リスト

• Disentangled Generative Graph Representation Learning [51.59824683232925]
  本稿では,自己教師型学習フレームワークであるDiGGR(Disentangled Generative Graph Representation Learning)を紹介する。 潜伏要因を学習し、それをグラフマスクモデリングのガイドとして活用することを目的としている。 2つの異なるグラフ学習タスクのための11の公開データセットの実験は、DiGGRが従来よりも一貫して多くの自己教師付きメソッドを上回っていることを示している。
  論文  参考訳（メタデータ） (2024-08-24T05:13:02Z)
• Can Graph Learning Improve Planning in LLM-based Agents? [61.47027387839096]
  言語エージェントにおけるタスクプランニングは、大規模言語モデル(LLM)の開発とともに重要な研究トピックとして浮上している。 本稿では,課題計画のためのグラフ学習に基づく手法について検討する。 我々のグラフ学習への関心は、注意のバイアスと自己回帰的損失が、グラフ上の意思決定を効果的にナビゲートするLLMの能力を妨げているという理論的な発見に起因している。
  論文  参考訳（メタデータ） (2024-05-29T14:26:24Z)
• Active Neural Topological Mapping for Multi-Agent Exploration [24.91397816926568]
  マルチエージェント協調探索問題では、複数のエージェントが限られた時間で感覚信号を介して見えない環境を探索する必要がある。 トポロジカルマップは、抽象的だが不可欠な情報を持つノードとエッジのみからなる、有望な代替手段である。 深層強化学習は、高速なエンドツーエンド推論を通じて(ほぼ)最適ポリシーを学ぶ大きな可能性を示している。 マルチエージェント探索作業における探索効率の向上と一般化を目的とした,Multi-Agent Neural Topological Mapping (MANTM)を提案する。
  論文  参考訳（メタデータ） (2023-11-01T03:06:14Z)
• SurgMAE: Masked Autoencoders for Long Surgical Video Analysis [4.866110274299399]
  マスク付きオートエンコーダ(MAE)は視覚変換器(ViT)の自己監督パラダイムに注目された 本稿では,外科的ビデオ領域における転送可能な表現をMAEが学習できるかどうかを最初に検討する。 本稿では,MAE用高テンポラルトークンをサンプリングするマスキング戦略を備えた新しいアーキテクチャであるSurgMAEを提案する。
  論文  参考訳（メタデータ） (2023-05-19T06:12:50Z)
• Deep Manifold Learning with Graph Mining [80.84145791017968]
  グラフマイニングのための非段階的決定層を持つ新しいグラフ深層モデルを提案する。 提案モデルでは,現行モデルと比較して最先端性能を実現している。
  論文  参考訳（メタデータ） (2022-07-18T04:34:08Z)
• An Empirical Study of Retrieval-enhanced Graph Neural Networks [48.99347386689936]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習に有効なツールである。 本稿では,グラフニューラルネットワークモデルの選択に非依存な GraphRETRIEVAL という検索強化方式を提案する。 我々は13のデータセットに対して包括的な実験を行い、GRAPHRETRIEVALが既存のGNNよりも大幅に改善されていることを観察した。
  論文  参考訳（メタデータ） (2022-06-01T09:59:09Z)
• SUGAR: Efficient Subgraph-level Training via Resource-aware Graph Partitioning [10.009366498188832]
  本研究は,資源対応グラフ分割(SUGAR)による効率的なサブグラフレベルのトレーニングを提案する。 以上の結果から,SUGARは大規模グラフ上で最大33倍の高速化と3.8倍のメモリ削減を実現可能であることがわかった。
  論文  参考訳（メタデータ） (2022-01-31T20:23:31Z)
• Weakly-supervised Graph Meta-learning for Few-shot Node Classification [53.36828125138149]
  新しいグラフメタ学習フレームワーク - Graph Hallucination Networks (Meta-GHN) を提案する。 新たなロバストネス強化エピソードトレーニングに基づいて、Meta-GHNは、弱いラベル付きデータからクリーンノード表現を幻覚させるメタ学習を行う。 大規模な実験は、既存のグラフメタ学習研究よりもMeta-GHNの方が優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-12T22:22:10Z)
• Learning Abstract Models for Strategic Exploration and Fast Reward Transfer [85.19766065886422]
  我々は,抽象状態のマルコフ決定過程(MDP)を正確に学習し,複雑なエラーを避ける。 本手法は,最も難易度の高い3つのアーケード学習環境ゲームにおいて,強力な結果をもたらす。 学習した抽象MDPを新しい報酬関数に再利用することができ、スクラッチから訓練されたモデルフリーメソッドよりも1000倍少ないサンプルで高い報酬が得られる。
  論文  参考訳（メタデータ） (2020-07-12T03:33:50Z)
• Graph Neural Network Based Coarse-Grained Mapping Prediction [27.729236383556103]
  本稿では、DEP Superpervised Graph PartiTIONing ModelODEL(DSGPM)と呼ばれるグラフニューラルネットワークを用いたCGマッピング予測器を提案する。 我々のモデルは、スペクトルクラスタリングに使用される高品質な原子の特徴を生成するために、新しい計量学習の目標を用いている。 予測されたCGマッピング演算子は,シミュレーションで使用するとよいCG MDモデルが得られることがわかった。
  論文  参考訳（メタデータ） (2020-06-24T15:05:39Z)
• Graph-based State Representation for Deep Reinforcement Learning [1.5901689240516976]
  基礎となるマルコフ決定プロセス(MDP)がグラフを表現しているという事実を利用して、このトポロジ情報を有効状態表現学習に組み込むことができる。 近年のグラフ解析タスクにおけるノード表現の成功により,ノード表現学習手法が深部RLにおける基礎となるMDPのトポロジを効果的にエンコードする能力について検討した。 その結果,すべての埋め込み手法が,グリッドワールド環境の一般的な行列表現よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-04-29T05:43:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。