論文の概要: Towards Better Laplacian Representation in Reinforcement Learning with Generalized Graph Drawing

• arxiv url: http://arxiv.org/abs/2107.05545v1
• Date: Mon, 12 Jul 2021 16:14:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-13 16:22:27.969244
• Title: Towards Better Laplacian Representation in Reinforcement Learning with Generalized Graph Drawing
• Title（参考訳）: 一般化グラフ描画による強化学習におけるラプラス表現の改善に向けて
• Authors: Kaixin Wang, Kuangqi Zhou, Qixin Zhang, Jie Shao, Bryan Hooi, Jiashi Feng
• Abstract要約: ラプラシアン表現は、状態に対する簡潔で情報的な表現を提供する。 近年の研究はスペクトルグラフ描画の目的を最小化することを提案しているが、固有ベクトル以外の大域最小化器は無限に多数存在する。 学習したラプラシア表現がより探索的な選択肢とより良い報酬形成をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 88.22538267731733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Laplacian representation recently gains increasing attention for reinforcement learning as it provides succinct and informative representation for states, by taking the eigenvectors of the Laplacian matrix of the state-transition graph as state embeddings. Such representation captures the geometry of the underlying state space and is beneficial to RL tasks such as option discovery and reward shaping. To approximate the Laplacian representation in large (or even continuous) state spaces, recent works propose to minimize a spectral graph drawing objective, which however has infinitely many global minimizers other than the eigenvectors. As a result, their learned Laplacian representation may differ from the ground truth. To solve this problem, we reformulate the graph drawing objective into a generalized form and derive a new learning objective, which is proved to have eigenvectors as its unique global minimizer. It enables learning high-quality Laplacian representations that faithfully approximate the ground truth. We validate this via comprehensive experiments on a set of gridworld and continuous control environments. Moreover, we show that our learned Laplacian representations lead to more exploratory options and better reward shaping.
• Abstract（参考訳）: ラプラシアン表現は、状態遷移グラフのラプラシアン行列の固有ベクトルを状態埋め込みとして取り込むことで、状態の簡潔で情報的な表現を提供するため、強化学習の注目を集めている。 このような表現は、基礎となる状態空間の幾何学を捉え、オプション発見や報酬形成のようなRLタスクに有益である。 大規模な(あるいは連続な)状態空間におけるラプラシアン表現を近似するために、近年の研究はスペクトルグラフ描画の目的を最小化することを提案しているが、固有ベクトル以外の大域最小化は無限に多い。 その結果、彼らの学習されたラプラシアン表現は、基礎的真理とは異なるかもしれない。 この問題を解決するために,グラフ描画対象を一般化した形式に再構成し,固有ベクトルを一意な大域的最小値とする新しい学習対象を導出する。 基礎的真理を忠実に近似する高品質なラプラシア表現を学習することができる。 グリッドワールドと継続的制御環境の集合に関する包括的な実験を通じてこれを検証する。 さらに、学習したラプラシア表現がより探索的な選択肢とより良い報酬形成をもたらすことを示す。

関連論文リスト

• Proper Laplacian Representation Learning [17.42966166938087]
  ラプラシアン表現を近似するための理論的に健全な目的とそれに対応する最適化アルゴリズムを導入する。 これらの結果は,複数の環境にまたがる堅牢な学習に実証的に変換されることを示す。
  論文  参考訳（メタデータ） (2023-10-16T21:14:50Z)
• Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
  コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。 近年の研究では、グラフ表現学習における事前学習の有用性が示されている。 本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
  論文  参考訳（メタデータ） (2023-02-06T16:26:29Z)
• Temporal Abstractions-Augmented Temporally Contrastive Learning: An Alternative to the Laplacian in RL [140.12803111221206]
  強化学習において、ラプラシアングラフはタスク非依存の設定において貴重なツールであることが証明されている。 そこで本研究では,非一様優先度設定において,ラプラシアン表現の表現性および所望の性質を回復可能な代替手法を提案する。 非一様条件のラプラシアンの代替として成功し、連続的な制御環境に挑戦する。
  論文  参考訳（メタデータ） (2022-03-21T22:07:48Z)
• Geometric Graph Representation Learning via Maximizing Rate Reduction [73.6044873825311]
  学習ノード表現は、コミュニティ検出やノード分類などのグラフ解析において、さまざまな下流タスクの恩恵を受ける。 教師なしの方法でノード表現を学習するための幾何学グラフ表現学習(G2R)を提案する。 G2R は異なるグループ内のノードを異なる部分空間にマッピングし、各部分空間はコンパクトで異なる部分空間が分散される。
  論文  参考訳（メタデータ） (2022-02-13T07:46:24Z)
• A Self-supervised Mixed-curvature Graph Neural Network [76.3790248465522]
  自己教師型混合曲率グラフニューラルネットワーク(SelfMGNN)を提案する。 我々は、SelfMGNNが現実の複雑なグラフ構造をキャプチャし、最先端のベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2021-12-10T08:56:55Z)
• Directed Graph Embeddings in Pseudo-Riemannian Manifolds [0.0]
  一般的な有向グラフは、3つの成分を結合した埋め込みモデルで効果的に表現できることを示す。 本稿では,リンク予測のタスクに適用することで,この手法の表現能力を実証する。
  論文  参考訳（メタデータ） (2021-06-16T10:31:37Z)
• Graph Convolution with Low-rank Learnable Local Filters [32.00396411583352]
  本稿では,学習可能な低ランク局所フィルタを用いた新しいグラフ畳み込み手法を提案する。 従来のスペクトルグラフ畳み込み法よりも明らかに表現力が高い。 入力グラフデータに対する表現は理論的に証明され、グラフフィルタの局所性と局所グラフの正規化を利用する。
  論文  参考訳（メタデータ） (2020-08-04T20:34:59Z)
• Spatial Pyramid Based Graph Reasoning for Semantic Segmentation [67.47159595239798]
  セマンティックセグメンテーションタスクにグラフ畳み込みを適用し、改良されたラプラシアンを提案する。 グラフ推論は、空間ピラミッドとして構成された元の特徴空間で直接実行される。 計算とメモリのオーバーヘッドの利点で同等のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2020-03-23T12:28:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。