論文の概要: Towards Better Laplacian Representation in Reinforcement Learning with Generalized Graph Drawing

• arxiv url: http://arxiv.org/abs/2107.05545v1
• Date: Mon, 12 Jul 2021 16:14:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-13 16:22:27.969244
• Title: Towards Better Laplacian Representation in Reinforcement Learning with Generalized Graph Drawing
• Title（参考訳）: 一般化グラフ描画による強化学習におけるラプラス表現の改善に向けて
• Authors: Kaixin Wang, Kuangqi Zhou, Qixin Zhang, Jie Shao, Bryan Hooi, Jiashi Feng
• Abstract要約: ラプラシアン表現は、状態に対する簡潔で情報的な表現を提供する。 近年の研究はスペクトルグラフ描画の目的を最小化することを提案しているが、固有ベクトル以外の大域最小化器は無限に多数存在する。 学習したラプラシア表現がより探索的な選択肢とより良い報酬形成をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 88.22538267731733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Laplacian representation recently gains increasing attention for reinforcement learning as it provides succinct and informative representation for states, by taking the eigenvectors of the Laplacian matrix of the state-transition graph as state embeddings. Such representation captures the geometry of the underlying state space and is beneficial to RL tasks such as option discovery and reward shaping. To approximate the Laplacian representation in large (or even continuous) state spaces, recent works propose to minimize a spectral graph drawing objective, which however has infinitely many global minimizers other than the eigenvectors. As a result, their learned Laplacian representation may differ from the ground truth. To solve this problem, we reformulate the graph drawing objective into a generalized form and derive a new learning objective, which is proved to have eigenvectors as its unique global minimizer. It enables learning high-quality Laplacian representations that faithfully approximate the ground truth. We validate this via comprehensive experiments on a set of gridworld and continuous control environments. Moreover, we show that our learned Laplacian representations lead to more exploratory options and better reward shaping.
• Abstract（参考訳）: ラプラシアン表現は、状態遷移グラフのラプラシアン行列の固有ベクトルを状態埋め込みとして取り込むことで、状態の簡潔で情報的な表現を提供するため、強化学習の注目を集めている。 このような表現は、基礎となる状態空間の幾何学を捉え、オプション発見や報酬形成のようなRLタスクに有益である。 大規模な(あるいは連続な)状態空間におけるラプラシアン表現を近似するために、近年の研究はスペクトルグラフ描画の目的を最小化することを提案しているが、固有ベクトル以外の大域最小化は無限に多い。 その結果、彼らの学習されたラプラシアン表現は、基礎的真理とは異なるかもしれない。 この問題を解決するために,グラフ描画対象を一般化した形式に再構成し,固有ベクトルを一意な大域的最小値とする新しい学習対象を導出する。 基礎的真理を忠実に近似する高品質なラプラシア表現を学習することができる。 グリッドワールドと継続的制御環境の集合に関する包括的な実験を通じてこれを検証する。 さらに、学習したラプラシア表現がより探索的な選択肢とより良い報酬形成をもたらすことを示す。

関連論文リスト

• Towards Stable, Globally Expressive Graph Representations with Laplacian Eigenvectors [29.055130767451036]
  本稿では,ラプラシアン固有ベクトルを用いて,安定かつグローバルに表現可能なグラフ表現を生成する手法を提案する。 提案手法は, 数値的近接固有値を円滑に処理し, 摂動に対するロバスト性を向上する。
  論文  参考訳（メタデータ） (2024-10-13T06:02:25Z)
• Generalization from Starvation: Hints of Universality in LLM Knowledge Graph Learning [8.025148264640967]
  グラフ学習中にニューラルネットワークが知識をどのように表現するかを検討する。 我々は普遍性のヒントを見つけ、同値表現は様々なモデルサイズで学習される。 これらのアトラクタ表現は、一般化を目に見えない例に最適化することを示す。
  論文  参考訳（メタデータ） (2024-10-10T16:23:42Z)
• Disentangled Representation Learning with the Gromov-Monge Gap [65.73194652234848]
  乱れのないデータから歪んだ表現を学習することは、機械学習における根本的な課題である。 本稿では,2次最適輸送に基づく非交叉表現学習手法を提案する。 提案手法の有効性を4つの標準ベンチマークで示す。
  論文  参考訳（メタデータ） (2024-07-10T16:51:32Z)
• Graph Generation via Spectral Diffusion [51.60814773299899]
  本稿では,1)グラフラプラシア行列のスペクトル分解と2)拡散過程に基づく新しいグラフ生成モデルGRASPを提案する。 具体的には、固有ベクトルと固有値のサンプリングにデノナイジングモデルを用い、グラフラプラシアン行列と隣接行列を再構成する。 我々の置換不変モデルは各ノードの固有ベクトルに連結することでノードの特徴を扱える。
  論文  参考訳（メタデータ） (2024-02-29T09:26:46Z)
• Proper Laplacian Representation Learning [15.508199129490068]
  ラプラシアン表現を近似するための理論的に健全な目的とそれに対応する最適化アルゴリズムを導入する。 これらの結果は,複数の環境にまたがる堅牢な学習に実証的に変換されることを示す。
  論文  参考訳（メタデータ） (2023-10-16T21:14:50Z)
• Geometric Graph Representation Learning via Maximizing Rate Reduction [73.6044873825311]
  学習ノード表現は、コミュニティ検出やノード分類などのグラフ解析において、さまざまな下流タスクの恩恵を受ける。 教師なしの方法でノード表現を学習するための幾何学グラフ表現学習(G2R)を提案する。 G2R は異なるグループ内のノードを異なる部分空間にマッピングし、各部分空間はコンパクトで異なる部分空間が分散される。
  論文  参考訳（メタデータ） (2022-02-13T07:46:24Z)
• A Self-supervised Mixed-curvature Graph Neural Network [76.3790248465522]
  自己教師型混合曲率グラフニューラルネットワーク(SelfMGNN)を提案する。 我々は、SelfMGNNが現実の複雑なグラフ構造をキャプチャし、最先端のベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2021-12-10T08:56:55Z)
• Directed Graph Embeddings in Pseudo-Riemannian Manifolds [0.0]
  一般的な有向グラフは、3つの成分を結合した埋め込みモデルで効果的に表現できることを示す。 本稿では,リンク予測のタスクに適用することで,この手法の表現能力を実証する。
  論文  参考訳（メタデータ） (2021-06-16T10:31:37Z)
• Spatial Pyramid Based Graph Reasoning for Semantic Segmentation [67.47159595239798]
  セマンティックセグメンテーションタスクにグラフ畳み込みを適用し、改良されたラプラシアンを提案する。 グラフ推論は、空間ピラミッドとして構成された元の特徴空間で直接実行される。 計算とメモリのオーバーヘッドの利点で同等のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2020-03-23T12:28:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。