論文の概要: Incorporating Spatial Information into Goal-Conditioned Hierarchical Reinforcement Learning via Graph Representations

• arxiv url: http://arxiv.org/abs/2511.10872v1
• Date: Fri, 14 Nov 2025 00:58:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-17 22:42:18.378821
• Title: Incorporating Spatial Information into Goal-Conditioned Hierarchical Reinforcement Learning via Graph Representations
• Title（参考訳）: グラフ表現によるゴール条件付き階層型強化学習への空間情報の導入
• Authors: Shuyuan Zhang, Zihan Wang, Xiao-Wen Chang, Doina Precup,
• Abstract要約: 目標条件付き強化学習(GCHRL)とグラフの統合は近年注目されている。 既存のアプローチは通常、これらのグラフを構築するためにドメイン固有の知識に依存します。 本稿では,未確認状態を評価するためのグラフエンコーダデコーダの開発による解を提案する。
• 参考スコア（独自算出の注目度）: 37.10671332775445
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The integration of graphs with Goal-conditioned Hierarchical Reinforcement Learning (GCHRL) has recently gained attention, as intermediate goals (subgoals) can be effectively sampled from graphs that naturally represent the overall task structure in most RL tasks. However, existing approaches typically rely on domain-specific knowledge to construct these graphs, limiting their applicability to new tasks. Other graph-based approaches create graphs dynamically during exploration but struggle to fully utilize them, because they have problems passing the information in the graphs to newly visited states. Additionally, current GCHRL methods face challenges such as sample inefficiency and poor subgoal representation. This paper proposes a solution to these issues by developing a graph encoder-decoder to evaluate unseen states. Our proposed method, Graph-Guided sub-Goal representation Generation RL (G4RL), can be incorporated into any existing GCHRL method when operating in environments with primarily symmetric and reversible transitions to enhance performance across this class of problems. We show that the graph encoder-decoder can be effectively implemented using a network trained on the state graph generated during exploration. Empirical results indicate that leveraging high and low-level intrinsic rewards from the graph encoder-decoder significantly enhances the performance of state-of-the-art GCHRL approaches with an extra small computational cost in dense and sparse reward environments.
• Abstract（参考訳）: 目標条件付き階層強化学習(GCHRL)とグラフの統合は近年注目されており、中間目標(サブゴール)は、ほとんどのRLタスクの全体的タスク構造を自然に表すグラフから効果的にサンプリングすることができる。 しかし、既存のアプローチは一般的にこれらのグラフを構築するためにドメイン固有の知識に依存し、新しいタスクに適用性を制限する。 他のグラフベースのアプローチは探索中にグラフを動的に生成するが、新しく訪れた状態にグラフの情報を渡すのに問題があるため、グラフを完全に活用するのに苦労する。 さらに、現在のGCHRL法は、サンプルの非効率性や粗末なサブゴール表現といった課題に直面している。 本稿では,未確認状態を評価するためのグラフエンコーダデコーダの開発により,これらの問題の解法を提案する。 提案手法はG4RL(Graph-Guided sub-Goal representation Generation RL)を、主に対称的かつ可逆的な遷移を持つ環境で動作させる場合、既存のGCHRL法に組み込むことができる。 探索中に生成された状態グラフに基づいてトレーニングされたネットワークを用いて,グラフエンコーダ・デコーダを効果的に実装できることを示す。 実験結果から,グラフエンコーダデコーダの高次および低次固有報酬の活用により,高密度かつ疎度な報酬環境における計算コストの増大により,最先端のGCHRLアプローチの性能が著しく向上することが示唆された。

関連論文リスト

• Zero-shot Graph Reasoning via Retrieval Augmented Framework with LLMs [15.558119182035995]
  検索型拡張フレームワーク(GRRAF)を用いた新しい学習不要なグラフ推論手法を提案する。 GRRAFは、大規模な言語モデル(LLM)のコード生成機能とともに、検索拡張生成(RAG)を活用して、幅広いグラフ推論タスクに対処する。 GraphInstructデータセットの実験的評価により、ほとんどのグラフ推論タスクにおいて、GRRAFが100%の精度を達成することが明らかになった。
  論文  参考訳（メタデータ） (2025-09-16T06:58:58Z)
• RGL: A Graph-Centric, Modular Framework for Efficient Retrieval-Augmented Generation on Graphs [58.10503898336799]
  完全なRAGパイプラインをシームレスに統合するモジュラーフレームワークであるRAG-on-Graphs Library(RGL)を紹介した。 RGLは、さまざまなグラフフォーマットをサポートし、必須コンポーネントの最適化実装を統合することで、重要な課題に対処する。 評価の結果,RGLはプロトタイピングプロセスの高速化だけでなく,グラフベースRAGシステムの性能や適用性の向上も図っている。
  論文  参考訳（メタデータ） (2025-03-25T03:21:48Z)
• Revisiting Graph Neural Networks on Graph-level Tasks: Comprehensive Experiments, Analysis, and Improvements [54.006506479865344]
  グラフレベルグラフニューラルネットワーク(GNN)のための統一評価フレームワークを提案する。 このフレームワークは、さまざまなデータセットにわたるGNNを評価するための標準化された設定を提供する。 また,表現性の向上と一般化機能を備えた新しいGNNモデルを提案する。
  論文  参考訳（メタデータ） (2025-01-01T08:48:53Z)
• GC4NC: A Benchmark Framework for Graph Condensation on Node Classification with New Insights [23.709153051985027]
  グラフ凝縮(GC)は、元のグラフの本質的な情報を保持する、はるかに小さなグラフを学習するために設計された新興技術である。 ノード分類における多様なGC手法を評価するための包括的フレームワークである textbfGC4NC を紹介する。 私たちの体系的な評価は、凝縮グラフがどのように振る舞うか、そしてその成功を導く重要な設計選択について、新しい洞察を与えます。
  論文  参考訳（メタデータ） (2024-06-24T15:17:49Z)
• RobGC: Towards Robust Graph Condensation [61.259453496191696]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の目覚ましい能力によって広く注目を集めている。 しかし,大規模グラフの普及は,その計算要求により,GNNトレーニングにとって大きな課題となる。 本稿では,GNNを効率よく学習し,性能を保ちつつ,情報的コンパクトなグラフを生成するために,GC(Graph Condensation)を提案する。
  論文  参考訳（メタデータ） (2024-06-19T04:14:57Z)
• Transforming Graphs for Enhanced Attribute Clustering: An Innovative Graph Transformer-Based Method [8.989218350080844]
  本研究では、グラフクラスタリングのためのグラフトランスフォーマーオートエンコーダ(GTAGC)と呼ばれる革新的な手法を提案する。 Graph Auto-EncoderをGraph Transformerでマージすることで、GTAGCはノード間のグローバルな依存関係をキャプチャできる。 GTAGCのアーキテクチャはグラフの埋め込み、オートエンコーダ構造内のグラフ変換器の統合、クラスタリングコンポーネントを含んでいる。
  論文  参考訳（メタデータ） (2023-06-20T06:04:03Z)
• GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
  グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。 本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-24T02:58:36Z)
• Self-supervised Consensus Representation Learning for Attributed Graph [15.729417511103602]
  グラフ表現学習に自己教師付き学習機構を導入する。 本稿では,新しい自己教師型コンセンサス表現学習フレームワークを提案する。 提案手法はトポロジグラフと特徴グラフの2つの視点からグラフを扱う。
  論文  参考訳（メタデータ） (2021-08-10T07:53:09Z)
• Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
  グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。 しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。 本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
  論文  参考訳（メタデータ） (2020-01-18T09:14:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。