論文の概要: From Connectivity to Rewards: Dense Reward Learning with Directed State Graphs
- arxiv url: http://arxiv.org/abs/2609.10781v1
- Date: Wed, 09 Sep 2026 19:29:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.121206
- Title: From Connectivity to Rewards: Dense Reward Learning with Directed State Graphs
- Title（参考訳）: コネクティビティからリワードへ:ダイレクトステートグラフによるDense Reward Learning
- Abstract要約: 非対称環境におけるペアワイズ状態接続強度を予測するための状態接続モデルを提案する。
提案するフレームワークであるGraph-Guided Quasimetric Reward (G2QDR) が,理論上既存のGoal-Conditioned Reinforcement Learningアーキテクチャに統合可能であることを実証する。
- 参考スコア（独自算出の注目度）: 37.10671332775445
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The integration of graphs with Goal-Conditioned Hierarchical Reinforcement Learning (GCHRL) has received increasing attention, as graphs naturally encode task hierarchies for effective subgoal sampling. However, existing methods often overlook intrinsic connectivity information, failing to fully leverage the underlying topology for efficient learning. Most graph-based GCHRL methods use the graph as a stochastic sampling tool rather than as an environmental model that encodes connectivity and state-accessibility information. This limitation is particularly acute in quasimetric environments, where the inherent asymmetry of state transitions poses a fundamental challenge to stable policy learning and robust path planning. In this paper, we address these problems by introducing a state connectivity model designed to predict pairwise state connectivity strength in asymmetric environments. We transform these connectivity strengths into scalar auxiliary dense rewards, providing continuous guidance across multiple hierarchical levels. We demonstrate that our proposed framework, Graph-Guided Quasimetric Dense Reward (G2QDR), can theoretically be integrated into any existing GCHRL architecture, and the state connectivity model is efficiently implemented via a neural network trained on a directed state graph generated during exploration. Empirical results across a wide range of sparse reward environments indicate that, in general, G2QDR can enhance the performance of baseline GCHRL approaches with acceptable computational overhead.
- Abstract（参考訳）: ゴール・コンディション付き階層強化学習(GCHRL)とグラフの統合は、グラフがタスク階層を自然にエンコードして効果的なサブゴールサンプリングを行うなど、注目されている。
しかし、既存の手法はしばしば固有の接続情報を見落とし、基礎となるトポロジを効果的に学習するために完全に活用することができない。
ほとんどのグラフベースのGCHRL法は、接続性と状態アクセス性情報を符号化する環境モデルとしてではなく、確率的なサンプリングツールとしてグラフを使用する。
この制限は、状態遷移の固有の非対称性が安定な政策学習と堅牢な経路計画に根本的な課題をもたらす準メトリック環境において特に急激である。
本稿では、非対称環境におけるペアワイズ状態接続強度を予測するために設計された状態接続モデルを導入することにより、これらの問題に対処する。
我々はこれらの接続強度をスカラー高密度報酬に変換し、複数の階層レベルにわたって連続的なガイダンスを提供する。
提案するフレームワークであるGraph-Guided Quasimetric Dense Reward (G2QDR)が,理論上既存のGCHRLアーキテクチャに統合可能であることを示す。
幅広いスパース報酬環境における実験結果から、G2QDRは一般に、計算オーバーヘッドを許容できるベースラインGCHRLアプローチの性能を向上させることができる。
関連論文リスト
- Limit Analysis of Graph Neural Networks with Wireless Conflict Graphs [81.39865232674413]
グラフニューラルネットワーク(GNN)は、無線リソース割り当てのための強力なツールとして登場した。
この研究は、スパースランダム幾何グラフ(RGGs)から得られるグラフ上のGNNの転送可能性に関する理論的結果を確立する。
論文 参考訳（メタデータ） (2026-06-02T15:42:14Z) - Position: Graph Condensation Needs a Reset -- Move Beyond Full-dataset Training and Model-Dependence [26.234880574328823]
グラフの凝縮は、現在の形では、リセットが必要であると我々は主張する。
私たちは、フルデータセットのトレーニングとモデルに依存した設計を超えて移行することを呼びかけています。
我々は、凝縮の真の約束を果たすアプローチに向けて、分野を再編成することを目指している。
論文 参考訳（メタデータ） (2026-05-17T07:08:22Z) - Graph Signal Diffusion Models for Wireless Resource Allocation [74.84410305593006]
グラフ構造干渉を用いた無線ネットワークにおける制約付きエルゴディック資源最適化について検討する。
生成した電力割り当ての時間的共有は、ほぼ最適のエルゴディック・サムレートユーティリティとほぼ実現可能なエルゴディック・ミニマルレートを実現する。
論文 参考訳（メタデータ） (2026-04-06T21:12:25Z) - Incorporating Spatial Information into Goal-Conditioned Hierarchical Reinforcement Learning via Graph Representations [37.10671332775445]
目標条件付き強化学習(GCHRL)とグラフの統合は近年注目されている。
既存のアプローチは通常、これらのグラフを構築するためにドメイン固有の知識に依存します。
本稿では,未確認状態を評価するためのグラフエンコーダデコーダの開発による解を提案する。
論文 参考訳（メタデータ） (2025-11-14T00:58:39Z) - Toward Robust Signed Graph Learning through Joint Input-Target Denoising [20.15917072156998]
符号付きグラフニューラルネットワーク(SGNN)は、符号付きグラフと負のリンクの両方で複雑なパターンを解析するために広く採用されている。
本稿では,ロバストグラフ学習のための新しいフレームワーク RIDGE を提案する。
提案手法を4つの有意な符号付きグラフデータセット上で広範囲に検証した結果,RIDGEは各種ノイズレベル下での一般的なSGNNモデルのロバスト性を明確に向上することが示された。
論文 参考訳（メタデータ） (2025-10-26T03:34:40Z) - Fast State-Augmented Learning for Wireless Resource Allocation with Dual Variable Regression [83.27791109672927]
本稿では,資源割当ポリシに対する状態拡張グラフニューラルネットワーク(GNN)のパラメトリゼーションが,ユビキタスな二段階的手法の欠点を回避する方法を示す。
ラグランジアンによる国家拡張政策の最大化は、オフライントレーニングフェーズ中に学習される。
収束結果と指数確率は、双対函数(有限値)最適性ギャップの剰余に縛られることを証明する。
論文 参考訳（メタデータ） (2025-06-23T15:20:58Z) - Learning Efficient and Generalizable Graph Retriever for Knowledge-Graph Question Answering [75.12322966980003]
大規模言語モデル(LLM)は、様々な領域にわたって強い帰納的推論能力を示している。
既存のRAGパイプラインのほとんどは非構造化テキストに依存しており、解釈可能性と構造化推論を制限する。
近年,知識グラフ解答のための知識グラフとLLMの統合について検討している。
KGQAにおける効率的なグラフ検索のための新しいフレームワークであるRAPLを提案する。
論文 参考訳（メタデータ） (2025-06-11T12:03:52Z) - Graph as a feature: improving node classification with non-neural graph-aware logistic regression [2.952177779219163]
Graph-aware Logistic Regression (GLR) はノード分類タスク用に設計された非神経モデルである。
GNNにアクセスできる情報のごく一部しか使わない従来のグラフアルゴリズムとは異なり、提案モデルではノードの特徴とエンティティ間の関係を同時に活用する。
論文 参考訳（メタデータ） (2024-11-19T08:32:14Z) - T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。
実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文 参考訳（メタデータ） (2023-10-05T02:58:29Z) - Mastering Spatial Graph Prediction of Road Networks [18.321172168775472]
グラフエッジの列の追加をシミュレートするグラフベースのフレームワークを提案する。
特に、衛星画像に関連する部分生成グラフが与えられた場合、RLエージェントは累積報酬を最大化する修正を通知する。
論文 参考訳（メタデータ） (2022-10-03T11:26:09Z) - Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。
グラフが現在の勾配を混合する能力を定量化する計量法を提案する。
そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
論文 参考訳（メタデータ） (2022-04-13T15:54:35Z) - Tensor Graph Convolutional Networks for Multi-relational and Robust
Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。
提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文 参考訳（メタデータ） (2020-03-15T02:33:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。