論文の概要: Symbolic Relational Deep Reinforcement Learning based on Graph Neural
Networks and Autoregressive Policy Decomposition
- arxiv url: http://arxiv.org/abs/2009.12462v4
- Date: Fri, 25 Aug 2023 13:31:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-28 18:38:44.863294
- Title: Symbolic Relational Deep Reinforcement Learning based on Graph Neural
Networks and Autoregressive Policy Decomposition
- Title(参考訳): グラフニューラルネットワークと自己回帰政策分割に基づく記号的関係深い強化学習
- Authors: Jarom\'ir Janisch, Tom\'a\v{s} Pevn\'y and Viliam Lis\'y
- Abstract要約: 我々は、自然にオブジェクト、それらの関係、およびオブジェクト中心のアクションの観点で定義される関係問題における強化学習に焦点を当てる。
本稿では、グラフニューラルネットワークと自己回帰ポリシー分解に基づく深いRLフレームワークを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We focus on reinforcement learning (RL) in relational problems that are
naturally defined in terms of objects, their relations, and object-centric
actions. These problems are characterized by variable state and action spaces,
and finding a fixed-length representation, required by most existing RL
methods, is difficult, if not impossible. We present a deep RL framework based
on graph neural networks and auto-regressive policy decomposition that
naturally works with these problems and is completely domain-independent. We
demonstrate the framework's broad applicability in three distinct domains and
show impressive zero-shot generalization over different problem sizes.
- Abstract(参考訳): 対象, 対象関係, 対象中心行動の観点から自然に定義される関係問題における強化学習(RL)に焦点を当てる。
これらの問題は変数状態と作用空間によって特徴づけられ、既存のRL法で必要とされる固定長表現を見つけることは不可能ではないが困難である。
本稿では、グラフニューラルネットワークに基づく深いrlフレームワークと、これらの問題に自然に対処し、完全にドメインに依存しない自己回帰ポリシー分解を提案する。
3つの異なる領域でフレームワークの幅広い適用性を実証し、異なる問題サイズに対して印象的なゼロショットの一般化を示す。
関連論文リスト
- Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。
我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
論文 参考訳(メタデータ) (2024-04-04T06:24:11Z) - Towards an Information Theoretic Framework of Context-Based Offline
Meta-Reinforcement Learning [50.976910714839065]
コンテクストベースのOMRL(COMRL)は,効率的なタスク表現を前提としたユニバーサルポリシーの学習を目的としている。
我々はCOMRLアルゴリズムが,タスク変数$boldsymbolM$と,その潜在表現$boldsymbolZ$の相互情報目的を,様々な近似境界を実装して最適化していることを示す。
理論的な洞察と情報ボトルネックの原理に基づいて、我々はUNICORNと呼ばれる新しいアルゴリズムに到達し、RLベンチマークの幅広い範囲にわたって顕著な一般化を示す。
論文 参考訳(メタデータ) (2024-02-04T09:58:42Z) - Reconciling Spatial and Temporal Abstractions for Goal Representation [0.5409704301731713]
ゴール表現は階層強化学習(HRL)アルゴリズムの性能に影響する。
近年の研究では、時間的に抽象的な環境動態を保った表現が困難な問題の解決に成功していることが示されている。
本稿では,空間的および時間的目標抽象化の両方において,階層の異なるレベルにおいて,新しい3層HRLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-01-18T10:33:30Z) - What Planning Problems Can A Relational Neural Network Solve? [91.53684831950612]
本稿では,計画問題のポリシーを表すリレーショナルニューラルネットワークの回路複雑性解析について述べる。
回路幅と深さの増大に関して,計画問題には3つの一般的なクラスが存在することを示す。
また、政策学習のためのニューラルネットワーク設計におけるこの分析の有用性についても解説する。
論文 参考訳(メタデータ) (2023-12-06T18:47:28Z) - Structure in Deep Reinforcement Learning: A Survey and Open Problems [22.77618616444693]
関数近似のためのディープニューラルネットワーク(DNN)の表現能力に支えられた強化学習(RL)は、多くのアプリケーションでかなりの成功を収めている。
しかし、様々な現実のシナリオに対処する実践性は、多様で予測不可能なダイナミクスによって特徴づけられるが、依然として限られている。
この制限は、データ効率の低下、一般化能力の制限、安全性保証の欠如、解釈可能性の欠如に起因している。
論文 参考訳(メタデータ) (2023-06-28T08:48:40Z) - Deep Explainable Relational Reinforcement Learning: A Neuro-Symbolic
Approach [18.38878415765146]
本稿では,ニューラル世界とシンボリック世界の両方の長所を生かした,説明可能な強化学習(DERRL)を提案する。
DERRLは、シンボリックプランニングからのリレーショナル表現と制約を深層学習と組み合わせて解釈可能なポリシーを抽出する。
これらのポリシーは、それぞれの決定(あるいは行動)がどのように到着するかを説明する論理的なルールの形式です。
論文 参考訳(メタデータ) (2023-04-17T15:11:40Z) - On the Difficulty of Generalizing Reinforcement Learning Framework for
Combinatorial Optimization [6.935838847004389]
現実の応用とグラフ上の組合せ最適化問題(COP)は、コンピュータサイエンスにおける標準的な課題である。
このアプローチの基本原理は、ノードのローカル情報とグラフ構造化データの両方を符号化するグラフニューラルネットワーク(GNN)をデプロイすることである。
我々は,クラウド上のセキュリティ対応電話機のクローン割り当てを古典的二次代入問題 (QAP) として,深層RLモデルが他の難題の解法に一般的に適用可能であるか否かを調査する。
論文 参考訳(メタデータ) (2021-08-08T19:12:04Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Offline Reinforcement Learning from Images with Latent Space Models [60.69745540036375]
オフライン強化学習(RL)とは、環境相互作用の静的データセットからポリシーを学習する問題を指します。
オフラインRLのためのモデルベースアルゴリズムの最近の進歩の上に構築し、それらを高次元の視覚観測空間に拡張する。
提案手法は, 実測可能であり, 未知のPOMDPにおけるELBOの下限の最大化に対応している。
論文 参考訳(メタデータ) (2020-12-21T18:28:17Z) - Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。
ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。
提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文 参考訳(メタデータ) (2020-09-01T09:07:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。