論文の概要: MDP Homomorphic Networks: Group Symmetries in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2006.16908v2
• Date: Wed, 20 Jan 2021 09:35:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 04:53:48.867255
• Title: MDP Homomorphic Networks: Group Symmetries in Reinforcement Learning
• Title（参考訳）: MDP同型ネットワーク:強化学習におけるグループ対称性
• Authors: Elise van der Pol, Daniel E. Worrall, Herke van Hoof, Frans A. Oliehoek, Max Welling
• Abstract要約: 本稿では,深層強化学習のためのMDP準同型ネットワークを提案する。 MDP準同型ネットワーク(英: MDP homomorphic network)は、MDPの結合状態-作用空間における対称性の下で不変なニューラルネットワークである。 このようなネットワークは,グリッドワールドであるCartPoleとPongの非構造化ネットワークよりも高速に収束することを示す。
• 参考スコア（独自算出の注目度）: 90.20563679417567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces MDP homomorphic networks for deep reinforcement learning. MDP homomorphic networks are neural networks that are equivariant under symmetries in the joint state-action space of an MDP. Current approaches to deep reinforcement learning do not usually exploit knowledge about such structure. By building this prior knowledge into policy and value networks using an equivariance constraint, we can reduce the size of the solution space. We specifically focus on group-structured symmetries (invertible transformations). Additionally, we introduce an easy method for constructing equivariant network layers numerically, so the system designer need not solve the constraints by hand, as is typically done. We construct MDP homomorphic MLPs and CNNs that are equivariant under either a group of reflections or rotations. We show that such networks converge faster than unstructured baselines on CartPole, a grid world and Pong.
• Abstract（参考訳）: 本稿では,深層強化学習のためのMDP準同型ネットワークを提案する。 MDP準同型ネットワーク(英: MDP homomorphic network)は、MDPの結合状態-作用空間における対称性の下で不変なニューラルネットワークである。 深層強化学習への現在のアプローチは、通常そのような構造に関する知識を活用しない。 この事前知識を均衡制約を用いてポリシーと価値のネットワークに組み込むことで、解空間のサイズを小さくすることができる。 特にグループ構造対称性(可逆変換)に焦点を当てる。 さらに,同変ネットワーク層を数値的に構築する簡単な手法を導入することにより,システム設計者が手作業で制約を解く必要がなくなる。 MDP 準同型 MLP と CNN は、反射群あるいは回転群のいずれかの下で同変である。 このようなネットワークは、cartopoleやgrid world、pongなどの非構造化ベースラインよりも高速に収束する。

関連論文リスト

• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• A rank decomposition for the topological classification of neural representations [0.0]
  この研究では、ニューラルネットワークが連続的なピースワイズアフィンマップと等価であるという事実を活用している。 多様体 $mathcalM$ と部分集合 $A$ の商のホモロジー群を研究し、これらの空間上のいくつかの極小性質を仮定する。 ランダムに狭いネットワークでは、データ多様体の(コ)ホモロジー群が変化する領域が存在することを示す。
  論文  参考訳（メタデータ） (2024-04-30T17:01:20Z)
• Equivariant Architectures for Learning in Deep Weight Spaces [54.61765488960555]
  重み空間の学習のための新しいネットワークアーキテクチャを提案する。 入力として、事前訓練された不変量の重みとバイアスの連結をとる。 これらのレイヤを3つの基本的な操作で実装する方法を示す。
  論文  参考訳（メタデータ） (2023-01-30T10:50:33Z)
• Bispectral Neural Networks [1.0323063834827415]
  ニューラルネットワークアーキテクチャBNN(Bispectral Neural Networks)を提案する。 BNNは、群、その既約表現、および対応する同変写像と完全不変写像を同時に学習することができる。
  論文  参考訳（メタデータ） (2022-09-07T18:34:48Z)
• A General Framework For Proving The Equivariant Strong Lottery Ticket Hypothesis [15.376680573592997]
  現代のニューラルネットワークは、単なる翻訳対称性以上のものを組み込むことができる。 我々は、Strong Lottery Ticket hypothesis (SLTH) を群$G$の作用を保存する関数に一般化する。 オーバーパラメータ化$textE(2)$-steerable CNNとメッセージパッシングGNNによって、我々の理論を証明します。
  論文  参考訳（メタデータ） (2022-06-09T04:40:18Z)
• Frame Averaging for Equivariant Shape Space Learning [85.42901997467754]
  形状空間学習に対称性を組み込む自然な方法は、形状空間(エンコーダ)への写像と形状空間(デコーダ)からの写像が関連する対称性に同値であることを問うことである。 本稿では,2つのコントリビューションを導入することで,エンコーダとデコーダの等価性を組み込む枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-03T06:41:19Z)
• Geometric Deep Learning and Equivariant Neural Networks [0.9381376621526817]
  幾何学的深層学習の数学的基礎を調査し,群同変とゲージ同変ニューラルネットワークに着目した。 任意の多様体 $mathcalM$ 上のゲージ同変畳み込みニューラルネットワークを、構造群 $K$ の主バンドルと、関連するベクトルバンドルの切断間の同変写像を用いて開発する。 セマンティックセグメンテーションやオブジェクト検出ネットワークなど,このフォーマリズムのいくつかの応用を解析する。
  論文  参考訳（メタデータ） (2021-05-28T15:41:52Z)
• ResNet-LDDMM: Advancing the LDDMM Framework Using Deep Residual Networks [86.37110868126548]
  本研究では,eulerの離散化スキームに基づく非定常ode(フロー方程式)の解法として,深層残留ニューラルネットワークを用いた。 複雑なトポロジー保存変換の下での3次元形状の多種多様な登録問題について述べる。
  論文  参考訳（メタデータ） (2021-02-16T04:07:13Z)
• Neural Subdivision [58.97214948753937]
  本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。 すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。 単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
  論文  参考訳（メタデータ） (2020-05-04T20:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。