論文の概要: Reinforcement Learning with Tensor Networks: Application to Dynamical
Large Deviations
- arxiv url: http://arxiv.org/abs/2209.14089v1
- Date: Wed, 28 Sep 2022 13:33:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 18:25:13.567810
- Title: Reinforcement Learning with Tensor Networks: Application to Dynamical
Large Deviations
- Title(参考訳): テンソルネットワークによる強化学習:動的大偏差への応用
- Authors: Edward Gillman, Dominic C. Rose and Juan P. Garrahan
- Abstract要約: テンソルネットワーク(TN)と強化学習(RL)を統合するためのフレームワークを提案する。
我々は,RL問題に対するモデルフリーアプローチであるアクター批判法を考察し,そのポリシーと値関数の近似としてTNを導入する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a framework to integrate tensor network (TN) methods with
reinforcement learning (RL) for solving dynamical optimisation tasks. We
consider the RL actor-critic method, a model-free approach for solving RL
problems, and introduce TNs as the approximators for its policy and value
functions. Our "actor-critic with tensor networks" (ACTeN) method is especially
well suited to problems with large and factorisable state and action spaces. As
an illustration of the applicability of ACTeN we solve the exponentially hard
task of sampling rare trajectories in two paradigmatic stochastic models, the
East model of glasses and the asymmetric simple exclusion process (ASEP), the
latter being particularly challenging to other methods due to the absence of
detailed balance. With substantial potential for further integration with the
vast array of existing RL methods, the approach introduced here is promising
both for applications in physics and to multi-agent RL problems more generally.
- Abstract(参考訳): 本稿では、動的最適化タスクを解くために、テンソルネットワーク(TN)と強化学習(RL)を統合するフレームワークを提案する。
我々は,RL問題に対するモデルフリーアプローチであるアクター批判法を考察し,そのポリシーと値関数の近似としてTNを導入する。
acten(actor-critic with tensor networks)法は,大規模かつ因果的状態と動作空間の問題に特に適している。
アクテンの適用可能性を示す例として、ガラスの東モデルと非対称単純排他過程(asep)という2つのパラダイム的確率モデルにおいて、希少な軌跡をサンプリングするという指数関数的に難しいタスクを解決する。
既存のRL法とさらなる統合の可能性があり、ここで導入されたアプローチは物理学の応用とマルチエージェントのRL問題をより一般的に実現することを約束している。
関連論文リスト
- Entropy-Regularized Token-Level Policy Optimization for Large Language
Models [76.02428537504323]
大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。
本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。
その結果,ETPO は CodeLlama-7B モデルで有効な性能向上を実現し,RLHF から受け継いだ変種 PPO ベースラインを超越していることがわかった。
論文 参考訳(メタデータ) (2024-02-09T07:45:26Z) - Image-to-Image Translation with Deep Reinforcement Learning [52.505221275786056]
画像から画像への変換(I2IT)手法は,ディープラーニング(DL)モデルの単一実行時に画像を生成する。
深部強化学習(DRL)によるステップワイド意思決定問題としてI2ITを再構成する。
RLベースのI2IT(RL-I2IT)を実現する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-24T15:40:40Z) - Learning a model is paramount for sample efficiency in reinforcement
learning control of PDEs [5.488334211013093]
RLエージェントの訓練と並行して動作モデルを学ぶことで,実システムからサンプリングしたデータ量を大幅に削減できることを示す。
また、RLトレーニングのバイアスを避けるために、モデルを反復的に更新することが重要であることも示している。
論文 参考訳(メタデータ) (2023-02-14T16:14:39Z) - Improving Generalization of Deep Reinforcement Learning-based TSP
Solvers [19.29028564568974]
本稿では,ディープラーニングアーキテクチャとDRL学習方法を含むMAGICという新しいアプローチを提案する。
マルチレイヤパーセプトロン,グラフニューラルネットワーク,アテンションモデルを統合したアーキテクチャでは,旅行セールスマンソリューションを逐次生成するポリシを定義している。
1) DRLポリシー更新をローカル検索とインターリーブし(新しいローカル検索技術を用いて)、(2) 新たなシンプルなベースラインを使用し、(3) 勾配学習を適用した。
論文 参考訳(メタデータ) (2021-10-06T15:16:19Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳(メタデータ) (2021-07-08T18:01:02Z) - Reinforcement Learning as One Big Sequence Modeling Problem [84.84564880157149]
強化学習(Reinforcement Learning, RL)は、通常、単一ステップポリシーや単一ステップモデルの推定に関係している。
我々は、RLをシーケンスモデリング問題とみなし、高い報酬のシーケンスにつながる一連のアクションを予測することを目標としている。
論文 参考訳(メタデータ) (2021-06-03T17:58:51Z) - Constrained Model-based Reinforcement Learning with Robust Cross-Entropy
Method [30.407700996710023]
本稿では,制約違反に対するスパースインジケータ信号を用いた制約/安全強化学習問題について検討する。
本稿では,ニューラルネットワークアンサンブルモデルを用いて予測の不確実性を推定し,モデル予測制御を基本制御フレームワークとして利用する。
その結果,本手法は現状のベースラインよりもはるかに少ない制約違反数でタスクを完了させることが判明した。
論文 参考訳(メタデータ) (2020-10-15T18:19:35Z) - SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep
Reinforcement Learning [102.78958681141577]
SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。
SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
論文 参考訳(メタデータ) (2020-07-09T17:08:44Z) - Deep Unfolding Network for Image Super-Resolution [159.50726840791697]
本稿では,学習に基づく手法とモデルに基づく手法の両方を活用する,エンドツーエンドのトレーニング可能なアンフォールディングネットワークを提案する。
提案するネットワークは, モデルベース手法の柔軟性を継承し, 一つのモデルを用いて, 異なるスケール要因に対する, 曖昧でノイズの多い画像の超解像化を行う。
論文 参考訳(メタデータ) (2020-03-23T17:55:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。