論文の概要: Making Sense of Reinforcement Learning and Probabilistic Inference

• arxiv url: http://arxiv.org/abs/2001.00805v3
• Date: Wed, 4 Nov 2020 18:12:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-14 17:27:31.660872
• Title: Making Sense of Reinforcement Learning and Probabilistic Inference
• Title（参考訳）: 強化学習のセンスと確率的推論
• Authors: Brendan O'Donoghue, Ian Osband, Catalin Ionescu
• Abstract要約: 強化学習(RL)は、制御問題と統計的推定を組み合わせたものである。 推論の近似として人気の高いRLは、非常に基本的な問題でさえも性能が良くないことを示す。 わずかな修正で、このフレームワークは、確実に性能を発揮できるアルゴリズムを生成できることを示す。
• 参考スコア（独自算出の注目度）: 15.987913388420667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) combines a control problem with statistical estimation: The system dynamics are not known to the agent, but can be learned through experience. A recent line of research casts `RL as inference' and suggests a particular framework to generalize the RL problem as probabilistic inference. Our paper surfaces a key shortcoming in that approach, and clarifies the sense in which RL can be coherently cast as an inference problem. In particular, an RL agent must consider the effects of its actions upon future rewards and observations: The exploration-exploitation tradeoff. In all but the most simple settings, the resulting inference is computationally intractable so that practical RL algorithms must resort to approximation. We demonstrate that the popular `RL as inference' approximation can perform poorly in even very basic problems. However, we show that with a small modification the framework does yield algorithms that can provably perform well, and we show that the resulting algorithm is equivalent to the recently proposed K-learning, which we further connect with Thompson sampling.
• Abstract（参考訳）: 強化学習(rl)は、制御問題と統計的推定を組み合わせる: システムのダイナミクスはエージェントには知られておらず、経験を通じて学べる。 最近の研究では、'rl as inference' をキャスティングし、確率的推論として rl 問題を一般化するためのフレームワークを提案する。 本稿は,RLを推論問題として整合的にキャストできる感覚を明らかにするために,そのアプローチにおける重要な欠点を提示する。 特に、RLエージェントは、その行動が将来の報酬や観察に与える影響を考慮しなければならない。 最も単純な設定以外は、実際のRLアルゴリズムが近似に頼らなければならないように、結果として生じる推論は計算的に難解である。 一般の'RL as inference'近似は、非常に基本的な問題でさえも性能が良くないことを示す。 しかし,小さな修正で実現可能なアルゴリズムが得られることを示すとともに,そのアルゴリズムが最近提案されているk学習と等価であることを示し,さらにトンプソンサンプリングと結びつける。

関連論文リスト

• Zero-Sum Positional Differential Games as a Framework for Robust Reinforcement Learning: Deep Q-Learning Approach [2.3020018305241337]
  本稿では、位置微分ゲーム理論におけるRRL問題を考慮した最初の提案である。 すなわち、イザックの条件の下では、同じQ-函数をミニマックス方程式とマクシミン・ベルマン方程式の近似解として利用することができる。 本稿ではIssas Deep Q-Networkアルゴリズムについて,他のベースラインRRLやMulti-Agent RLアルゴリズムと比較して,その優位性を示す。
  論文  参考訳（メタデータ） (2024-05-03T12:21:43Z)
• Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
  PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。 本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:00:09Z)
• One-Step Distributional Reinforcement Learning [10.64435582017292]
  簡単な一段階分散強化学習(OS-DistrRL)フレームワークを提案する。 当社のアプローチには,政策評価と統制の両面での統一理論があることが示されている。 ほぼ確実に収束解析を行う2つのOS-DistrRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-27T06:57:00Z)
• RACCER: Towards Reachable and Certain Counterfactual Explanations for Reinforcement Learning [2.0341936392563063]
  本稿では,RLエージェントの動作に対する反実的説明を生成するための,RACCERを提案する。 木探索を用いて、定義された特性に基づいて最も適切なカウンターファクトを見つける。 我々はRACCERを2つのタスクで評価し、また、RL固有の対策がエージェントの行動をよりよく理解するのに役立つことを示す。
  論文  参考訳（メタデータ） (2023-03-08T09:47:00Z)
• Contrastive UCB: Provably Efficient Contrastive Self-Supervised Learning in Online Reinforcement Learning [92.18524491615548]
  対照的な自己指導型学習は、(深層)強化学習(RL)の実践にうまく統合されている 我々は,低ランク遷移を伴うマルコフ決定過程(MDP)とマルコフゲーム(MG)のクラスにおいて,コントラスト学習によってRLをどのように強化できるかを検討する。 オンライン環境下では,MDPやMGのオンラインRLアルゴリズムと対照的な損失を生かした,新しい高信頼境界(UCB)型アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-29T17:29:08Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)
• Exploratory State Representation Learning [63.942632088208505]
  本稿では,XSRL(eXploratory State Representation Learning)と呼ばれる新しい手法を提案する。 一方、コンパクトな状態表現と、その表現から不可解な情報を除去するために使用される状態遷移推定器を共同で学習する。 一方、逆モデルを継続的に訓練し、このモデルの予測誤差に$k$-stepの学習促進ボーナスを加え、発見ポリシーの目的を形成する。
  論文  参考訳（メタデータ） (2021-09-28T10:11:07Z)
• Combining Pessimism with Optimism for Robust and Efficient Model-Based Deep Reinforcement Learning [56.17667147101263]
  実世界のタスクでは、強化学習エージェントはトレーニング中に存在しない状況に遭遇する。 信頼性を確保するため、RLエージェントは最悪の状況に対して堅牢性を示す必要がある。 本稿では,Robust Hallucinated Upper-Confidence RL (RH-UCRL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-18T16:50:17Z)
• Reinforcement Learning with Algorithms from Probabilistic Structure Estimation [9.37335587960084]
  強化学習アルゴリズムは未知の環境で最適な決定を学習することを目的としている。 エージェントのアクションが環境に影響を及ぼすかどうかは、当初から不明である。 どのRLアルゴリズムが最も適しているかを決定することはしばしば不可能です。
  論文  参考訳（メタデータ） (2021-03-15T09:51:34Z)
• DisCor: Corrective Feedback in Reinforcement Learning via Distribution Correction [96.90215318875859]
  ブートストラップに基づくQ-ラーニングアルゴリズムは必ずしも修正フィードバックの恩恵を受けないことを示す。 本稿では,この最適分布に対する近似を計算し,トレーニングに使用する遷移の重み付けに使用する新しいアルゴリズムであるDisCorを提案する。
  論文  参考訳（メタデータ） (2020-03-16T16:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。