論文の概要: Maximum entropy exploration in contextual bandits with neural networks and energy based models

• arxiv url: http://arxiv.org/abs/2210.06302v1
• Date: Wed, 12 Oct 2022 15:09:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 13:07:58.195483
• Title: Maximum entropy exploration in contextual bandits with neural networks and energy based models
• Title（参考訳）: ニューラルネットワークとエネルギーモデルを用いたコンテキスト帯域における最大エントロピー探索
• Authors: Adam Elwood, Marco Leonardi, Ashraf Mohamed, Alessandro Rozza
• Abstract要約: モデルには2つのクラスがあり、1つはニューラルネットワークを報酬推定器とし、もう1つはエネルギーベースモデルを示す。 両手法は、エネルギーベースモデルが最も優れた性能を持つ、よく知られた標準アルゴリズムより優れていることを示す。 これは、静的および動的設定でよく機能する新しいテクニックを提供し、特に連続的なアクション空間を持つ非線形シナリオに適している。
• 参考スコア（独自算出の注目度）: 63.872634680339644
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contextual bandits can solve a huge range of real-world problems. However, current popular algorithms to solve them either rely on linear models, or unreliable uncertainty estimation in non-linear models, which are required to deal with the exploration-exploitation trade-off. Inspired by theories of human cognition, we introduce novel techniques that use maximum entropy exploration, relying on neural networks to find optimal policies in settings with both continuous and discrete action spaces. We present two classes of models, one with neural networks as reward estimators, and the other with energy based models, which model the probability of obtaining an optimal reward given an action. We evaluate the performance of these models in static and dynamic contextual bandit simulation environments. We show that both techniques outperform well-known standard algorithms, where energy based models have the best overall performance. This provides practitioners with new techniques that perform well in static and dynamic settings, and are particularly well suited to non-linear scenarios with continuous action spaces.
• Abstract（参考訳）: コンテキストバンディットは、現実世界のさまざまな問題を解決することができる。 しかし、それらを解決するための現在の一般的なアルゴリズムは、線形モデルに依存するか、非線型モデルにおける信頼できない不確実性推定に依存する。 人間の認知理論に着想を得て,ニューラルネットワークを利用した最大エントロピー探索手法を導入する。 本研究では,ニューラルネットワークを報酬推定器とするモデルと,アクションに与えられた最適報酬を得る確率をモデル化するエネルギーベースモデルという2種類のモデルを提案する。 静的および動的コンテキストバンディットシミュレーション環境におけるモデルの性能評価を行った。 両手法は、エネルギーベースモデルが最も優れた性能を持つ、よく知られた標準アルゴリズムより優れていることを示す。 これは、静的および動的設定でよく機能する新しいテクニックを提供し、特に連続的なアクション空間を持つ非線形シナリオに適している。

関連論文リスト

• Bridging Model-Based Optimization and Generative Modeling via Conservative Fine-Tuning of Diffusion Models [54.132297393662654]
  本稿では,RLによる報酬モデルの最適化により,最先端拡散モデルを微調整するハイブリッド手法を提案する。 我々は、報酬モデルの補間能力を活用し、オフラインデータにおいて最良の設計を上回るアプローチの能力を実証する。
  論文  参考訳（メタデータ） (2024-05-30T03:57:29Z)
• CoDBench: A Critical Evaluation of Data-driven Models for Continuous Dynamical Systems [8.410938527671341]
  微分方程式を解くための11の最先端データ駆動モデルからなる総合ベンチマークスイートであるCodBenchを紹介する。 具体的には、Viz.、フィードフォワードニューラルネットワーク、ディープオペレータ回帰モデル、周波数ベースのニューラル演算子、トランスフォーマーアーキテクチャの4つの異なるカテゴリを評価する。 我々は、学習におけるオペレータの能力、ゼロショット超解像、データ効率、ノイズに対する堅牢性、計算効率を評価する広範な実験を行う。
  論文  参考訳（メタデータ） (2023-10-02T21:27:54Z)
• A Bayesian Approach to Robust Inverse Reinforcement Learning [54.24816623644148]
  我々は、オフラインモデルに基づく逆強化学習(IRL)に対するベイズ的アプローチを考える。 提案フレームワークは,専門家の報酬関数と環境力学の主観的モデルとを同時推定することにより,既存のオフラインモデルベースIRLアプローチとは異なる。 本分析は, 専門家が環境の高精度なモデルを持つと考えられる場合, 評価政策が堅牢な性能を示すという新たな知見を提示する。
  論文  参考訳（メタデータ） (2023-09-15T17:37:09Z)
• Optimistic Active Exploration of Dynamical Systems [52.91573056896633]
  我々はOPAXと呼ばれる活発な探索のためのアルゴリズムを開発した。 我々は,OPAXを各エピソードで解決可能な最適制御問題に還元する方法を示す。 実験の結果,OPAXは理論的に健全であるだけでなく,新規な下流タスクのゼロショット計画にも有効であることがわかった。
  論文  参考訳（メタデータ） (2023-06-21T16:26:59Z)
• Neural Abstractions [72.42530499990028]
  本稿では,ニューラルネットワークを用いた非線形力学モデルの安全性検証手法を提案する。 提案手法は,既存のベンチマーク非線形モデルにおいて,成熟度の高いFlow*と同等に動作することを示す。
  論文  参考訳（メタデータ） (2023-01-27T12:38:09Z)
• Model Generation with Provable Coverability for Offline Reinforcement Learning [14.333861814143718]
  動的対応ポリシーによるオフライン最適化は、ポリシー学習とアウト・オブ・ディストリビューションの一般化の新しい視点を提供する。 しかし、オフライン環境での制限のため、学習したモデルは実際のダイナミクスを十分に模倣することができず、信頼性の高いアウト・オブ・ディストリビューション探索をサポートできなかった。 本研究では,実力学のカバレッジを最適化するモデルを生成するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-01T08:34:09Z)
• Dream to Explore: Adaptive Simulations for Autonomous Systems [3.0664963196464448]
  ベイズ的非パラメトリック法を適用し,力学系制御の学習に挑戦する。 ガウス過程を用いて潜在世界力学を探索することにより、強化学習で観測される一般的なデータ効率の問題を緩和する。 本アルゴリズムは,ログの変動的下界を最適化することにより,世界モデルと政策を共同で学習する。
  論文  参考訳（メタデータ） (2021-10-27T04:27:28Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。