論文の概要: Truncating Trajectories in Monte Carlo Policy Evaluation: an Adaptive Approach

• arxiv url: http://arxiv.org/abs/2410.13463v1
• Date: Thu, 17 Oct 2024 11:47:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:18:57.882648
• Title: Truncating Trajectories in Monte Carlo Policy Evaluation: an Adaptive Approach
• Title（参考訳）: モンテカルロ政策評価におけるトラクシング軌道--適応的アプローチ
• Authors: Riccardo Poiani, Nicole Nobili, Alberto Maria Metelli, Marcello Restelli,
• Abstract要約: モンテカルロシミュレーションによる政策評価は多くのMC強化学習(RL)アルゴリズムの中核にある。 本研究では,異なる長さの軌跡を用いた回帰推定器の平均二乗誤差のサロゲートとして品質指標を提案する。 本稿では,Robust and Iterative Data Collection Strategy Optimization (RIDO) という適応アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 51.76826149868971
• License:
• Abstract: Policy evaluation via Monte Carlo (MC) simulation is at the core of many MC Reinforcement Learning (RL) algorithms (e.g., policy gradient methods). In this context, the designer of the learning system specifies an interaction budget that the agent usually spends by collecting trajectories of fixed length within a simulator. However, is this data collection strategy the best option? To answer this question, in this paper, we propose as a quality index a surrogate of the mean squared error of a return estimator that uses trajectories of different lengths, i.e., \emph{truncated}. Specifically, this surrogate shows the sub-optimality of the fixed-length trajectory schedule. Furthermore, it suggests that adaptive data collection strategies that spend the available budget sequentially can allocate a larger portion of transitions in timesteps in which more accurate sampling is required to reduce the error of the final estimate. Building on these findings, we present an adaptive algorithm called Robust and Iterative Data collection strategy Optimization (RIDO). The main intuition behind RIDO is to split the available interaction budget into mini-batches. At each round, the agent determines the most convenient schedule of trajectories that minimizes an empirical and robust version of the surrogate of the estimator's error. After discussing the theoretical properties of our method, we conclude by assessing its performance across multiple domains. Our results show that RIDO can adapt its trajectory schedule toward timesteps where more sampling is required to increase the quality of the final estimation.
• Abstract（参考訳）: モンテカルロ(MC)シミュレーションによる政策評価は、多くのMC強化学習(RL)アルゴリズム(例えばポリシー勾配法)の中核にある。 この文脈において、学習システムのデザイナは、エージェントが通常、シミュレータ内で一定の長さの軌跡を収集することで使用する相互作用予算を指定する。 しかし、このデータ収集戦略は最良の選択肢なのだろうか? この問題に対処するため,本稿では,異なる長さの軌跡,すなわち \emph{truncated} を用いた回帰推定器の平均二乗誤差のサロゲートとして品質指標を提案する。 具体的には、このサロゲートは、固定長軌道スケジュールの準最適性を示す。 さらに、利用可能な予算を順次使用する適応的なデータ収集戦略は、最終見積の誤差を低減するためにより正確なサンプリングを必要とする時間ステップにおいて、大きなトランジションを割り当てることができることを示唆している。 これらの結果に基づいて,ロバストおよび反復データ収集戦略最適化 (RIDO) と呼ばれる適応アルゴリズムを提案する。 RIDOの背後にある主な直感は、利用可能な相互作用予算をミニバッチに分割することである。 各ラウンドにおいて、エージェントは、推定子の誤差の仮定の経験的かつ堅牢なバージョンを最小限に抑える、最も便利な軌道のスケジュールを決定する。 提案手法の理論的特性を議論した後,複数の領域にまたがる性能を評価することで結論を導いた。 以上の結果から,RIDOはその軌道スケジュールを,最終推定値の質を高めるためにより多くのサンプリングを必要とする時間ステップに適応させることができることがわかった。

関連論文リスト

• Cost-Aware Query Policies in Active Learning for Efficient Autonomous Robotic Exploration [0.0]
  本稿では,動作コストを考慮しつつ,ガウス過程回帰のためのALアルゴリズムを解析する。 距離制約を持つ伝統的な不確実性計量は、軌道距離上のルート平均二乗誤差を最小化する。
  論文  参考訳（メタデータ） (2024-10-31T18:35:03Z)
• FLOPS: Forward Learning with OPtimal Sampling [1.694989793927645]
  勾配に基づく計算手法は、最近、クエリとも呼ばれる前方通過のみによる学習に焦点が当てられている。 従来の前方学習はモンテカルロサンプリングによる正確な勾配推定のために各データポイントで膨大なクエリを消費する。 本稿では,評価精度と計算効率のバランスを良くするために,訓練中の各データに対して最適なクエリ数を割り当てることを提案する。
  論文  参考訳（メタデータ） (2024-10-08T12:16:12Z)
• Non-ergodicity in reinforcement learning: robustness via ergodicity transformations [8.44491527275706]
  強化学習(RL)の応用分野は、自律運転、精密農業、金融などである。 この堅牢性の欠如に寄与する根本的な問題は、リターンの期待値に焦点をあてることにある、と私たちは主張する。 本研究では,データからエルゴディディティを学習するアルゴリズムを提案し,その効果を非エルゴディティ環境において実証する。
  論文  参考訳（メタデータ） (2023-10-17T15:13:33Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Offline Policy Evaluation for Reinforcement Learning with Adaptively Collected Data [28.445166861907495]
  我々は,TMISオフライン政策評価(OPE)推定器の理論を開発する。 我々は、その推定誤差に基づいて高確率、インスタンス依存境界を導出する。 また,適応環境での極小最適オフライン学習を復元する。
  論文  参考訳（メタデータ） (2023-06-24T21:48:28Z)
• Provable and Practical: Efficient Exploration in Reinforcement Learning via Langevin Monte Carlo [104.9535542833054]
  我々は、強化学習のためのトンプソンサンプリングに基づくスケーラブルで効果的な探索戦略を提案する。 代わりに、Langevin Monte Carlo を用いて、Q 関数をその後部分布から直接サンプリングする。 提案手法は,Atari57スイートからのいくつかの挑戦的な探索課題において,最先端の深部RLアルゴリズムと比較して,より優れた,あるいは類似した結果が得られる。
  論文  参考訳（メタデータ） (2023-05-29T17:11:28Z)
• Truncating Trajectories in Monte Carlo Reinforcement Learning [48.97155920826079]
  強化学習(RL)において、エージェントは未知の環境で動作し、外部報酬信号の期待累積割引和を最大化する。 我々は,異なる長さの軌跡の収集につながるアプリオリ予算配分戦略を提案する。 軌道の適切な切り離しが性能向上に成功することを示す。
  論文  参考訳（メタデータ） (2023-05-07T19:41:57Z)
• Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision Processes [80.89852729380425]
  そこで本研究では,最小限の最小残差である$tilde O(dsqrtH3K)$を計算効率よく実現したアルゴリズムを提案する。 我々の研究は線形 MDP を用いた最適 RL に対する完全な答えを提供する。
  論文  参考訳（メタデータ） (2022-12-12T18:58:59Z)
• Human-in-the-loop: Provably Efficient Preference-based Reinforcement Learning with General Function Approximation [107.54516740713969]
  本研究は,RL(Human-in-the-loop reinforcement learning)を軌道的嗜好で検討する。 各ステップで数値的な報酬を受ける代わりに、エージェントは人間の監督者から軌道上のペアよりも優先される。 一般関数近似を用いたPbRLの楽観的モデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-23T09:03:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。