論文の概要: Improved POMDP Tree Search Planning with Prioritized Action Branching

• arxiv url: http://arxiv.org/abs/2010.03599v1
• Date: Wed, 7 Oct 2020 18:33:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 22:17:25.700785
• Title: Improved POMDP Tree Search Planning with Prioritized Action Branching
• Title（参考訳）: 優先順位付きアクションブランチによるpomdp木探索計画の改善
• Authors: John Mern, Anil Yildiz, Larry Bush, Tapan Mukerji, Mykel J. Kochenderfer
• Abstract要約: 本稿では,PA-POMCPOWとよばれる手法を提案する。 実験により、PA-POMCPOWは、大きな離散的な作用空間を持つ問題において、既存の最先端の解法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 33.94599291823342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online solvers for partially observable Markov decision processes have difficulty scaling to problems with large action spaces. This paper proposes a method called PA-POMCPOW to sample a subset of the action space that provides varying mixtures of exploitation and exploration for inclusion in a search tree. The proposed method first evaluates the action space according to a score function that is a linear combination of expected reward and expected information gain. The actions with the highest score are then added to the search tree during tree expansion. Experiments show that PA-POMCPOW is able to outperform existing state-of-the-art solvers on problems with large discrete action spaces.
• Abstract（参考訳）: 部分可観測マルコフ決定プロセスのためのオンラインソルバは、大きなアクションスペースを持つ問題へのスケーリングが困難である。 本稿では,行動空間のサブセットをサンプルとしてpa-pomcpow(pa-pomcpow)という手法を提案する。 提案手法はまず,期待される報奨と期待される情報ゲインの線形結合であるスコア関数に従って行動空間を評価する。 最高スコアのアクションは、ツリー拡張中に検索ツリーに追加される。 実験により、PA-POMCPOWは、大きな離散的な作用空間を持つ問題において、既存の最先端の解法よりも優れていることが示された。

関連論文リスト

• Technical Report: Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
  o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
  論文  参考訳（メタデータ） (2024-11-18T16:15:17Z)
• LiteSearch: Efficacious Tree Search for LLM [70.29796112457662]
  本研究では,動的ノード選択とノードレベルの探索予算を備えた新しいガイド付き木探索アルゴリズムを提案する。 GSM8KおよびTabMWPデータセットを用いて行った実験により,本手法はベースライン法に比べて計算コストが大幅に低いことを示した。
  論文  参考訳（メタデータ） (2024-06-29T05:14:04Z)
• Efficient Monte Carlo Tree Search via On-the-Fly State-Conditioned Action Abstraction [27.53460927687747]
  状態とサブアクション間の構成構造に基づくアクション抽象化を提案する。 提案手法は,現在状態の遷移に関連するサブアクションをキャプチャする補助ネットワークを用いて,潜時ダイナミクスモデルを学習する。
  論文  参考訳（メタデータ） (2024-06-02T04:31:30Z)
• Amplifying Exploration in Monte-Carlo Tree Search by Focusing on the Unknown [19.664506834858244]
  モンテカルロ木探索(MCTS)は、探索木の有望なセグメントに焦点を合わせるために、戦略的に計算資源を割り当てる。 提案手法はAmEx-MCTSと呼ばれ,新しいMCTSの定式化を導入することでこの問題を解決する。 実験による評価は,AMEx-MCTSの優れた性能を示し,従来のMCTSと関連するアプローチを実質的なマージンで上回っている。
  論文  参考訳（メタデータ） (2024-02-13T15:05:54Z)
• Tree-Planner: Efficient Close-loop Task Planning with Large Language Models [63.06270302774049]
  Tree-Plannerは、大きな言語モデルでタスクプランニングを3つの異なるフェーズに再構成する。 Tree-Plannerは高い効率を維持しながら最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-10-12T17:59:50Z)
• Adaptive Discretization using Voronoi Trees for Continuous POMDPs [7.713622698801596]
  我々は,Voronoi Trees (ADVT) を用いた適応離散化(Adaptive Discretization)と呼ばれる新しいサンプリングベースのオンラインPOMDPソルバを提案する。 モンテカルロ木探索と、作用空間の適応的な離散化と、楽観的な最適化を組み合わせて、高次元連続作用空間を効率的にサンプリングする。 ADVTは、最先端の手法と比較して、高次元の連続的な作用空間よりもかなり良くスケールする。
  論文  参考訳（メタデータ） (2023-02-21T04:47:34Z)
• Adaptive Discretization using Voronoi Trees for Continuous-Action POMDPs [7.713622698801596]
  我々は,Voronoi Trees (ADVT) を用いた適応離散化(Adaptive Discretization)と呼ばれる新しいサンプリングベースのオンラインPOMDPソルバを提案する。 ADVTはモンテカルロ木探索とアクション空間の適応的な離散化と楽観的な最適化を併用する。 4種類のベンチマーク問題のシミュレーション実験により、ADVTは高次元連続行動空間よりも優れ、スケールがかなり優れていることが示されている。
  論文  参考訳（メタデータ） (2022-09-13T05:04:49Z)
• Bayesian Optimized Monte Carlo Planning [34.8909579244631]
  モンテカルロ木探索は、行動空間からサンプリングし、ポリシー探索木を構築することにより、拡張性の向上を試みる。 ベイズ最適化に基づく効率的な行動サンプリング法を提案する。 提案手法はBayesian Optimized Monte Carlo Planningと呼ばれる新しいオンライン木探索アルゴリズムに実装されている。
  論文  参考訳（メタデータ） (2020-10-07T18:29:27Z)
• Planning in Markov Decision Processes with Gap-Dependent Sample Complexity [48.98199700043158]
  マルコフ決定過程における計画のための新しいトラジェクトリに基づくモンテカルロ木探索アルゴリズム MDP-GapE を提案する。 我々は, MDP-GapE に要求される生成モデルに対する呼び出し回数の上限を証明し, 確率の高い準最適動作を同定する。
  論文  参考訳（メタデータ） (2020-06-10T15:05:51Z)
• Parameterizing Branch-and-Bound Search Trees to Learn Branching Policies [76.83991682238666]
  Branch and Bound (B&B) は、Mixed-Integer Linear Programming Problem (MILP) の解法として一般的に用いられる木探索法である。 本稿では,新しい模倣学習フレームワークを提案し,分岐を表現するための新しい入力機能とアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-02-12T17:43:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。