論文の概要: Deep imagination is a close to optimal policy for planning in large decision trees under limited resources

• arxiv url: http://arxiv.org/abs/2104.06339v1
• Date: Tue, 13 Apr 2021 16:31:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-14 17:04:19.020488
• Title: Deep imagination is a close to optimal policy for planning in large decision trees under limited resources
• Title（参考訳）: 資源制限下の大規模意思決定木計画における深い想像力は最適政策に近い
• Authors: Ruben Moreno-Bote and Chiara Mastrogiuseppe
• Abstract要約: 計画エージェントは、その有限探索能力を最適に割り当てるために、幅(ツリーの各レベルで多くのアクションを探索)と深さ(ツリー内の多くのレベルを探索)のバランスをとる必要がある。 一般的に、最適な政策は、深いレベルに到達できるように、レベル毎にサンプルを割り当てることである。 低い環境と低い容量では、深くサンプリングしないコストで広く枝をサンプリングするのが最善である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many decisions involve choosing an uncertain course of actions in deep and wide decision trees, as when we plan to visit an exotic country for vacation. In these cases, exhaustive search for the best sequence of actions is not tractable due to the large number of possibilities and limited time or computational resources available to make the decision. Therefore, planning agents need to balance breadth (exploring many actions at each level of the tree) and depth (exploring many levels in the tree) to allocate optimally their finite search capacity. We provide efficient analytical solutions and numerical analysis to the problem of allocating finite sampling capacity in one shot to large decision trees. We find that in general the optimal policy is to allocate few samples per level so that deep levels can be reached, thus favoring depth over breadth search. In contrast, in poor environments and at low capacity, it is best to broadly sample branches at the cost of not sampling deeply, although this policy is marginally better than deep allocations. Our results provide a theoretical foundation for the optimality of deep imagination for planning and show that it is a generally valid heuristic that could have evolved from the finite constraints of cognitive systems.
• Abstract（参考訳）: 多くの決定は、休暇のためにエキゾチックな国を訪れる計画のように、深い、広い決定木で不確実な行動を選択することを含む。 この場合、最善の一連のアクションの徹底的な探索は、多くの可能性と決定に利用可能な限られた時間や計算資源のため、扱いが難しい。 したがって、計画エージェントは、有限探索能力を最適に割り当てるために、幅(ツリーの各レベルでの多くのアクションを探索する)と深さ(ツリー内の多くのレベルを探索する)のバランスをとる必要がある。 本研究では, 有限サンプリング容量を最大決定木に割り当てる問題に対して, 効率的な解析解と数値解析を提供する。 概して最適な政策は, 深度に到達できるように, サンプルの割り当てを最小限に抑えることであり, 広帯域探索よりも深度を優先することにある。 対照的に、貧弱な環境や低容量の環境では、深くサンプリングしないコストで枝を広範囲にサンプリングすることが最善であるが、この方針は深い割り当てよりも極端に優れている。 以上より,計画計画における深い想像力の最適性に関する理論的基礎を提供し,認知システムの有限制約から進化した,一般に有効なヒューリスティックであることを示す。

関連論文リスト

• Technical Report: Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
  o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
  論文  参考訳（メタデータ） (2024-11-18T16:15:17Z)
• Learning Deep Tree-based Retriever for Efficient Recommendation: Theory and Method [76.31185707649227]
  効率的なレコメンデーションのために,Deep Tree-based Retriever (DTR)を提案する。 DTRは、トレーニングタスクを、同じレベルでツリーノード上のソフトマックスベースのマルチクラス分類としてフレーム化している。 非リーフノードのラベル付けによって引き起こされる準最適性を緩和するため、損失関数の補正法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T05:09:53Z)
• A Provably Efficient Option-Based Algorithm for both High-Level and Low-Level Learning [54.20447310988282]
  異なる(高低と高低の)時間的抽象化において,後悔最小化アルゴリズムのメタアルゴリズムを交互に提案する。 高いレベルでは、半マルコフ決定プロセス(SMDP)として、固定された低レベルポリシーで、低いレベルでは内部オプションポリシーを固定された高レベルポリシーで学習する。
  論文  参考訳（メタデータ） (2024-06-21T13:17:33Z)
• Depth-Bounded Epistemic Planning [50.42592219248395]
  本稿では,動的てんかん論理に基づく新しい計画法を提案する。 新規性は、計画エージェントの推論の深さを上界bに制限することである。 推論深度の境界b内における解を持つ計画タスクに関して、完全なものであることを示す。
  論文  参考訳（メタデータ） (2024-06-03T09:30:28Z)
• Online Learning of Decision Trees with Thompson Sampling [12.403737756721467]
  決定木は解釈可能な機械学習のための顕著な予測モデルである。 オンライン環境で最適な決定木を生成できるモンテカルロ木探索アルゴリズムを考案した。
  論文  参考訳（メタデータ） (2024-04-09T15:53:02Z)
• Optimal Decision Tree Policies for Markov Decision Processes [7.995360025953931]
  マルコフ決定過程(MPD)におけるサイズ制限決定木の最適化について検討する。 これは、模倣学習の固有の欠点、すなわち、複雑なポリシーが、サイズ制限木を使って表現できないことによるものである。 一般的に、機械学習モデルの性能と解釈可能性の間にはトレードオフがあるが、OMDTは3の深さに制限され、しばしば最適限に近い性能を示す。
  論文  参考訳（メタデータ） (2023-01-30T18:51:02Z)
• Quant-BnB: A Scalable Branch-and-Bound Method for Optimal Decision Trees with Continuous Features [5.663538370244174]
  本稿では,分岐とバウンド(BnB)に基づく新たな離散最適化手法を提案する。 提案アルゴリズムのQuant-BnBは,様々な実データセット上での浅い最適木に対する既存手法と比較して,大幅な高速化を示す。
  論文  参考訳（メタデータ） (2022-06-23T17:19:29Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
  様々な目的に対して最適な決定木を生成する手法を提案する。 また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-06-15T19:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。