論文の概要: Combining a Meta-Policy and Monte-Carlo Planning for Scalable Type-Based Reasoning in Partially Observable Environments

• arxiv url: http://arxiv.org/abs/2306.06067v1
• Date: Fri, 9 Jun 2023 17:43:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 12:11:40.059619
• Title: Combining a Meta-Policy and Monte-Carlo Planning for Scalable Type-Based Reasoning in Partially Observable Environments
• Title（参考訳）: 半可観測環境におけるスケーラブル型推論のためのメタポリシとモンテカルロ計画の組み合わせ
• Authors: Jonathon Schwartz, Hanna Kurniawati, Marcus Hutter
• Abstract要約: 大規模部分観測可能な環境下での型に基づく推論のためのオンラインモンテカルロ木探索に基づく計画手法を提案する。 POTMMCPは、探索を指導し、信念を評価するための新しいメタ政治を取り入れており、より長い地平線に対してより効果的に探索することができる。 我々は,本手法が最適解に収束していることを示し,オンラインを多様なエージェント群に効果的に適応させることを実証的に実証した。
• 参考スコア（独自算出の注目度）: 21.548271801592907
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The design of autonomous agents that can interact effectively with other agents without prior coordination is a core problem in multi-agent systems. Type-based reasoning methods achieve this by maintaining a belief over a set of potential behaviours for the other agents. However, current methods are limited in that they assume full observability of the state and actions of the other agent or do not scale efficiently to larger problems with longer planning horizons. Addressing these limitations, we propose Partially Observable Type-based Meta Monte-Carlo Planning (POTMMCP) - an online Monte-Carlo Tree Search based planning method for type-based reasoning in large partially observable environments. POTMMCP incorporates a novel meta-policy for guiding search and evaluating beliefs, allowing it to search more effectively to longer horizons using less planning time. We show that our method converges to the optimal solution in the limit and empirically demonstrate that it effectively adapts online to diverse sets of other agents across a range of environments. Comparisons with the state-of-the art method on problems with up to $10^{14}$ states and $10^8$ observations indicate that POTMMCP is able to compute better solutions significantly faster.
• Abstract（参考訳）: 先行調整なしに他のエージェントと効果的に対話できる自律エージェントの設計は、マルチエージェントシステムの中核的な問題である。 型ベースの推論手法は、他のエージェントに対する潜在的な振る舞いのセットに対する信念を維持することでこれを達成する。 しかし、現在の方法は、他のエージェントの状態とアクションの完全な可観測性を仮定したり、より長い計画の地平線を持つより大きな問題に対して効率的にスケールしないという点で制限されている。 これらの制約に対処するため,大規模な部分観測可能環境下でのタイプベース推論のためのオンラインモンテカルロ木探索計画手法であるPOTMMCPを提案する。 POTMMCPは、探索を誘導し、信念を評価するための新しいメタ政治を取り入れており、計画時間を減らすことでより長い地平線を探索することができる。 提案手法が最適解に収束することを示すとともに,様々な環境にまたがる多様なエージェント群に対して,オンラインに効果的に適応できることを実証的に示す。 最大10〜14ドルと10^8ドルという問題に対する最先端の手法との比較は、POTMMCPがより高速な解を計算できることを示唆している。

関連論文リスト

• Efficient Adaptation in Mixed-Motive Environments via Hierarchical Opponent Modeling and Planning [51.52387511006586]
  本稿では,HOP(Hierarchical Opponent Modeling and Planning)を提案する。 HOPは階層的に2つのモジュールから構成される: 相手の目標を推論し、対応する目標条件のポリシーを学ぶ、反対モデリングモジュール。 HOPは、さまざまな未確認エージェントと相互作用する際、優れた少数ショット適応能力を示し、セルフプレイのシナリオで優れている。
  論文  参考訳（メタデータ） (2024-06-12T08:48:06Z)
• Decentralized Monte Carlo Tree Search for Partially Observable Multi-agent Pathfinding [49.730902939565986]
  マルチエージェントパスフィンディング問題は、グラフに閉じ込められたエージェントのグループに対するコンフリクトフリーパスのセットを見つけることである。 本研究では、エージェントが他のエージェントをローカルにのみ観察できる分散MAPF設定に焦点を当てた。 MAPFタスクのための分散マルチエージェントモンテカルロ木探索法を提案する。
  論文  参考訳（メタデータ） (2023-12-26T06:57:22Z)
• Factored Online Planning in Many-Agent POMDPs [8.728372851272727]
  集中型マルチエージェントシステムでは、アクションと観測空間はエージェントの数とともに指数関数的に増加する。 我々はMPOMDPのためのサンプルベースオンラインプランナに重み付き粒子フィルタリングを導入する。 第三に、我々はその信念をスケーラブルに近似する。
  論文  参考訳（メタデータ） (2023-12-18T18:35:30Z)
• AI planning in the imagination: High-level planning on learned abstract search spaces [68.75684174531962]
  我々は,エージェントが訓練中に学習する抽象的な検索空間において,エージェントが計画することを可能にする,PiZeroと呼ばれる新しい手法を提案する。 本研究では,旅行セールスマン問題,ソコバン問題,2048年,施設立地問題,パックマン問題など,複数の分野で評価を行った。
  論文  参考訳（メタデータ） (2023-08-16T22:47:16Z)
• BetaZero: Belief-State Planning for Long-Horizon POMDPs using Learned Approximations [37.29355942795658]
  実世界の計画問題は、部分的に観測可能なマルコフ決定プロセス(POMDP)としてモデル化され、近似手法を用いて解決されている。 高次元のPOMDPを現実的に解くために、最先端の手法では、オンラインプランニングを問題特異的で使用し、計画の地平線を小さくする。 高次元POMDPのための信念状態計画アルゴリズムであるBetaZeroを提案する。
  論文  参考訳（メタデータ） (2023-05-31T23:47:31Z)
• Continuous Monte Carlo Graph Search [61.11769232283621]
  連続モンテカルログラフサーチ(Continuous Monte Carlo Graph Search, CMCGS)は、モンテカルログラフサーチ(MCTS)のオンラインプランニングへの拡張である。 CMCGSは、計画中、複数の州で同じ行動方針を共有することで高いパフォーマンスが得られるという洞察を生かしている。 並列化によってスケールアップすることができ、学習力学モデルによる連続制御においてクロスエントロピー法(CEM)よりも優れている。
  論文  参考訳（メタデータ） (2022-10-04T07:34:06Z)
• Rule-based Shielding for Partially Observable Monte-Carlo Planning [78.05638156687343]
  一部観測可能なモンテカルロ計画(POMCP)への2つの貢献を提案する。 1つ目は、POMCPが選択した予期しない行動を、タスクのエキスパートの事前知識に関して識別する方法です。 2つ目は、POMCPが予期せぬ動作を選択するのを防ぐ遮蔽アプローチである。 我々は,pomdpsの標準ベンチマークであるtigerに対するアプローチと,移動ロボットナビゲーションにおける速度規制に関する実世界問題を評価する。
  論文  参考訳（メタデータ） (2021-04-28T14:23:38Z)
• Scalable Anytime Planning for Multi-Agent MDPs [37.69939216970677]
  動的協調を必要とする大規模マルチエージェント連続的決定問題に対するスケーラブルな木探索計画アルゴリズムを提案する。 提案アルゴリズムは,モンテカルロ木探索 (MCTS) を用いたオンライン計画,協調グラフを用いた局所エージェント相互作用の因子表現,および協調行動選択のための反復マックスプラス法からなる。
  論文  参考訳（メタデータ） (2021-01-12T22:50:17Z)
• Decentralized MCTS via Learned Teammate Models [89.24858306636816]
  本稿では,モンテカルロ木探索に基づくトレーニング可能なオンライン分散計画アルゴリズムを提案する。 深層学習と畳み込みニューラルネットワークを用いて正確なポリシー近似を作成可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-19T13:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。