論文の概要: Belief Embedding Tree Search

• arxiv url: http://arxiv.org/abs/2610.15046v1
• Date: Sat, 10 Oct 2026 16:36:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.145265
• Title: Belief Embedding Tree Search
• Title（参考訳）: 木探索を取り入れた信仰
• Abstract要約: POMDPの計画では、信念に関するマルコフ決定プロセス(MDP)を計画している。 Belief Embedding Tree Search (BETS) はモンテカルロのプランナーであり、各ノードの信念を表す。 BETSは、その信念モデルと、その方針と価値ネットワークを経験を通じて訓練し、POMDPの隠れ状態が、信念モデルのトレーニングターゲットとして実現された。
• 参考スコア（独自算出の注目度）: 17.582276329065127
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Beliefs in a Partially Observable Markov Decision Process (POMDP) are posterior distributions over the hidden state given the agent's history of actions and observations. They summarize everything the history says about the state, so planning in a POMDP is planning in a Markov decision process (MDP) over beliefs. Belief MDPs have continuous state spaces even for finite POMDPs, and exact planning in them is intractable in general. Planners must therefore approximate beliefs and estimate values. Monte Carlo planners do both inside a search tree, with an approximate belief at every node and a value estimate at every leaf. Approximations usually consist of sets of sampled states, with leaf values coming from rollouts, hand-designed bounds, or learned networks. Policies and values computed from these approximations are limited by their quality, and prior methods with learned networks rely on hand-chosen summaries of the sampled states. A belief representation should be computable from the parent node's representation through the POMDP's dynamics, let the search sample from it, and be learned so that it provides the information that policies and value functions need. We present Belief Embedding Tree Search (BETS), a Monte Carlo planner that meets these requirements by representing each node's belief with a generative distribution embedding (GDE) while updating it through the POMDP dynamics. BETS trains its belief model alongside its policy and value networks through experience, with the realized hidden state of the POMDP as the belief model's training target. We evaluate BETS on six configurations of RockSample, LightDark, and PocMan against BetaZero and three planners without learned components. BETS is competitive or leading on all six, while every baseline falls far behind on at least one. Where beliefs are highest-dimensional, it outperforms them by a large margin, even without search.
• Abstract（参考訳）: 部分観察可能なマルコフ決定過程(POMDP)の信念は、エージェントの行動と観察の歴史を考えると、隠れた状態の後方分布である。 彼らは歴史が国家について言っていることを全て要約しているので、PMDPの計画では、信念に関するマルコフ決定プロセス(MDP)を計画している。 信念 MDP は有限 POMDP に対しても連続的な状態空間を持ち、それらの中の正確な計画は一般に難解である。 したがって、プランナーは信念と推定値を近似する必要がある。 モンテカルロプランナーは、探索木の中で、各ノードにおける近似的信念と各葉における値推定の両方を行う。 近似は通常、サンプル状態の集合で構成され、葉の値はロールアウト、手書き境界、学習ネットワークから来る。 これらの近似から計算されたポリシと値は、その品質によって制限され、学習ネットワークを用いた以前の手法は、サンプル状態のハンド・チョーゼン・サマリーに依存していた。 信念表現は、POMDPのダイナミクスを通して親ノードの表現から計算可能であり、そこから探索サンプルを出し、ポリシーと値関数が必要とする情報を提供するように学習すべきである。 我々はモンテカルロのプランナーであるBelief Embedding Tree Search (BETS)を,POMDPのダイナミックスを通じて更新しながら生成分布埋め込み (GDE) を用いて各ノードの信念を表現し,これらの要件を満たす。 BETSは、その信念モデルと、その方針と価値ネットワークを経験を通じて訓練し、POMDPの隠れ状態が、信念モデルのトレーニングターゲットとして実現された。 BETSをRockSample, LightDark, PocManの6つの構成でBetaZeroと学習部品を持たない3人のプランナーに対して評価した。 BETSは競争力があるか6つすべてをリードするが、すべてのベースラインは少なくとも1つよりもはるかに遅れている。 信念が最高次元である場合、それは探索なしでも大きなマージンでそれらを上回ります。

関連論文リスト

• Belief-State Engine: Augmenting LLMs for Principled Planning Under Partial Observability [0.0]
  大規模言語モデルエージェントは、幅広いタスクにわたって流動的なアクションシーケンスを生成するが、環境が部分的に観察可能になったら、特徴的な方法で失敗する。 LLMエージェントは、一般的に展開されているように、隠された状態に対する明確な信念を持たない履歴条件のポリシーである。 本稿では,LLM の外部に配置された推論モジュールである Belief-State Engine (BSE) について述べる。
  論文  参考訳（メタデータ） (2026-09-09T11:07:47Z)
• World Models Meet Language Models: On the Complementarity of Concrete and Abstract Reasoning [67.93052893044603]
  本研究では,抽象的推論を伴う視覚的未来のシミュレーションを,モデルがどのように実行し,検証し,統合するかを考察する。 PF-OPSDは、教師側の特権的文脈としてのみ、地道な未来のビデオと回答を使用して、政治上の具体的な軌道を評価する。
  論文  参考訳（メタデータ） (2026-06-02T13:07:49Z)
• Agent-BRACE: Decoupling Beliefs from Actions in Long-Horizon Tasks via Verbalized State Uncertainty [70.43119366710778]
  本稿では,Agens-BRACE: Agent Belief state Representation by Abstraction and Confidence Estimationを紹介する。 LLMエージェントを信頼状態モデルと政策モデルに分離し、強化学習を通じて協調的に最適化する手法である。 長期にわたる部分的に観察可能な言語環境において、平均して+14.5%の絶対的な改善を実現している。
  論文  参考訳（メタデータ） (2026-05-12T02:37:04Z)
• Action-Gradient Monte Carlo Tree Search for Non-Parametric Continuous (PO)MDPs [7.170248667518935]
  Action-Gradient Monte Carlo Tree Search (AGMCTS)は、非パラメトリック粒子探索とPOMDPのオンライン勾配改善をブレンドする最初のプランナーである。 AGMCTSは、広く使われているサンプルのみの解法よりも、ソリューションの品質が優れている。
  論文  参考訳（メタデータ） (2025-03-15T15:51:06Z)
• Rollout Heuristics for Online Stochastic Contingent Planning [6.185979230964809]
  部分的に観測可能なモンテカルロ計画(英語版)は、次の行動を決定するオンラインアルゴリズムである。 POMDPは、良い見積もりを計算するためのロールアウトポリシーに大きく依存している。 本稿では,PMDPを緊急計画問題としてモデル化する。
  論文  参考訳（メタデータ） (2023-10-03T18:24:47Z)
• Intermittently Observable Markov Decision Processes [17.75610745277615]
  本稿では,制御者が信頼できない通信チャネルを通じてプロセスの状態情報を知覚するシナリオについて考察する。 地平線全体にわたる状態情報の伝達はベルヌーイ損失過程としてモデル化される。 木MDPに対する2つの有限状態近似を開発し,その近似を効率的に求める。
  論文  参考訳（メタデータ） (2023-02-23T03:38:03Z)
• QuTE: decentralized multiple testing on sensor networks with false discovery rate control [93.1040521878626]
  本稿では、偽発見率(FDR)の証明可能な保証を備えたグラフ上での分散多重仮説検定法を設計する。 異なるエージェントが無向グラフのノードに存在し、各エージェントはそのノードに局所的な1つ以上の仮説に対応するp値を持つ。 各エージェントは、グラフ全体の大域的FDRが予め定義されたレベルで制御されなければならないという共同目的のもと、隣人とのみ通信することで、それぞれのローカル仮説の1つ以上の拒絶を個別に決めなければならない。
  論文  参考訳（メタデータ） (2022-10-09T19:48:39Z)
• Proximal Reinforcement Learning: Efficient Off-Policy Evaluation in Partially Observed Markov Decision Processes [65.91730154730905]
  医療や教育などの観察データへのオフライン強化学習の適用においては、観察された行動は観測されていない要因に影響される可能性があるという一般的な懸念がある。 ここでは、部分的に観察されたマルコフ決定過程(POMDP)における非政治評価を考慮し、この問題に取り組む。 我々は、近位因果推論の枠組みをPOMDP設定に拡張し、識別が可能となる様々な設定を提供する。
  論文  参考訳（メタデータ） (2021-10-28T17:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。