論文の概要: Belief-State Engine: Augmenting LLMs for Principled Planning Under Partial Observability

• arxiv url: http://arxiv.org/abs/2609.10036v1
• Date: Wed, 09 Sep 2026 11:07:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:09.000279
• Title: Belief-State Engine: Augmenting LLMs for Principled Planning Under Partial Observability
• Title（参考訳）: Belief-State Engine: 部分的可観測性の下での原則的計画のためのLLMの拡張
• Abstract要約: 大規模言語モデルエージェントは、幅広いタスクにわたって流動的なアクションシーケンスを生成するが、環境が部分的に観察可能になったら、特徴的な方法で失敗する。 LLMエージェントは、一般的に展開されているように、隠された状態に対する明確な信念を持たない履歴条件のポリシーである。 本稿では,LLM の外部に配置された推論モジュールである Belief-State Engine (BSE) について述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model agents produce fluent action sequences across a wide range of tasks, yet they fail in characteristic ways once the environment becomes partially observable. Ambiguous feedback pushes them into premature commitments. A single informative observation can collapse their uncertainty onto the wrong hypothesis. Policies drift as the history grows. We trace these symptoms to a common structural cause. An LLM agent, as commonly deployed, is a history-conditioned policy with no explicit belief over hidden state. We propose an architectural fix. The Belief-State Engine (BSE) is an inference module placed outside the LLM. It maintains a Bayesian posterior over the latent states of a given POMDP (Partially Observable Markov Decision Process) model, and at each decision step it exposes only that posterior to the LLM. The raw action-observation log is not shown. We set out a minimal four-axiom specification of what a belief-consistent internal state must satisfy, and prove that the LLM paired with the BSE is a sound Markov policy on the belief MDP induced by the underlying POMDP. It therefore inherits the Bellman optimality guarantees of classical POMDP theory, provided the LLM is never exposed to the raw history. We evaluate the architecture on the Tiger POMDP and a red-team attack-graph task, against six baselines: a reactive LLM, Chain-of-Thought, ReAct, a natural-language belief tracker, QMDP, and POMCP. Across both domains, the BSE-augmented agent improves task return, belief calibration, and decision consistency. Ten targeted ablations isolate the contribution of each architectural choice confirms that the effect is not specific to any one model. Code, environment specifications, prompt templates, and seed logs accompany this paper.
• Abstract（参考訳）: 大規模言語モデルエージェントは、幅広いタスクにわたって流動的なアクションシーケンスを生成するが、環境が部分的に観察可能になったら、特徴的な方法で失敗する。 曖昧なフィードバックは、彼らに早急なコミットメントを押し付けます。 単一の情報的観察は、不確実性を誤った仮説に分解することができる。 歴史が成長するにつれて、政策は漂流する。 これらの症状は、共通の構造上の原因に辿り着く。 LLMエージェントは、一般的に展開されているように、隠された状態に対する明確な信念を持たない履歴条件のポリシーである。 アーキテクチャの修正を提案します。 Belief-State Engine (BSE) はLLMの外部に配置された推論モジュールである。 与えられたPOMDP(Partially Observable Markov Decision Process)モデルの潜伏状態に対してベイズ的後部を維持し、各決定ステップでその後部のみをLSMに公開する。 生のアクション・オブザーブレーションログは表示されない。 我々は、信念に一貫性のある内部状態が満たさなければならないことの最小限の4軸仕様を設定し、LLMとBSEが組み合わさったことが、基礎となるPOMDPによって引き起こされる信念のMDPに関する健全なマルコフ政策であることを証明した。 したがって、LLMが生の歴史に晒されることがなければ、古典的POMDP理論のベルマン最適性を保証する。 我々は,Tiger POMDP と Red-team アタックグラフタスクのアーキテクチャを,リアクティブ LLM,Chain-of-Thought,ReAct,自然言語信念トラッカー,QMDP,POMCP の6つのベースラインに対して評価した。 両方の領域で、BSE拡張エージェントはタスクリターン、信念の校正、決定整合性を改善する。 それぞれのアーキテクチャ選択のコントリビューションを分離する10の目標アブリケーションは、その効果が1つのモデルに固有のものではないことを確認します。 コード、環境仕様、プロンプトテンプレート、シードログがこの論文に付随する。

関連論文リスト

• Policy-Invariant Reward Shaping from LLM Feedback: A Framework for Hybrid RL Agents [0.0]
  我々は,LLMプランナとRLコントローラのハイブリッドアーキテクチャをゴール拡張マルコフ決定プロセスとして定式化する。 状態ごとの進捗スコアを有界ポテンシャル関数として用いた場合, LLMのスコアが不正確な場合でも, 結果の整形項が最適方針を保っていることを示す。
  論文  参考訳（メタデータ） (2026-08-18T16:55:46Z)
• Agent-BRACE: Decoupling Beliefs from Actions in Long-Horizon Tasks via Verbalized State Uncertainty [70.43119366710778]
  本稿では,Agens-BRACE: Agent Belief state Representation by Abstraction and Confidence Estimationを紹介する。 LLMエージェントを信頼状態モデルと政策モデルに分離し、強化学習を通じて協調的に最適化する手法である。 長期にわたる部分的に観察可能な言語環境において、平均して+14.5%の絶対的な改善を実現している。
  論文  参考訳（メタデータ） (2026-05-12T02:37:04Z)
• How Much LLM Does a Self-Revising Agent Actually Need? [0.14323566945483496]
  我々は,エージェントの状態,信頼信号,保護された動作,仮説的遷移を検査可能なランタイム構造に外部化する,宣言された反射型ランタイムプロトコルを導入する。 54ゲームで4つの段階的に構造化されたエージェントを用いて,ノイズの多い協調戦闘艦上での評価を行った。
  論文  参考訳（メタデータ） (2026-04-08T16:02:04Z)
• FORESTLLM: Large Language Models Make Random Forest Great on Few-shot Tabular Learning [20.27406245916013]
  本稿では,大規模言語モデル(LLM)の意味的推論能力を用いて,決定林の構造的帰納バイアスを統一する枠組みを提案する。 まずLLMがラベル付きデータとラベルなしデータの両方の一貫性に基づいて候補分割を評価するセマンティックスプリッティング基準を導入し、より堅牢で一般化可能な木構造を数発の監視下で実現する。 第2に,LLMが決定経路とその支持例を簡潔で決定論的な予測に蒸留し,雑音の多い経験的推定を意味的インフォームドアウトプットに置き換える,葉ノード安定化のためのワンタイムインコンテキスト推論機構を提案する。
  論文  参考訳（メタデータ） (2026-01-16T14:08:51Z)
• Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
  データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。 本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
  論文  参考訳（メタデータ） (2025-11-09T03:38:29Z)
• Beyond Prompt-Induced Lies: Investigating LLM Deception on Benign Prompts [79.1081247754018]
  大規模言語モデル(LLM)は、推論、計画、意思決定のタスクに広くデプロイされている。 そこで我々は, 接触探索質問(CSQ)に基づく枠組みを提案し, 騙しの可能性を定量化する。
  論文  参考訳（メタデータ） (2025-08-08T14:46:35Z)
• Language Agents Meet Causality -- Bridging LLMs and Causal World Models [50.79984529172807]
  因果表現学習を大規模言語モデルと統合する枠組みを提案する。 このフレームワークは、自然言語表現に関連付けられた因果変数を持つ因果世界モデルを学ぶ。 本研究では,時間的スケールと環境の複雑さを考慮した因果推論と計画課題の枠組みを評価する。
  論文  参考訳（メタデータ） (2024-10-25T18:36:37Z)
• Evaluating Uncertainty-based Failure Detection for Closed-Loop LLM Planners [10.746821861109176]
  大型言語モデル(LLM)は、ロボットタスクのためのゼロショットタスクプランナーとして、目覚ましいパフォーマンスをみせている。 しかし、以前の研究のオープンループの性質は、LSMベースの計画がエラーを起こしやすく、脆弱である。 本研究では,不確実性に基づくMLLM故障検出装置をベースとした,閉ループLLMに基づくKnowLoop計画のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-01T12:52:06Z)
• Reason for Future, Act for Now: A Principled Framework for Autonomous LLM Agents with Provable Sample Efficiency [53.8779374188643]
  本稿では,推論と行動のオーケストレーションを行うための,証明可能な後悔の保証を備えた原則的枠組みを提案する。 具体的には、メモリバッファから学習する推論のためのプロンプトテンプレートを設計し、長い水平線上で将来の軌道を計画する。 各ステップにおいて、LLMエージェントは計画された軌跡の初期動作("act for now")を受け取り、収集したフィードバックをメモリバッファに格納し、推論ルーチンを再起動して、将来の軌跡を新しい状態から再設計する。
  論文  参考訳（メタデータ） (2023-09-29T16:36:39Z)
• Proximal Reinforcement Learning: Efficient Off-Policy Evaluation in Partially Observed Markov Decision Processes [65.91730154730905]
  医療や教育などの観察データへのオフライン強化学習の適用においては、観察された行動は観測されていない要因に影響される可能性があるという一般的な懸念がある。 ここでは、部分的に観察されたマルコフ決定過程(POMDP)における非政治評価を考慮し、この問題に取り組む。 我々は、近位因果推論の枠組みをPOMDP設定に拡張し、識別が可能となる様々な設定を提供する。
  論文  参考訳（メタデータ） (2021-10-28T17:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。