論文の概要: Learning POMDP World Models from Observations with Language-Model Priors

• arxiv url: http://arxiv.org/abs/2605.13740v1
• Date: Wed, 13 May 2026 16:18:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.172014
• Title: Learning POMDP World Models from Observations with Language-Model Priors
• Title（参考訳）: 言語モデル事前観測によるPOMDP世界モデル学習
• Authors: Valentin Six, Frederik Panse, Mathis Fajeau, Lancelot Da Costa, Mridul Sharma, Alfonso Amayuelas, Tim Z. Xiao, David Hyland, Philipp Hennig, Bernhard Schölkopf,
• Abstract要約: 部分的に観測可能なマルコフ決定プロセス(POMDP)は、内部世界モデルのための柔軟なモデリングクラスを提供する。 先行知識を活用することで,言語モデルがコストのかかる相互作用を低減できるかどうかを問う。 我々は,emphPinductor が LLM ベースの POMDP 学習手法の性能とサンプル効率に一致することを示す。
• 参考スコア（独自算出の注目度）: 52.11151769796862
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Whether navigating a building, operating a robot, or playing a game, an agent that acts effectively in an environment must first learn an internal model of how that environment works. Partially-observable Markov decision processes (POMDPs) provide a flexible modeling class for such internal world models, but learning them from observation-action trajectories alone is challenging and typically requires extensive environment interaction. We ask whether language-model priors can reduce costly interaction by leveraging prior knowledge, and introduce \emph{Pinductor} (POMDP-inductor): an LLM proposes candidate POMDP models from a few observation-action trajectories and iteratively refines them to optimize a belief-based likelihood score. Despite using strictly less information, \emph{Pinductor} matches the performance and sample efficiency of LLM-based POMDP learning methods that assume privileged access to the hidden state, while significantly surpassing the sample efficiency of tabular POMDP baselines. Further results show that performance scales with LLM capability and degrades gracefully as semantic information about the environment is withheld. Together, these results position language-model priors as a practical tool for sample-efficient world-model learning under partial observability, and a step toward generalist agents in real-world environments. Code is available at https://github.com/atomresearch/pinductor.
• Abstract（参考訳）: 建物をナビゲートしたり、ロボットを操作したり、ゲームをしたり、環境の中で効果的に行動するエージェントは、まずその環境がどのように動作するかの内部モデルを学ぶ必要がある。 部分的に観測可能なマルコフ決定プロセス(POMDP)は、そのような内部世界モデルに対して柔軟なモデリングクラスを提供するが、観察と行動の軌跡からのみ学習することは困難であり、通常は広範囲の環境相互作用を必要とする。 LLMは,いくつかの観測行動軌跡から候補となるPOMDPモデルを提案し,それを反復的に改良し,信念に基づく測度スコアを最適化する。 厳密に少ない情報を使用するにもかかわらず、 'emph{Pinductor} は隠れ状態への特権的アクセスを前提とした LLM ベースの POMDP 学習手法の性能とサンプル効率とを一致させ、表形式の POMDP ベースラインのサンプル効率を大幅に上回っている。 さらに,環境に関する意味情報が保持されないため,LLM能力による性能尺度が優雅に低下することが示唆された。 これらの結果は,部分観測可能性下でのサンプル効率のよい世界モデル学習の実践的ツールとして,言語モデル先行を位置づけるとともに,実環境におけるジェネラリストエージェントへの一歩を踏み出した。 コードはhttps://github.com/atomresearch/pinductor.comから入手できる。

関連論文リスト

• Reinforcement World Model Learning for LLM-based Agents [60.65003139516272]
  強化世界モデル学習(Reinforcement World Model Learning, RWML)は、LDMをベースとしたエージェントのための行動教師付き世界モデルを学ぶ自己条件付き手法である。 本手法は, モデルが生成したシミュレーションされた次の状態と, 環境から観測された次の状態とを一致させる。 本手法をALFWorldと2ドルのBenchで評価し,完全に自己管理されているにもかかわらず,ベースモデルに対する大幅な利得を観測した。
  論文  参考訳（メタデータ） (2026-02-05T16:30:08Z)
• Sample-Efficient Online Learning in LM Agents via Hindsight Trajectory Rewriting [92.57796055887995]
  本稿では,言語モデルエージェントの強化学習から後視体験のリプレイに適応するプロンプトフレームワークECHOを紹介する。 ECHOは失敗した試みで達成できた代替目標のために最適化された軌道を生成する。 我々は、テキストベースのナビゲーションと計画ベンチマークであるXMiniGridのステートフルバージョンと、協調的な情報収集企業シミュレーションであるPeopleJoinQAについて、ECHOを評価した。
  論文  参考訳（メタデータ） (2025-10-11T18:11:09Z)
• Large Language Models as Universal Predictors? An Empirical Study on Small Tabular Datasets [0.0]
  大規模言語モデル(LLM)は、下流タスクを明示的に微調整することなく、構造化された入力に対して予測タスクを実行することができる。 分類,回帰,クラスタリングタスクのための小規模構造化データセット上でのLCMの実証関数近似能力について検討した。 以上の結果から,LLMは構造化データの汎用的予測エンジンとして機能する可能性が示唆された。
  論文  参考訳（メタデータ） (2025-08-24T15:00:51Z)
• World Modelling Improves Language Model Agents [11.081954466884392]
  DyMoは、トレーニング後の関数呼び出しと並行して、状態予測機能を備えた大きな言語モデルを拡張する方法である。 バークレー・コールリング・リーダーボードV2では、DyMoは成功率を改善し、幻覚を著しく減少させる。
  論文  参考訳（メタデータ） (2025-06-03T14:20:59Z)
• MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering [57.156093929365255]
  自律型大規模言語モデル(LLM)エージェントを体系的に強化し、評価し、改善するためのガイムスタイルのフレームワーク。 MLE-Dojoは、現実的なエンジニアリングシナリオを反映した、多様でオープンなMLEタスクを慎重にキュレートする。 完全に実行可能な環境は、教師付き微調整と強化学習の両方を通して包括的なエージェントトレーニングをサポートする。
  論文  参考訳（メタデータ） (2025-05-12T17:35:43Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。