論文の概要: Steering Black-Box Large Language Model Agents with Pitfall Anticipation World Model

• arxiv url: http://arxiv.org/abs/2610.29139v1
• Date: Wed, 21 Oct 2026 03:20:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.189122
• Title: Steering Black-Box Large Language Model Agents with Pitfall Anticipation World Model
• Title（参考訳）: ピットフォール予測世界モデルを用いたブラックボックス大言語モデルエージェントのステアリング
• Abstract要約: Black-box Large Language Model (LLM) エージェントは、長期の推論と正確なアクション生成に熟練している。 ピットフォール予測世界モデル(PAWM)は、潜在的な落とし穴が発生すると選択的に介入し、エージェントをそこから遠ざけるために差し迫った失敗を予測する。 PAWMはClaude Sonnet 4.5のパフォーマンスをScienceWorldで24.3%、WebArena-Liteで7.7%改善し、幅広いベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 20.371824176944717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Frontier black-box Large Language Model (LLM) agents are proficient at long-horizon reasoning and precise action generation. However, when it comes to a specific agentic task, they have no internalized knowledge of how that particular environment unfolds. A world model offers a natural remedy, providing the agent with environment specific knowledge by foreseeing how the environment will respond to the action it is about to take. Prior world models for LLM agents mainly predict next observations at each step, which is costly and often uninformative because individual observations provide limited task-relevant guidance and not every step requires call for foresight. This raises a key question: what a world model should predict and when should it be invoked for agentic tasks? Our pilot study suggests that world model guidance is most useful when it anticipates pitfalls within a bounded multi-step future. Motivated by this, we introduce Pitfall Anticipation World Model (PAWM), which selectively intervenes when a potential pitfall arises and predicts the impending failure to steer the agent away from it. PAWM is trained in two stages: Supervised Fine-Tuning (SFT) on synthetic data labeled with agent pitfalls, followed by GRPO co-training with a black-box LLM to further optimize it in the target environment. PAWM improves Claude Sonnet 4.5 performance by 24.3% on ScienceWorld and 7.7% on WebArena-Lite, outperforming a range of baselines. These results demonstrate that PAWM provides an effective form of world model guidance for black-box LLM agents.
• Abstract（参考訳）: Frontier Black-box Large Language Model (LLM) エージェントは、長距離推論と正確なアクション生成に熟練している。 しかし、特定のエージェント的タスクに関しては、その特定の環境がどのように広がるかについて、内部的に知識を持っていない。 世界モデルは自然の救済を提供し、エージェントは、そのエージェントが取ろうとしている行動に対して、環境がどのように反応するかを予測して、環境特有の知識を提供する。 LLMエージェントの以前の世界モデルは、主に各ステップで次の観測を予測するが、これはコストが高く、しばしば非形式的である。 世界モデルは何を予測するべきで、エージェントタスクのためにいつ呼び出すべきなのか? 我々のパイロット研究は、世界モデルガイダンスが、有界多段階未来における落とし穴を予想する上で最も有用であることを示唆している。 そこで我々は,潜在的な落とし穴が生じた場合に選択的に介入し,エージェントを遠ざけるための差し迫った失敗を予測できる落とし穴予測世界モデル(PAWM)を紹介した。 PAWMは2つの段階で訓練されている: エージェントの落とし穴をラベル付けした合成データにスーパーバイザード・ファイン・チューニング(SFT)を付け、続いてGRPOがブラックボックスのLSMと共同で学習し、ターゲット環境でさらに最適化する。 PAWMはClaude Sonnet 4.5のパフォーマンスをScienceWorldで24.3%、WebArena-Liteで7.7%改善し、幅広いベースラインを上回っている。 これらの結果から,PAWMはブラックボックスLLMエージェントのワールドモデルガイダンスとして有効であることが示された。

関連論文リスト

• Bridging the Agent-World Gap: Text World Models for LLM-based Agents [83.8237017249529]
  大規模言語モデル(LLM)ベースのエージェントは、インタラクティブなテキスト環境においてますます使われている。 多くは反応が強く、これらの環境がどのように構成され、どのように進化するかの明確なモデルなしで、観察を行動にマッピングする。 テキストワールドモデル(TWMs): 状態と候補アクションが与えられたら、結果のWebページ、端末出力、API応答、ユーザ応答を予測する。 LLMをベースとしたエージェントのテキストワールドモデルについて,形式的なフレームワークとエージェントライフサイクルを中心に整理し,体系的にレビューを行った。
  論文  参考訳（メタデータ） (2026-06-08T04:58:52Z)
• VAGEN: Reinforcing World Model Reasoning for Multi-Turn VLM Agents [130.70999337445468]
  言語モデル(LLM)エージェントと比較して、視覚言語モデル(VLM)エージェントを訓練する際の重要な課題は、テキスト状態から複雑な視覚観察に移行することである。 VLMエージェントは、明示的な視覚状態推論によって内部世界モデルを構築することができるか? 我々は、強化学習(RL)を通して、エージェントの推論プロセスを建築的に実施し、報奨する。 エージェントの状態推定と遷移モデリングへの推論が成功に不可欠であることが分かりました。
  論文  参考訳（メタデータ） (2025-10-19T16:05:07Z)
• SimuRA: A World-Model-Driven Simulative Reasoning Architecture for General Goal-Oriented Agents [15.91448165400836]
  SimuRAは汎用エージェント推論のための目標指向アーキテクチャである。 我々は、オープンソースの研究デモとして、SimuRA上に構築されたWebブラウジングエージェントReasonerAgent-Webをリリースした。
  論文  参考訳（メタデータ） (2025-07-31T17:57:20Z)
• WorldPrediction: A Benchmark for High-level World Modeling and Long-horizon Procedural Planning [52.36434784963598]
  我々は、異なるAIモデルのワールドモデリングと手続き計画能力を評価するためのビデオベースのベンチマークであるWorldPredictionを紹介する。 現在のフロンティアモデルでは,WorldPrediction-WMでは57%,WorldPrediction-PPでは38%の精度しか達成できないが,人間は両タスクを完璧に解くことができる。
  論文  参考訳（メタデータ） (2025-06-04T18:22:40Z)
• Web Agents with World Models: Learning and Leveraging Environment Dynamics in Web Navigation [25.26545170310844]
  本稿では,WMA(World-model-augmented, WMA)Webエージェントを提案する。 WebArenaとMind2Webの実験は、私たちの世界モデルが、トレーニングなしでエージェントのポリシー選択を改善していることを示している。
  論文  参考訳（メタデータ） (2024-10-17T05:37:00Z)
• Do Embodied Agents Dream of Pixelated Sheep: Embodied Decision Making using Language Guided World Modelling [101.59430768507997]
  強化学習 (Reinforcement Learning, RL) エージェントは通常、世界の事前の知識なしに、タブラララザを学習する。 抽象世界モデル (AWM) を仮定するために, 少数ショット大言語モデル (LLM) を提案する。 LLMを用いてAWMを仮定し, エージェント経験に基づくAWMの検証を行うことで, 従来手法よりもサンプル効率を桁違いに向上させることができる。
  論文  参考訳（メタデータ） (2023-01-28T02:04:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。