論文の概要: PhantomEnvironments: Training LLM Agents in Fictional Worlds

• arxiv url: http://arxiv.org/abs/2609.40221v1
• Date: Wed, 30 Sep 2026 17:26:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:28.179925
• Title: PhantomEnvironments: Training LLM Agents in Fictional Worlds
• Title（参考訳）: PhantomEnvironments: フィクションの世界におけるLLMエージェントの訓練
• Abstract要約: 既存のアプローチは、コストのかかる人為的なデータや、幻覚やベンチマーク汚染を危険にさらすLCM生成環境に依存している。 PhantomEnvironments、フィクションの世界からのマルチターンRL環境を構築し、エージェントは複数のホップ質問に答えるためにテンプレート付き記事のコーパスを検索しなければならない。 これらの驚くほど単純な環境は、実世界のマルチホップ検索ベンチマークに転送するエージェントを生み出し、しばしば新しいベンチマークの実際のトレーニングデータを上回っます。
• 参考スコア（独自算出の注目度）: 21.20676995923903
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training LLM agents with reinforcement learning (RL) is bottlenecked by environments, which must provide verifiable rewards, support long-horizon interaction, and scale cheaply. Existing approaches rely on costly human-curated data or on LLM-generated environments that risk hallucinations and benchmark contamination. We show that LLMs can instead be trained into capable search agents using synthetic environments generated entirely by rules, whose generation requires no LLM and has zero marginal cost. We build PhantomEnvironments, multi-turn RL environments from fictional worlds, where agents must search a corpus of templated articles to answer multi-hop questions. Despite sharing no facts with the real world, these strikingly simple environments yield agents that transfer to real-world multi-hop search benchmarks, often outperforming real-world training data on newer benchmarks. Trained agents generalize to unseen fictional universes, and Qwen models learn to scale their search budget roughly linearly with question difficulty, suggesting emergent search scaling from environment interaction alone. Ablating environment complexity reveals that hop count drives transfer more than constraints or comparisons: even the simplest rule-generated environments are a surprisingly effective, free resource for training generalizable LLM agents.
• Abstract（参考訳）: 強化学習(RL)を用いたLLMエージェントの訓練は、検証可能な報酬を提供し、長期的相互作用をサポートし、安価にスケールする環境によってボトルネックとなる。 既存のアプローチは、コストのかかる人為的なデータや、幻覚やベンチマーク汚染を危険にさらすLCM生成環境に依存している。 LLMは規則によって生成され、その生成はLLMを必要とせず、限界コストもゼロである合成環境を用いて、有能な検索エージェントに訓練できることを示す。 PhantomEnvironments、フィクションの世界からのマルチターンRL環境を構築し、エージェントは複数のホップ質問に答えるためにテンプレート付き記事のコーパスを検索しなければならない。 実世界と事実を共有していないにもかかわらず、これらの驚くほど単純な環境は、実世界のマルチホップ検索ベンチマークに移行するエージェントを産み出す。 訓練されたエージェントは、架空の宇宙を一般化し、Qwenモデルは、質問の難しさとともに概ね線形に検索予算をスケールすることを学び、環境相互作用のみから創発的な検索スケーリングを提案する。 最も単純なルール生成環境でさえ、一般化可能なLLMエージェントを訓練するための驚くほど効果的で自由なリソースである。

関連論文リスト

• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Can large language models explore in-context? [87.49311128190143]
  単純なマルチアームバンディット環境において,エージェントとして大規模言語モデルをデプロイする。 モデルが実質的な介入なしには、探索にしっかりと関わっていないことが分かっています。
  論文  参考訳（メタデータ） (2024-03-22T17:50:43Z)
• EnvGen: Generating and Adapting Environments via LLMs for Training Embodied Agents [65.38474102119181]
  トレーニング環境を適応的に作成するフレームワークであるEnvGenを提案する。 我々は、LLM生成環境とLLM生成環境を混合した小さなRLエージェントを訓練する。 我々は、EnvGenで訓練された小さなRLエージェントが、GPT-4エージェントを含むSOTAメソッドより優れており、長い水平タスクをかなり高速に学習できることを発見した。
  論文  参考訳（メタデータ） (2024-03-18T17:51:16Z)
• LLM Augmented Hierarchical Agents [4.574041097539858]
  強化学習(Reinforcement Learning, RL)を用いた長期的時間的拡張タスクの解決は困難であり、事前知識(あるいは表層ラサ学習)を伴わない学習の一般的な実践によって複雑化される。 本稿では,LL を用いて環境から学習する上での LLM の計画能力を活用し,LLM を用いて長期的タスクを解く階層的エージェントを実現する。 このアプローチは、MiniGrid、SkillHack、Crafterなどのシミュレーション環境や、ブロック操作タスクにおける実際のロボットアームで評価される。
  論文  参考訳（メタデータ） (2023-11-09T18:54:28Z)
• Enabling Intelligent Interactions between an Agent and an LLM: A Reinforcement Learning Approach [31.6589518077397]
  大規模言語モデル(LLM)は、大量のテキストデータセットから得られた膨大な量の世界の知識を符号化する。 LLMは、高レベルな命令を提供することで、複雑なシーケンシャルな意思決定タスクを解決するための実施エージェントを支援することができる。 本研究では,高レベルの命令に対してLLMを問合せする必要がある場合に学習する強化学習ベースのアプローチである When2Ask を提案する。
  論文  参考訳（メタデータ） (2023-06-06T11:49:09Z)
• Do Embodied Agents Dream of Pixelated Sheep: Embodied Decision Making using Language Guided World Modelling [101.59430768507997]
  強化学習 (Reinforcement Learning, RL) エージェントは通常、世界の事前の知識なしに、タブラララザを学習する。 抽象世界モデル (AWM) を仮定するために, 少数ショット大言語モデル (LLM) を提案する。 LLMを用いてAWMを仮定し, エージェント経験に基づくAWMの検証を行うことで, 従来手法よりもサンプル効率を桁違いに向上させることができる。
  論文  参考訳（メタデータ） (2023-01-28T02:04:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。