論文の概要: Hierarchical Task Environments as the Next Frontier for Embodied World Models in Robot Soccer

• arxiv url: http://arxiv.org/abs/2509.04731v2
• Date: Mon, 29 Sep 2025 17:38:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 17:47:09.205473
• Title: Hierarchical Task Environments as the Next Frontier for Embodied World Models in Robot Soccer
• Title（参考訳）: ロボットサッカーにおける身体的世界モデルの次のフロンティアとしての階層型タスク環境
• Authors: Brennen Hill,
• Abstract要約: 本稿では, 環境の忠実度やサイズを増大させるだけでなく, 構造的複雑さを明示的な階層的足場に拡張する。 明示的で構成可能なタスク層を持つ環境を構築することで、エージェント探索をより効率的に導き、有意義な学習信号を生成し、究極的には、純粋にエンドツーエンドアプローチよりも少ないリソースで、より有能で汎用的なエージェントを訓練することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in agent development have focused on scaling model size and raw interaction data, mirroring the successes seen in large language models. However, for complex, long-horizon multi-agent tasks such as robotic soccer, this end-to-end approach often fails due to intractable exploration spaces and sparse rewards. This position paper argues that the next frontier in developing embodied world models is not merely increasing the fidelity or size of environments, but scaling their structural complexity through explicit hierarchical scaffolding. We posit that an effective world model for decision-making must model not only the world's physics but also its task semantics. Drawing from a systematic review of 2024 research in low-resource multi-agent soccer, we identify a clear trend towards integrating symbolic and hierarchical methods, such as Hierarchical Task Networks (HTNs) and Bayesian Strategy Networks (BSNs), with multi-agent reinforcement learning (MARL). These methods decompose complex goals into manageable subgoals, creating an intrinsic curriculum that shapes agent learning. We propose that such structured environments are essential for bridging the gap between simple, reactive behaviors and sophisticated, strategic team play. We further extend this principle, proposing that this scaffolding can be generalized to other complex domains and dynamically generated by Large Language Models (LLMs), which act as generative world models of tasks. By building environments with explicit, composable task layers, we can guide agent exploration more efficiently, generate meaningful learning signals, and ultimately train more capable and general-purpose agents with fewer resources than purely end-to-end approaches.
• Abstract（参考訳）: エージェント開発における最近の進歩は、大規模言語モデルで見られる成功を反映して、モデルサイズと生の相互作用データの拡大に焦点を当てている。 しかしながら、ロボットサッカーのような複雑で長期にわたるマルチエージェントタスクでは、このエンドツーエンドのアプローチは、しばしば難解な探索空間とスパース報酬のために失敗する。 このポジションペーパーでは、エンボディード・ワールド・モデルの開発における次のフロンティアは、環境の忠実度やサイズを増大させるだけでなく、明示的な階層的な足場を通じて構造的複雑さをスケールすることだと論じている。 我々は、意思決定に有効な世界モデルは、世界の物理学だけでなく、そのタスクセマンティクスもモデル化しなければならないと仮定する。 低リソースマルチエージェントサッカーにおける2024年の研究の体系的レビューから,階層型タスクネットワーク (HTN) やベイズ戦略ネットワーク (BSN) などのシンボル的および階層的手法を多エージェント強化学習 (MARL) と統合する傾向を明らかにした。 これらの手法は複雑な目標を管理可能なサブゴールに分解し、エージェント学習を形作る固有のカリキュラムを作成する。 このような構造化された環境は、単純でリアクティブな振る舞いと、洗練された戦略的チームプレイのギャップを埋めるのに不可欠である、と提案する。 我々はさらにこの原理を拡張し、この足場を他の複雑な領域に一般化し、タスクの生成的世界モデルとして機能する大規模言語モデル(LLM)によって動的に生成されることを提案した。 明示的で構成可能なタスク層を持つ環境を構築することで、エージェント探索をより効率的に導き、有意義な学習信号を生成し、究極的には、純粋にエンドツーエンドアプローチよりも少ないリソースで、より有能で汎用的なエージェントを訓練することができる。

関連論文リスト

• The Landscape of Agentic Reinforcement Learning for LLMs: A Survey [104.31926740841128]
  エージェント強化学習(Agentic RL)の出現は、大規模言語モデル(LLM RL)に適用された従来の強化学習からパラダイムシフトを示している。 本研究では, LLM-RLの縮退した単段階マルコフ決定過程(MDPs)と, エージェントRLを定義する部分可観測マルコフ決定過程(POMDPs)とを対比することにより, この概念シフトを定式化する。
  論文  参考訳（メタデータ） (2025-09-02T17:46:26Z)
• Continual Learning for Generative AI: From LLMs to MLLMs and Beyond [56.29231194002407]
  本稿では,主流生成型AIモデルに対する連続学習手法の総合的な調査を行う。 これらのアプローチをアーキテクチャベース、正規化ベース、リプレイベースという3つのパラダイムに分類する。 我々は、トレーニング目標、ベンチマーク、コアバックボーンを含む、異なる生成モデルに対する連続的な学習設定を分析する。
  論文  参考訳（メタデータ） (2025-06-16T02:27:25Z)
• World Models for Cognitive Agents: Transforming Edge Intelligence in Future Networks [55.90051810762702]
  本稿では,世界モデルを概観し,そのアーキテクチャ,トレーニングパラダイム,予測,生成,計画,因果推論といった応用を概観する。 ワイヤレスエッジインテリジェンス最適化に適した,新しい世界モデルに基づく強化学習フレームワークであるWireless Dreamerを提案する。
  論文  参考訳（メタデータ） (2025-05-31T06:43:00Z)
• Large Language Model Agent: A Survey on Methodology, Applications and Challenges [88.3032929492409]
  大きな言語モデル(LLM)エージェントは、目標駆動の振る舞いと動的適応能力を持ち、人工知能への重要な経路を示す可能性がある。 本調査は, LLMエージェントシステムを方法論中心の分類法により体系的に分解する。 私たちの作業は、エージェントの構築方法、コラボレーション方法、時間の経過とともにどのように進化するか、という、統一されたアーキテクチャの視点を提供します。
  論文  参考訳（メタデータ） (2025-03-27T12:50:17Z)
• APT: Architectural Planning and Text-to-Blueprint Construction Using Large Language Models for Open-World Agents [8.479128275067742]
  本稿では,自律型エージェントによるMinecraftの複雑な構造構築を可能にする,LLM(Large Language Model)駆動のフレームワークを提案する。 連鎖分解とマルチモーダル入力を用いることで、このフレームワークは詳細なアーキテクチャレイアウトと青写真を生成する。 本エージェントは, メモリとリフレクションモジュールの両方を組み込んで, 生涯学習, 適応的洗練, エラー訂正を容易にする。
  論文  参考訳（メタデータ） (2024-11-26T09:31:28Z)
• Toward Universal and Interpretable World Models for Open-ended Learning Agents [0.0]
  オープンエンド学習エージェントをサポートするジェネリック,コンポジション,解釈可能な生成世界モデルについて紹介する。 これは広い範囲のプロセスを近似できるベイズネットワークのスパースクラスであり、エージェントは解釈可能かつ計算にスケーラブルな方法で世界モデルを学ぶことができる。
  論文  参考訳（メタデータ） (2024-09-27T12:03:15Z)
• Decentralized Transformers with Centralized Aggregation are Sample-Efficient Multi-Agent World Models [106.35361897941898]
  本稿では,分散化された局所力学を拡張性のために学習するマルチエージェントRL(MARL)の新たな世界モデルを提案する。 また、集中表現アグリゲーションを可能にする効果的なソリューションとしてPerceiver Transformerを導入する。 Starcraft Multi-Agent Challenge (SMAC) の結果は、サンプル効率と全体的な性能の両方において、強力なモデルフリーアプローチと既存のモデルベース手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-06-22T12:40:03Z)
• Entity Divider with Language Grounding in Multi-Agent Reinforcement Learning [28.619845209653274]
  マルチエージェント設定におけるポリシーの一般化を促進するための自然言語の利用について検討する。 マルチエージェント強化学習, エンティティディバイザ(EnDi)における言語基盤構築のための新しい枠組みを提案する。 EnDiは、エージェントがエンティティレベルで独立してサブゴナル分割を学習し、関連するエンティティに基づいて環境に作用することを可能にする。
  論文  参考訳（メタデータ） (2022-10-25T11:53:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。