論文の概要: Language-Driven Hierarchical Task Structures as Explicit World Models for Multi-Agent Learning

• arxiv url: http://arxiv.org/abs/2509.04731v1
• Date: Fri, 05 Sep 2025 01:03:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.437966
• Title: Language-Driven Hierarchical Task Structures as Explicit World Models for Multi-Agent Learning
• Title（参考訳）: マルチエージェント学習のための明示的世界モデルとしての言語駆動階層型タスク構造
• Authors: Brennen Hill,
• Abstract要約: 有能なエージェントの開発における次のフロンティアは、明示的で階層的な世界モデルを持つ環境を作ることにある、と我々は主張する。 本稿では,この階層的な足場を動的に生成するために,大規模言語モデルを活用するパラダイムシフトを提案する。 この言語駆動の世界モデルは、本質的なカリキュラム、密集した意味のある学習信号、および作曲学習の枠組みを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The convergence of Language models, Agent models, and World models represents a critical frontier for artificial intelligence. While recent progress has focused on scaling Language and Agent models, the development of sophisticated, explicit World Models remains a key bottleneck, particularly for complex, long-horizon multi-agent tasks. In domains such as robotic soccer, agents trained via standard reinforcement learning in high-fidelity but structurally-flat simulators often fail due to intractable exploration spaces and sparse rewards. This position paper argues that the next frontier in developing capable agents lies in creating environments that possess an explicit, hierarchical World Model. We contend that this is best achieved through hierarchical scaffolding, where complex goals are decomposed into structured, manageable subgoals. Drawing evidence from a systematic review of 2024 research in multi-agent soccer, we identify a clear and decisive trend towards integrating symbolic and hierarchical methods with multi-agent reinforcement learning (MARL). These approaches implicitly or explicitly construct a task-based world model to guide agent learning. We then propose a paradigm shift: leveraging Large Language Models to dynamically generate this hierarchical scaffold, effectively using language to structure the World Model on the fly. This language-driven world model provides an intrinsic curriculum, dense and meaningful learning signals, and a framework for compositional learning, enabling Agent Models to acquire sophisticated, strategic behaviors with far greater sample efficiency. By building environments with explicit, language-configurable task layers, we can bridge the gap between low-level reactive behaviors and high-level strategic team play, creating a powerful and generalizable framework for training the next generation of intelligent agents.
• Abstract（参考訳）: 言語モデル、エージェントモデル、世界モデルの収束は、人工知能にとって重要なフロンティアである。 最近の進歩は言語とエージェントモデルのスケーリングに重点を置いているが、高度で明示的なワールドモデルの開発は、特に複雑で長期にわたるマルチエージェントタスクにおいて重要なボトルネックとなっている。 ロボットサッカーのようなドメインでは、高忠実度で標準的な強化学習を通じて訓練されたエージェントは、しばしば難解な探索空間とスパース報酬のために、構造的に平坦なシミュレーターは失敗する。 このポジションペーパーは、有能なエージェントの開発における次のフロンティアは、明示的で階層的な世界モデルを持つ環境を作ることにあると主張している。 これは階層的な足場によって達成され、複雑なゴールは構造化され、管理可能なサブゴールに分解される。 マルチエージェント強化学習(MARL)とシンボル的・階層的手法の統合に向けた明確な,決定的な傾向を明らかにする。 これらのアプローチは、エージェント学習を導くために、暗黙的にまたは明示的にタスクベースの世界モデルを構築します。 そこで我々は,この階層的な足場を動的に生成するために大規模言語モデルを利用するパラダイムシフトを提案する。 この言語駆動の世界モデルは、本質的なカリキュラム、密集した有意義な学習信号、および構成学習のためのフレームワークを提供し、エージェントモデルにより、はるかに多くのサンプル効率で洗練された戦略的行動を取得することができる。 明示的で言語構成可能なタスク層で環境を構築することで、低レベルのリアクティブな振る舞いと高レベルの戦略的チームのプレイのギャップを埋めることができ、次世代のインテリジェントエージェントをトレーニングするための強力で一般化可能なフレームワークを作ることができます。

関連論文リスト

• The Landscape of Agentic Reinforcement Learning for LLMs: A Survey [104.31926740841128]
  エージェント強化学習(Agentic RL)の出現は、大規模言語モデル(LLM RL)に適用された従来の強化学習からパラダイムシフトを示している。 本研究では, LLM-RLの縮退した単段階マルコフ決定過程(MDPs)と, エージェントRLを定義する部分可観測マルコフ決定過程(POMDPs)とを対比することにより, この概念シフトを定式化する。
  論文  参考訳（メタデータ） (2025-09-02T17:46:26Z)
• Continual Learning for Generative AI: From LLMs to MLLMs and Beyond [56.29231194002407]
  本稿では,主流生成型AIモデルに対する連続学習手法の総合的な調査を行う。 これらのアプローチをアーキテクチャベース、正規化ベース、リプレイベースという3つのパラダイムに分類する。 我々は、トレーニング目標、ベンチマーク、コアバックボーンを含む、異なる生成モデルに対する連続的な学習設定を分析する。
  論文  参考訳（メタデータ） (2025-06-16T02:27:25Z)
• World Models for Cognitive Agents: Transforming Edge Intelligence in Future Networks [55.90051810762702]
  本稿では,世界モデルを概観し,そのアーキテクチャ,トレーニングパラダイム,予測,生成,計画,因果推論といった応用を概観する。 ワイヤレスエッジインテリジェンス最適化に適した,新しい世界モデルに基づく強化学習フレームワークであるWireless Dreamerを提案する。
  論文  参考訳（メタデータ） (2025-05-31T06:43:00Z)
• Large Language Model Agent: A Survey on Methodology, Applications and Challenges [88.3032929492409]
  大きな言語モデル(LLM)エージェントは、目標駆動の振る舞いと動的適応能力を持ち、人工知能への重要な経路を示す可能性がある。 本調査は, LLMエージェントシステムを方法論中心の分類法により体系的に分解する。 私たちの作業は、エージェントの構築方法、コラボレーション方法、時間の経過とともにどのように進化するか、という、統一されたアーキテクチャの視点を提供します。
  論文  参考訳（メタデータ） (2025-03-27T12:50:17Z)
• APT: Architectural Planning and Text-to-Blueprint Construction Using Large Language Models for Open-World Agents [8.479128275067742]
  本稿では,自律型エージェントによるMinecraftの複雑な構造構築を可能にする,LLM(Large Language Model)駆動のフレームワークを提案する。 連鎖分解とマルチモーダル入力を用いることで、このフレームワークは詳細なアーキテクチャレイアウトと青写真を生成する。 本エージェントは, メモリとリフレクションモジュールの両方を組み込んで, 生涯学習, 適応的洗練, エラー訂正を容易にする。
  論文  参考訳（メタデータ） (2024-11-26T09:31:28Z)
• Toward Universal and Interpretable World Models for Open-ended Learning Agents [0.0]
  オープンエンド学習エージェントをサポートするジェネリック,コンポジション,解釈可能な生成世界モデルについて紹介する。 これは広い範囲のプロセスを近似できるベイズネットワークのスパースクラスであり、エージェントは解釈可能かつ計算にスケーラブルな方法で世界モデルを学ぶことができる。
  論文  参考訳（メタデータ） (2024-09-27T12:03:15Z)
• Decentralized Transformers with Centralized Aggregation are Sample-Efficient Multi-Agent World Models [106.35361897941898]
  本稿では,分散化された局所力学を拡張性のために学習するマルチエージェントRL(MARL)の新たな世界モデルを提案する。 また、集中表現アグリゲーションを可能にする効果的なソリューションとしてPerceiver Transformerを導入する。 Starcraft Multi-Agent Challenge (SMAC) の結果は、サンプル効率と全体的な性能の両方において、強力なモデルフリーアプローチと既存のモデルベース手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-06-22T12:40:03Z)
• Entity Divider with Language Grounding in Multi-Agent Reinforcement Learning [28.619845209653274]
  マルチエージェント設定におけるポリシーの一般化を促進するための自然言語の利用について検討する。 マルチエージェント強化学習, エンティティディバイザ(EnDi)における言語基盤構築のための新しい枠組みを提案する。 EnDiは、エージェントがエンティティレベルで独立してサブゴナル分割を学習し、関連するエンティティに基づいて環境に作用することを可能にする。
  論文  参考訳（メタデータ） (2022-10-25T11:53:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。