論文の概要: Multi$^2$: Hierarchical Multi-Agent Decision-Making with LLM-Based Agents in Interactive Environments

• arxiv url: http://arxiv.org/abs/2606.03698v1
• Date: Tue, 02 Jun 2026 14:20:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.063777
• Title: Multi$^2$: Hierarchical Multi-Agent Decision-Making with LLM-Based Agents in Interactive Environments
• Title（参考訳）: Multi$2$: 対話環境におけるLLMエージェントを用いた階層的マルチエージェント意思決定
• Authors: Sangeun Park, Minhae Kwon,
• Abstract要約: 大規模言語モデル(LLM)研究の中心的な目標は、動的環境との持続的な相互作用を計画し、行動し、適応できるエージェントシステムを構築することである。 エージェントの振る舞いを補完的な役割に明示的に分解する階層的マルチエージェント意思決定フレームワークであるMulti$2$を紹介する。 高レベルエージェント(システム1)は、教師付き微調整(SFT)を用いたコンテキスト認識サブゴール生成に焦点を当て、低レベルエージェント(システム2)は、対話型環境でオフラインからオンラインへの強化学習(RL)を通してアトミックアクションを実行する。
• 参考スコア（独自算出の注目度）: 5.37133760455631
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central goal of large language model (LLM) research is to build agentic systems that can plan, act, and adapt through sustained interaction with dynamic environments. While recent LLM-based agents exhibit impressive contextual reasoning, their long-horizon decision-making remains fragile, often suffering from objective drift, where goals and plans drift over extended interactions. We introduce Multi$^2$, a hierarchical multi-agent decision-making framework that explicitly decomposes agent behavior into complementary roles. A high-level agent (System 1) focuses on context-aware sub-goal generation using supervised fine-tuning (SFT), while a low-level agent (System 2) executes atomic actions through offline-to-online reinforcement learning (RL) in interactive environments. This separation enables stable long-horizon control, mitigates objective drift, and allows efficient adaptation. Across diverse interactive environments, Multi$^2$ consistently outperforms strong agentic baselines, demonstrating improved robustness and coordination in multi-turn interaction. Beyond performance, we introduce and release three hierarchical benchmark datasets, filling a long-standing gap in training and evaluating hierarchical decision-making for LLM-based agents.
• Abstract（参考訳）: 大規模言語モデル(LLM)研究の中心的な目標は、動的環境との持続的な相互作用を計画し、行動し、適応できるエージェントシステムを構築することである。 最近のLSMベースのエージェントは、印象的な文脈的推論を示すが、長期的な意思決定は脆弱であり、しばしば客観的なドリフトに苦しむ。 エージェントの振る舞いを補完的な役割に明示的に分解する階層的マルチエージェント意思決定フレームワークであるMulti$^2$を紹介する。 高レベルエージェント(システム) 1) 教師付き微調整(SFT)を用いた文脈認識サブゴール生成と低レベルエージェント(システム)に着目した。 2) 対話型環境下でのオフライン-オンライン強化学習(RL)により原子動作を実行する。 この分離は安定な長距離制御を可能にし、目標ドリフトを緩和し、効率的な適応を可能にする。 多様な対話環境において、Multi$^2$は強いエージェントベースラインを一貫して上回り、マルチターン相互作用における堅牢性とコーディネーションの改善を示す。 パフォーマンス以外にも、3つの階層的ベンチマークデータセットを導入、リリースし、LLMベースのエージェントのトレーニングと階層的意思決定における長年のギャップを埋めます。

関連論文リスト

• AgentCollab: A Self-Evaluation-Driven Collaboration Paradigm for Efficient LLM Agents [37.232397795331444]
  我々は,エージェント実行中に異なる推論能力を持つモデルを動的にコーディネートする,自己駆動型協調推論フレームワークであるAgenCollabを提案する。 外部ルーティングモジュールに頼る代わりに、このフレームワークはエージェント自身の自己反射信号を使用して、現在の推論軌道が有意義な進歩を遂げているかどうかを判断する。
  論文  参考訳（メタデータ） (2026-03-27T03:07:34Z)
• MARTI-MARS$^2$: Scaling Multi-Agent Self-Search via Reinforcement Learning for Code Generation [64.2621682259008]
  セルフサーチスケーリングによるマルチエージェント強化トレーニングと推論フレームワーク(MARTI-MARS2) 本稿では,MARTI-MARS2を用いたマルチエージェント強化学習・推論フレームワークを提案する。 我々は、MARTI-MARS2が77.7%を獲得し、GPT-5.1のような強力なベースラインを、挑戦的なコード生成ベンチマークで上回っていることを示す。
  論文  参考訳（メタデータ） (2026-02-08T07:28:44Z)
• Multi-Agent Reinforcement Learning and Real-Time Decision-Making in Robotic Soccer for Virtual Environments [0.0]
  本稿では,これらの課題に対処するMARL(Multi-Agent Reinforcement Learning)フレームワークを提案する。 スケーラビリティを確保するため、平均場理論をHRLフレームワークに統合する。 我々の平均場アクター批判法は性能を著しく向上させる。
  論文  参考訳（メタデータ） (2025-12-02T19:11:44Z)
• MOMA-AC: A preference-driven actor-critic framework for continuous multi-objective multi-agent reinforcement learning [3.312665722657581]
  本稿では、連続状態とアクション空間のためのインナーループアクター批判フレームワークを初めて紹介する。 このフレームワークをTD3(Deep Deterministic Policy Gradient)とDDPG(Deep Deterministic Policy Gradient)でインスタンス化する。 このフレームワークは、マルチヘッドアクターネットワーク、中央集権的な批評家、客観的な嗜好条件アーキテクチャを組み合わせたものである。
  論文  参考訳（メタデータ） (2025-11-22T20:24:51Z)
• Multi-Agent Tool-Integrated Policy Optimization [67.12841355267678]
  大規模言語モデル(LLM)は、知識集約的かつ複雑な推論タスクに対して、多ターンツール統合計画にますます依存している。 既存の実装は通常、単一のエージェントに依存するが、コンテキスト長とノイズの多いツールレスポンスに悩まされる。 ツール統合マルチエージェントフレームワークの効果的な強化学習をサポートする方法はない。
  論文  参考訳（メタデータ） (2025-10-06T10:44:04Z)
• AgentGym-RL: Training LLM Agents for Long-Horizon Decision Making through Multi-Turn Reinforcement Learning [129.44038804430542]
  本稿では,マルチターン対話型意思決定のためのLLMエージェントをRLで学習する新しいフレームワークであるAgentGym-RLを紹介する。 本研究では,探索-探索バランスと安定したRL最適化のためのトレーニング手法であるScalingInter-RLを提案する。 当社のエージェントは、さまざまな環境にまたがる27のタスクで、商用モデルにマッチするか、超えています。
  論文  参考訳（メタデータ） (2025-09-10T16:46:11Z)
• AnyMAC: Cascading Flexible Multi-Agent Collaboration via Next-Agent Prediction [77.62279834617475]
  本稿では,グラフ構造ではなくシーケンシャル構造を用いて,マルチエージェント協調を再考するフレームワークを提案する。 提案手法は,(1)各ステップで最も適したエージェントロールを選択するNext-Agent Predictionと,(2)各エージェントが前ステップから関連する情報にアクセスできるようにするNext-Context Selectionの2つの重要な方向に焦点を当てる。
  論文  参考訳（メタデータ） (2025-06-21T18:34:43Z)
• Advancing Language Multi-Agent Learning with Credit Re-Assignment for Interactive Environment Generalization [38.68388721203677]
  我々は,新しいマルチエージェントクレジット再割り当て戦略を備えたマルチエージェント強化学習フレームワークであるCollabUIAgentsを提案する。 我々は,マルチエージェントシステムの性能と環境横断の一般化性を両立させることを実証した。
  論文  参考訳（メタデータ） (2025-02-20T12:26:15Z)
• AgentBench: Evaluating LLMs as Agents [99.12825098528212]
  エージェントとしてのLarge Language Model (LLM)は近年広く認知されている。 我々は,LLM-as-Agentの推論と意思決定能力を評価するために,8つの異なる環境からなるベンチマークであるAgentBenchを提案する。
  論文  参考訳（メタデータ） (2023-08-07T16:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。