論文の概要: LLM-Based Hierarchical Coordinated Control with Continuation-Aware Policy Learning
- arxiv url: http://arxiv.org/abs/2608.15041v1
- Date: Sat, 15 Aug 2026 05:00:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.169542
- Title: LLM-Based Hierarchical Coordinated Control with Continuation-Aware Policy Learning
- Title（参考訳）: 継続対応政策学習を用いたLLMに基づく階層的協調制御
- Abstract要約: 複雑な工学系における複数の相互作用ユニットを協調する階層的枠組みを提案する。
継続対応GRPOを導入し、その後の制御区間における調整決定の結果を捉える。
マルチランプ交通制御と仮想電力プラント (VPP) エネルギー管理の枠組みを, 簡易なシステムモデルによる訓練と, より現実的なシミュレータを用いて検証した。
- 参考スコア（独自算出の注目度）: 6.69561560301489
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Coordinating multiple interacting units in complex engineering systems is challenging when system interactions are difficult to model, operational information is heterogeneous, and low-level actions must satisfy strict constraints. We propose an LLM-based hierarchical framework in which the LLM coordinates interacting units based on heterogeneous operational context, while task-specific controllers or optimizers generate executable and constraint-aware actions. We further introduce Continuation-Aware GRPO to capture the consequences of coordination decisions over subsequent control intervals. Rather than judging a decision only by its immediate outcome, the method also evaluates how the system evolves afterward under the current policy. We validate the framework on multi-ramp traffic control and virtual power plant (VPP) energy management, using simplified system models for training and more realistic simulators for evaluation. Across both tasks, the proposed method consistently outperforms direct task-specific control and optimization, end-to-end reinforcement learning, rule-based and RL-based hierarchical coordination, and prompting-only LLM coordinators, demonstrating the value of heterogeneous-context reasoning, hierarchical execution, and continuation-aware policy learning.
- Abstract（参考訳）: 複雑なエンジニアリングシステムにおける複数の相互作用ユニットのコーディネートは、システムインタラクションのモデル化が困難であり、運用情報が不均一であり、低レベルのアクションが厳密な制約を満たす必要がある場合に困難である。
タスク固有のコントローラやオプティマイザが実行可能かつ制約対応のアクションを生成するのに対して,LLMは異種運用状況に基づいて対話ユニットをコーディネートするLLMベースの階層型フレームワークを提案する。
さらに、継続対応GRPOを導入し、その後の制御区間における調整決定の結果を捉える。
決定は即時結果によってのみ判断されるのではなく、現在の方針の下でシステムが後からどのように進化するかを評価する。
マルチランプ交通制御と仮想電力プラント (VPP) エネルギー管理の枠組みを, 簡易なシステムモデルによる訓練と, より現実的なシミュレータを用いて検証した。
両タスクにおいて、提案手法は、直接タスク固有の制御と最適化、エンドツーエンド強化学習、ルールベースおよびRLに基づく階層的調整、および、不均一なコンテキスト推論、階層的実行、継続型ポリシー学習の価値を実証するプロンプトのみのLCMコーディネータを一貫して上回る。
関連論文リスト
- EASy: Towards Efficient LLM-Based Agentic System [54.10819421625103]
強化学習によるタスク性能と計算効率を協調的に最適化する訓練可能なエージェントフレームワークであるEASyを提案する。
EASyはLLMベースのオーケストレータに異種エグゼキュータの能力とコストプロファイルを明確に把握し、パフォーマンスのみのルーティング以上のコンテキスト依存的な調整を可能にする。
さらに、複雑なタスクを管理可能なマイルストーンに分解し、依存性を意識した実行グラフを構築し、適切なエグゼキュータを割り当て、その後の決定を中間的な結果に適用しながら、独立したステップを並列化するマイルストーン計画実行ワークフローも導入されている。
論文 参考訳（メタデータ） (2026-08-05T08:50:36Z) - Hybrid LLM-Augmented Reinforcement Learning Agents for Complex Sequential Decision Tasks [0.0]
大規模言語モデル(LLM)は、最近、推論、計画、ツール使用において強力な能力を示し、新しい形の自律エージェントを可能にした。
本稿では,LLM駆動型計画とRLに基づく行動最適化を統合したLLM強化型強化学習エージェントを提案する。
論文 参考訳（メタデータ） (2026-08-04T11:44:07Z) - CoRAL: Contact-Rich Adaptive LLM-based Control for Robotic Manipulation [4.600772894287281]
大規模言語モデル (LLMs) と視覚言語モデル (VLMs) は高レベルの推論と意味理解において顕著な能力を示す。
我々は,低レベル制御から高レベル推論を分離することでゼロショット計画を可能にするモジュラーフレームワークであるCoRALを提案する。
論文 参考訳（メタデータ） (2026-05-04T13:49:19Z) - Policy-Conditioned Policies for Multi-Agent Task Solving [53.67744322553693]
本研究では,ポリシーを人間の解釈可能なソースコードとして表現することでギャップを埋めるパラダイムシフトを提案する。
本研究では,Large Language Models (LLM) を近似インタプリタとして利用することにより,学習問題を再構築する。
我々はこのプロセスを,ポリシーコードをテキスト勾配で最適化するアルゴリズムである TextitProgrammatic Iterated Best Response (PIBR) として定式化する。
論文 参考訳（メタデータ） (2025-12-24T07:42:10Z) - Learning Affordances at Inference-Time for Vision-Language-Action Models [50.93181349331096]
ロボット工学において、VLA(Vision-Language-Action Model)は複雑な制御タスクを解くための有望な道を提供する。
本稿では,VLAの低レベルポリシーを過去の経験を条件とした高レベルVLMに接続するLITEN(Learning from Inference-Time Execution)を紹介する。
提案手法は,低レベルVLAの計画の生成と実行を行う推論フェーズと,その結果を反映した評価フェーズとを反復する。
論文 参考訳（メタデータ） (2025-10-22T16:43:29Z) - Joint Optimization of Cooperation Efficiency and Communication Covertness for Target Detection with AUVs [105.81167650318054]
本稿では,自律型水中車両(AUV)を用いた水中協調目標検出について検討する。
まず,共同軌道と電力制御の最適化問題を定式化し,それを解決するための革新的な階層的行動管理フレームワークを提案する。
集中学習と分散実行のパラダイムの下で,我々の目標検出フレームワークは,エネルギーとモビリティの制約を満たすとともに,適応的なカバート協調を可能にする。
論文 参考訳（メタデータ） (2025-10-21T02:14:11Z) - Hierarchical Reinforcement Learning with Low-Level MPC for Multi-Agent Control [1.5856188608650232]
強化学習(RL)による戦術的意思決定とモデル予測制御(MPC)による低レベル実行を組み合わせた階層的枠組みを提案する。
プレデター・プリーベンチマークでテストしたところ、我々のアプローチは報酬、安全性、一貫性の点でエンドツーエンドとシールドベースのRLベースラインよりも優れています。
論文 参考訳（メタデータ） (2025-09-19T09:27:15Z) - Application of LLM Guided Reinforcement Learning in Formation Control with Collision Avoidance [1.1718316049475228]
マルチエージェントシステム(Multi-Agent Systems、MAS)は、個々のエージェントの協調作業を通じて複雑な目的を達成する。
本稿では,効果的な報酬関数を設計する上での課題を克服する新しい枠組みを提案する。
タスクの優先順位付けにおいて,大規模言語モデル(LLM)を付与することにより,オンライン上で動的に調整可能な報酬関数を生成する。
論文 参考訳（メタデータ） (2025-07-22T09:26:00Z) - Enhancing Multi-Agent Systems via Reinforcement Learning with LLM-based Planner and Graph-based Policy [31.041340552853004]
Graph Collaboration MARL (LGC-MARL)は、Large Language Models (LLM)とMulti-Agent Reinforcement Learning (MARL)を効率的に組み合わせたフレームワークである。
LGC-MARLは複雑なタスクを実行可能なサブタスクに分解し、グラフベースの調整によって複数のエージェント間の効率的な協調を実現する。
AI2-THORシミュレーションプラットフォームの実験結果から,LGC-MARLの性能とスケーラビリティが向上した。
論文 参考訳（メタデータ） (2025-03-13T05:02:49Z) - COMBO-Grasp: Learning Constraint-Based Manipulation for Bimanual Occluded Grasping [56.907940167333656]
集積ロボットグルーピングは、表面衝突などの環境制約により、所望のグルーピングポーズが運動的に不可能な場所である。
従来のロボット操作アプローチは、人間が一般的に使用する非包括的または双対的戦略の複雑さに苦しむ。
本稿では,2つの協調ポリシーを活用する学習ベースアプローチであるCOMBO-Grasp(Constraint-based Manipulation for Bimanual Occluded Grasping)を紹介する。
論文 参考訳（メタデータ） (2025-02-12T01:31:01Z) - Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。
提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
論文 参考訳（メタデータ） (2024-10-07T23:38:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。