論文の概要: Divide and Conquer: Grounding LLMs as Efficient Decision-Making Agents via Offline Hierarchical Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2505.19761v1
• Date: Mon, 26 May 2025 09:43:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.334643
• Title: Divide and Conquer: Grounding LLMs as Efficient Decision-Making Agents via Offline Hierarchical Reinforcement Learning
• Title（参考訳）: ディバイドとコンカー:オフライン階層強化学習による効率的な意思決定エージェントとしてのLLMの接地
• Authors: Zican Hu, Wei Liu, Xiaoye Qu, Xiangyu Yue, Chunlin Chen, Zhi Wang, Yu Cheng,
• Abstract要約: 大規模言語モデル(LLM)は、不十分な探索と長期クレジット割り当てのために、長期的な意思決定タスクに苦しむ。 本稿では, LLMポリシーにパラメータ効率が高く, 一般に適用可能な階層構造を導入する, 革新的なフレームワークを提案する。 我々は,低レベル制御器を抽象的なステップバイステップ計画で制御し,高レベル制御器で学習・指導する手法を開発した。
• 参考スコア（独自算出の注目度）: 32.260964481673085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While showing sophisticated reasoning abilities, large language models (LLMs) still struggle with long-horizon decision-making tasks due to deficient exploration and long-term credit assignment, especially in sparse-reward scenarios. Inspired by the divide-and-conquer principle, we propose an innovative framework **GLIDER** (**G**rounding **L**anguage Models as Eff**I**cient **D**ecision-Making Agents via Offline Hi**E**rarchical **R**einforcement Learning) that introduces a parameter-efficient and generally applicable hierarchy to LLM policies. We develop a scheme where the low-level controller is supervised with abstract, step-by-step plans that are learned and instructed by the high-level policy. This design decomposes complicated problems into a series of coherent chain-of-thought reasoning sub-tasks, providing flexible temporal abstraction to significantly enhance exploration and learning for long-horizon tasks. Furthermore, GLIDER facilitates fast online adaptation to non-stationary environments owing to the strong transferability of its task-agnostic low-level skills. Experiments on ScienceWorld and ALFWorld benchmarks show that GLIDER achieves consistent performance gains, along with enhanced generalization capabilities.
• Abstract（参考訳）: 高度な推論能力を示す一方で、大きな言語モデル(LLM)は、特にスパース・リワードシナリオにおいて、不十分な探索と長期クレジット割り当てのために、長期的な意思決定タスクに苦慮している。 GLIDER** (**G** arounding **L***anguage Models as Eff**I*cient **D**ecision-Making Agents via Offline Hi**E**rarchical **R**einforcement Learning) は、LLMポリシーにパラメータ効率と一般的な階層を導入した革新的なフレームワークである。 我々は,低レベル制御器を抽象的なステップバイステップ計画で制御し,高レベル制御器で学習・指導する手法を開発した。 この設計は、複雑な問題を一連のコヒーレント連鎖推論サブタスクに分解し、長期タスクの探索と学習を大幅に強化する柔軟な時間的抽象化を提供する。 さらに、GLIDERはタスクに依存しない低レベルスキルの強い伝達性のため、非定常環境への高速なオンライン適応を促進する。 ScienceWorldとALFWorldのベンチマークの実験では、GLIDERは拡張された一般化機能とともに、一貫したパフォーマンス向上を実現している。

関連論文リスト

• Exploiting Hybrid Policy in Reinforcement Learning for Interpretable Temporal Logic Manipulation [12.243491328213217]
  強化学習(Reinforcement Learning, RL)に基づく手法は, ロボット学習においてますます研究されている。 本稿では,エージェントの性能向上のために3段階決定層を利用する時間論理誘導型ハイブリッドポリシーフレームワーク(HyTL)を提案する。 我々は,HyTLを4つの困難な操作タスクで評価し,その有効性と解釈可能性を示した。
  論文  参考訳（メタデータ） (2024-12-29T03:34:53Z)
• SEAL: SEmantic-Augmented Imitation Learning via Language Model [16.345410506033915]
  SEALは、意味的に意味のあるサブゴール表現に対して、サブゴール空間とプレラベル状態を指定するための新しいフレームワークである。 SEALはデュアルエンコーダ構造を採用し、教師なしLLM誘導サブゴール学習と教師なしベクトル量子化を組み合わせた。 実験の結果,SEALは最先端のHIL法やLLMに基づく計画手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-03T05:53:10Z)
• Beyond Human Preferences: Exploring Reinforcement Learning Trajectory Evaluation and Improvement through LLMs [12.572869123617783]
  強化学習(Reinforcement Learning, RL)は、複雑なゲームタスクにおけるポリシートラジェクトリを評価する上での課題である。 PbRLは、人間の嗜好を重要な報酬信号として活用する先駆的なフレームワークである。 LLM4PG という LLM 対応自動選好生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-28T04:21:24Z)
• From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
  大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。 このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。 我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
  論文  参考訳（メタデータ） (2024-05-30T09:42:54Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Hierarchical Continual Reinforcement Learning via Large Language Model [15.837883929274758]
  Hi-Coreはハイレベルな知識の伝達を容易にするように設計されている。 大規模言語モデル(LLM)による高レベルポリシー定式化 Hi-Coreは様々なCRLタスクの処理の有効性を示しており、一般的なベースラインを上回っている。
  論文  参考訳（メタデータ） (2024-01-25T03:06:51Z)
• Semantically Aligned Task Decomposition in Multi-Agent Reinforcement Learning [56.26889258704261]
  我々は,MARL(SAMA)における意味的アライズされたタスク分解という,新しい「不整合」意思決定手法を提案する。 SAMAは、潜在的な目標を示唆し、適切な目標分解とサブゴールアロケーションを提供するとともに、自己回帰に基づくリプランニングを提供する、チェーン・オブ・シントによる事前訓練された言語モデルを促進する。 SAMAは, 最先端のASG法と比較して, 試料効率に有意な優位性を示す。
  論文  参考訳（メタデータ） (2023-05-18T10:37:54Z)
• Efficient Learning of High Level Plans from Play [57.29562823883257]
  本稿では,移動計画と深いRLを橋渡しするロボット学習のフレームワークであるELF-Pについて紹介する。 ELF-Pは、複数の現実的な操作タスクよりも、関連するベースラインよりもはるかに優れたサンプル効率を有することを示す。
  論文  参考訳（メタデータ） (2023-03-16T20:09:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。