論文の概要: EPO: Hierarchical LLM Agents with Environment Preference Optimization

• arxiv url: http://arxiv.org/abs/2408.16090v2
• Date: Thu, 3 Oct 2024 20:35:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 04:19:50.227964
• Title: EPO: Hierarchical LLM Agents with Environment Preference Optimization
• Title（参考訳）: EPO:環境優先最適化型階層型LLMエージェント
• Authors: Qi Zhao, Haotian Fu, Chen Sun, George Konidaris,
• Abstract要約: 本稿では,複雑なタスクを管理可能なサブゴールに分解する階層的フレームワークを提案する。 注釈のないデータセットのためのトレーニング信号を作成するという課題に対処するため,マルチモーダル環境フィードバックを利用して報酬信号を自動的に生成する報酬モデルを開発した。
• 参考スコア（独自算出の注目度）: 25.682236898002
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-horizon decision-making tasks present significant challenges for LLM-based agents due to the need for extensive planning over multiple steps. In this paper, we propose a hierarchical framework that decomposes complex tasks into manageable subgoals, utilizing separate LLMs for subgoal prediction and low-level action generation. To address the challenge of creating training signals for unannotated datasets, we develop a reward model that leverages multimodal environment feedback to automatically generate reward signals. We introduce Environment Preference Optimization (EPO), a novel method that generates preference signals from the environment's feedback and uses them to train LLM-based agents. Extensive experiments on ALFRED demonstrate the state-of-the-art performance of our framework, achieving first place on the ALFRED public leaderboard and showcasing its potential to improve long-horizon decision-making in diverse environments.
• Abstract（参考訳）: 長期の意思決定タスクは、複数のステップにわたる広範な計画の必要性から、LLMベースのエージェントに重大な課題をもたらす。 本稿では,複雑なタスクを管理可能なサブゴールに分解する階層型フレームワークを提案する。 注釈のないデータセットのためのトレーニング信号を作成するという課題に対処するため,マルチモーダル環境フィードバックを利用して報酬信号を自動的に生成する報酬モデルを開発した。 環境選好最適化(EPO)は,環境フィードバックから選好信号を生成し,LLMエージェントの学習に使用する新しい手法である。 ALFREDに関する大規模な実験は、我々のフレームワークの最先端のパフォーマンスを実証し、ALFREDの公開リーダーボードで第一位を獲得し、多様な環境における長期的な意思決定を改善する可能性を示している。

関連論文リスト

• Words as Beacons: Guiding RL Agents with High-Level Language Prompts [6.7236795813629]
  大型言語モデル(LLM)は「教師」として、複雑なタスクをサブゴールに分解することでエージェントの学習プロセスを導く。 LLMは、人間と同じような方法で、環境のために定義されたタスクを達成するためのサブゴールを提供することができる。 トレーニングフェーズの間のみLLMに問い合わせることができ、エージェントはLLMの介入なしに環境内で操作できる。
  論文  参考訳（メタデータ） (2024-10-11T08:54:45Z)
• AgentGen: Enhancing Planning Abilities for Large Language Model based Agent via Environment and Task Generation [89.68433168477227]
  LLM(Large Language Model)ベースのエージェントは注目され、ますます人気が高まっている。 本稿では,LLMの学習指導による計画能力の向上について検討する。 この制限に対処するために,多様な環境の自動合成と段階的な計画課題について検討する。
  論文  参考訳（メタデータ） (2024-08-01T17:59:46Z)
• From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
  大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。 このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。 我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
  論文  参考訳（メタデータ） (2024-05-30T09:42:54Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Extracting Heuristics from Large Language Models for Reward Shaping in Reinforcement Learning [28.077228879886402]
  強化学習(Reinforcement Learning, RL)は、報酬領域におけるサンプルの非効率性に悩まされ、移行時にはさらにその問題が顕著になる。 サンプル効率を改善するために、報酬形成はRLエージェントが最適なポリシーに迅速に収束するのに役立つ本質的な報酬を導入するためのよく研究されたアプローチである。
  論文  参考訳（メタデータ） (2024-05-24T03:53:57Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)
• LgTS: Dynamic Task Sampling using LLM-generated sub-goals for Reinforcement Learning Agents [10.936460061405157]
  LgTS (LLM-Guided Teacher-Student Learning) を提案する。 提案手法では,提案したサブゴールを達成するための事前訓練されたポリシーも必要としない。
  論文  参考訳（メタデータ） (2023-10-14T00:07:03Z)
• AdaPlanner: Adaptive Planning from Feedback with Language Models [56.367020818139665]
  大規模言語モデル(LLM)は、最近、シーケンシャルな意思決定タスクの自律的エージェントとして機能する可能性を実証している。 本研究では,LLMエージェントが環境フィードバックに応じて自己生成計画を適応的に改善することのできるクローズドループアプローチであるAdaPlannerを提案する。 幻覚を緩和するために,様々なタスク,環境,エージェント機能にまたがる計画生成を容易にするコードスタイルのLCMプロンプト構造を開発した。
  論文  参考訳（メタデータ） (2023-05-26T05:52:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。