論文の概要: LEACL: LLM-Enhanced Automatic Curriculum Learning for Reinforcement Learning in Long-Horizon Manipulation Tasks
- arxiv url: http://arxiv.org/abs/2607.23515v1
- Date: Sun, 26 Jul 2026 07:31:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.138581
- Title: LEACL: LLM-Enhanced Automatic Curriculum Learning for Reinforcement Learning in Long-Horizon Manipulation Tasks
- Title（参考訳）: LEACL:長期操作タスクにおける強化学習のためのLLM強化自動カリキュラム学習
- Abstract要約: ロングホライゾン操作タスクは、疎い報酬信号と長い地平線による強化学習に重大な課題をもたらす。
大規模言語モデル(LLM)の最近の進歩は、複雑なタスクを意味のあるサブタスクに分解可能にすることで、有望な代替手段を提供する。
LLMはタスクをサブタスクに分解し、サブタスクごとにタスク依存仕様を生成するために使用される。
これらの仕様は、スパース報酬信号のみを使用して学習をガイドするためにACLアルゴリズムによって使用される。
- 参考スコア（独自算出の注目度）: 18.85599517785148
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-horizon manipulation tasks pose significant challenges for reinforcement learning due to sparse reward signals and long horizons. Automatic curriculum learning (ACL) has been proposed to tackle these challenges by progressively training agents on a sequence of tasks, from easier to more difficult. However, the success of ACL depends heavily on task-dependent specifications-such as well-defined task parameter spaces and difficulty measures-which are often manually crafted and difficult to generalize across diverse tasks. Recent advances in large language models (LLMs) offer a promising alternative by enabling the decomposition of complex tasks into meaningful subtasks using the LLMs' web-scale common-sense knowledge. This decomposition can provide a natural curriculum structure for efficient learning of long-horizon tasks. However, existing LLM-based methods typically rely on hand-designed dense reward functions to learn each subtask, which can introduce bias and still requires significant human supervision. In this work, we propose LLM-enhanced automatic curriculum learning (LEACL), a framework that integrates LLMs and ACL to address these limitations. Specifically, LLMs are used to both decompose tasks into subtasks and to generate task-dependent specifications for each subtask. These specifications are then used by ACL algorithms to guide learning using only sparse reward signals, eliminating the need for dense reward design. We evaluate LEACL on five long-horizon manipulation tasks from the LIBERO benchmark. LEACL achieves better asymptotic performance in terms of the success rates compared to human-designed dense rewards.
- Abstract（参考訳）: ロングホライゾン操作タスクは、疎い報酬信号と長い地平線による強化学習に重大な課題をもたらす。
ACL(Automatic Curcical Learning)は,タスクの順序を段階的に訓練することで,より容易からより困難にすることで,これらの課題に対処するために提案されている。
しかし、ACLの成功はタスク依存仕様(例えば、明確に定義されたタスクパラメータ空間や困難度など)に大きく依存する。
大規模言語モデル(LLM)の最近の進歩は、複雑なタスクをLLMのWebスケールの常識知識を用いて意味のあるサブタスクに分解できるようにすることによって、有望な代替手段を提供する。
この分解は、長期タスクの効率的な学習のための自然なカリキュラム構造を提供することができる。
しかし、既存のLCMベースの手法は、通常、手書きの高密度報酬関数を使って各サブタスクを学習する。
本研究では,LLM と ACL を統合してこれらの制約に対処する LLM 強化型自動カリキュラム学習 (LEACL) を提案する。
具体的には、LLMはタスクをサブタスクに分解し、各サブタスクのタスク依存仕様を生成するために使用される。
これらの仕様はACLアルゴリズムによってスパース報酬信号のみを使用して学習をガイドするために使用され、より密集した報酬設計の必要性を排除している。
LIBEROベンチマークを用いて,5つの長時間操作タスクに対するLEACLの評価を行った。
LEACLは、人間によって設計された高密度報酬と比較して、成功率の観点から、より優れた漸近的なパフォーマンスを達成する。
関連論文リスト
- How Many Parameters Does Your Task Really Need? Task Specific Pruning with LLM-Sieve [2.33361323991006]
大きな言語モデル(LLM)は、リソース制約された設定において、狭いタスクのためにますますデプロイされる。
LLM-Sieveは,タスク性能の維持に必要な最小パラメータサブセットにLCMを適用可能なフレームワークである。
論文 参考訳（メタデータ） (2025-05-23T20:17:20Z) - Option Discovery Using LLM-guided Semantic Hierarchical Reinforcement Learning [16.654435148168172]
大規模言語モデル(LLM)は、推論と意思決定において顕著な将来性を示している。
サンプル効率,一般化,マルチタスク適応性を向上させるため,LDSCと呼ばれるLCM誘導階層型RLフレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-24T15:49:56Z) - SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。
実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。
以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
論文 参考訳（メタデータ） (2024-06-19T00:28:58Z) - Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。
セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。
本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
論文 参考訳（メタデータ） (2024-06-14T19:24:00Z) - Distilling Instruction-following Abilities of Large Language Models with Task-aware Curriculum Planning [12.651588927599441]
インストラクションチューニングは、大きな言語モデルにオープンドメイン命令と人間優先応答を合わせることを目的としている。
学生のLLMの追従が難しい命令を選択するために,TAPIR(Task-Aware Curriculum Planning for Instruction Refinement)を導入する。
学生の能力のバランスをとるために、トレーニングセット内のタスク分布は、対応するタスクに応じて自動的に調整された応答で調整される。
論文 参考訳（メタデータ） (2024-05-22T08:38:26Z) - Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。
本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。
このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
論文 参考訳（メタデータ） (2024-01-14T16:17:07Z) - When does In-context Learning Fall Short and Why? A Study on
Specification-Heavy Tasks [54.71034943526973]
In-context Learning (ICL)は、大規模言語モデル(LLM)のデフォルトメソッドとなっている。
ICLは、複雑で広範囲なタスク仕様を持つタスクである、仕様の重いタスクを処理できないことが分かりました。
我々は、コンテキストを具体的に理解できないこと、タスクスキーマが人間と理解できないこと、長文理解が不十分であること、の3つの主な理由を識別する。
論文 参考訳（メタデータ） (2023-11-15T14:26:30Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳（メタデータ） (2023-10-10T16:38:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。