論文の概要: StructRL: Online Structured Reinforcement Learning for Long-Horizon Vision-Language-Action Tasks
- arxiv url: http://arxiv.org/abs/2609.36352v1
- Date: Mon, 28 Sep 2026 22:34:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.045293
- Title: StructRL: Online Structured Reinforcement Learning for Long-Horizon Vision-Language-Action Tasks
- Title（参考訳）: StructRL: 長距離視線処理タスクのためのオンライン構造化強化学習
- Abstract要約: StructRLは、検証可能なサブタスク完了から構造化中間監視を構築するオンライン強化学習フレームワークである。
RoboCasa365 と LIBERO-Long には GR00T-N1.5 と pi 0.5 があり、StructRL はオンライン RL ベースラインを一貫して上回っている。
- 参考スコア（独自算出の注目度）: 25.560039911794266
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language-action (VLA) models perform well on shorter-horizon manipulation tasks but still struggle with long-horizon tasks that require multiple dependent manipulations from a single command. Online reinforcement learning (RL) can improve these policies through environment interaction, yet many existing methods provide reward only after the complete task succeeds. However, such terminal supervision is sparse and does not distinguish early failures from rollouts that make substantial partial progress. We propose StructRL, an online RL framework that constructs structured intermediate supervision from verifiable subtask completions. StructRL decomposes each task into verifiable subtasks, grants intermediate rewards only after the prerequisite subtasks have been completed, and scales each reward according to completion pace. Across RoboCasa365 and LIBERO-Long with GR00T-N1.5 and pi 0.5, StructRL consistently outperforms evaluated online RL baselines. These results show that verifiable, structured intermediate rewards improve long-horizon VLA post-training. Code is available at https://github.com/amazon-science/StructRL.
- Abstract（参考訳）: 視覚言語アクション(VLA)モデルは、短い水平操作タスクではうまく機能するが、単一コマンドからの複数の依存操作を必要とする長い水平操作には依然として苦労する。
オンライン強化学習(RL)は環境相互作用を通じてこれらのポリシーを改善することができるが、既存の多くの手法はタスクが完了した後のみ報酬を提供する。
しかし、このような端末の監視は不十分であり、早期の障害と部分的に進行するロールアウトを区別しない。
検証可能なサブタスク補完から構造化中間監視を構築するオンラインRLフレームワークであるStructRLを提案する。
StructRLは各タスクを検証可能なサブタスクに分解し、必要なサブタスクが完了した後のみ中間報酬を付与し、完了ペースに応じて各報酬をスケールする。
RoboCasa365 と LIBERO-Long には GR00T-N1.5 と pi 0.5 があり、StructRL はオンライン RL ベースラインを一貫して上回っている。
これらの結果から,検証可能な構造化中間報酬が長期VLA後トレーニングを改善することが示唆された。
コードはhttps://github.com/amazon-science/StructRLで公開されている。
関連論文リスト
- TaskAnchor: Grounding Task State in Reactive VLAs for Long-Horizon Manipulation [49.02604313942616]
VLA(Reactive Vision-Language-action)ポリシーは、長時間の操作においてタスク状態のエイリアスに悩まされる。
本稿では,VLAのネイティブ入力空間に実行コンテキストを注入することでタスク状態を基底とする軽量アダプタTaskAnchorを提案する。
長期のベンチマークではTaskAnchorが大幅に上昇し、pi0.5とX-VLAのベースラインの平均的な成功率の6倍に達する。
論文 参考訳（メタデータ） (2026-09-20T11:57:10Z) - Beyond Flat Policies: Hierarchical Post-Training for Embodied Agents in Robotic Manipulation [34.87301719899886]
視覚言語アクション(VLA)モデルは、事前訓練された視覚言語モデルを活用することで、ロボット操作において顕著な能力を示した。
既存のポストトレーニング手法は、主にVLAモデルをフラットポリシーとして最適化し、タスクの進行を明示的にモデル化し、堅牢な長距離操作を行うのが困難である。
階層型ロボット制御(HiRoC)は,ハイレベルなタスク計画と低レベルなアクション実行を分離する階層型ポストトレーニングフレームワークである。
論文 参考訳（メタデータ） (2026-08-06T13:07:56Z) - Connect the Dots: Training LLMs for Long-Lifecycle Agents with Cross-Domain Generalization Via Reinforcement Learning [82.3676770818744]
大型言語モデル(LLM)を"Connect the Dots"(CoD)に接続するためのフレームワークを提案する。
LLMベースのAIエージェントが環境にデプロイされると、環境を継続的に探索しながら、タスクの長いシーケンスを解決する。
本稿では,詳細な信用代入を伴うGRPOスタイルのRLアルゴリズムを含む,CoDフレームワークの概念実証実装を提案する。
論文 参考訳（メタデータ） (2026-06-18T09:38:45Z) - Learning CLI Agents with Structured Action Credit under Selective Observation [10.420078730796321]
コマンドラインインタフェース(CLI)エージェントは、進化するエージェントとコンピュータの相互作用、実行可能なコマンドラインプログラム、オンライン実行フィードバックの実践パラダイムとして登場しつつある。
最近の研究では、これらのインタラクション能力を検証可能なタスクフィードバックから学習するために強化学習(RL)を使用しているが、CLIアクションのネイティブな構造化属性を学習信号として活用する手法はほとんどない。
シェル駆動型情報抽出とファイル編集タスクを用いて,これらのボトルネックについて検討する。
論文 参考訳（メタデータ） (2026-05-08T17:02:31Z) - Hierarchical Entity-centric Reinforcement Learning with Factored Subgoal Diffusion [36.28452252200851]
オフラインゴールコンディション強化学習(GCRL)のための階層型エンティティ中心フレームワークを提案する。
このフレームワークは、サブゴール分解と因子構造を組み合わせることで、ドメイン内の長い水平タスクを複数のエンティティで解決する。
本手法は画像ベース長軸タスクにおけるRLエージェントの性能を一定に向上することを示す。
論文 参考訳（メタデータ） (2026-02-02T19:40:54Z) - Scaling Long-Horizon LLM Agent via Context-Folding [46.685552398338295]
エージェントが作業コンテキストを積極的に管理することを可能にするフレームワークであるContext-Foldingを紹介します。
エージェントは、サブトラックに手続き的に分岐してサブタスクを処理し、完了時に折り畳み、結果の簡潔な要約を保持しながら中間ステップを崩壊させる。
論文 参考訳（メタデータ） (2025-10-13T22:00:58Z) - VerlTool: Towards Holistic Agentic Reinforcement Learning with Tool Use [78.29315418819074]
VerlToolは、体系的な設計原則を通じて制限に対処する統一的でモジュール化されたフレームワークです。
我々のフレームワークはARLTをマルチターントラジェクトリとして定式化し、マルチモード観測トークン(テキスト/画像/ビデオ)を単一ターンRLVRパラダイムを超えて拡張する。
モジュール化されたプラグインアーキテクチャは、軽量Python定義のみを必要とする迅速なツール統合を可能にする。
論文 参考訳（メタデータ） (2025-09-01T01:45:18Z) - URLB: Unsupervised Reinforcement Learning Benchmark [82.36060735454647]
教師なし強化学習ベンチマーク(URLB)を紹介する。
URLBは2つのフェーズで構成されている。
評価のために3つのドメインから12の連続制御タスクを提供し、8つの主要な教師なしRLメソッドに対してオープンソースコードを提供する。
論文 参考訳（メタデータ） (2021-10-28T15:07:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。