論文の概要: AtomicRL: Atomic Reinforcement Learning for Long-Horizon Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2610.30097v1
• Date: Wed, 21 Oct 2026 17:45:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.462799
• Title: AtomicRL: Atomic Reinforcement Learning for Long-Horizon Robotic Manipulation
• Title（参考訳）: AtomicRL:長距離ロボットマニピュレーションのための原子強化学習
• Abstract要約: AtomicRLは、信頼性の高い信用割当と適応探索にアトミックタスク構造を活用する、ポストトレーニングフレームワークである。 SAPOはセマンティック・アウェア・ゲーティング(semantic-aware gating)を使用して、失敗した原子サブタスクからのTD残基をタスク境界を越えて伝搬することを制限している。 BATEは、個々の原子サブタスクの熟達に基づいて、タスクサンプリングと局所的な探索インセンティブを動的に調整する。
• 参考スコア（独自算出の注目度）: 80.27828678921965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language-action (VLA) models have shown promise in robotic manipulation, but imitation learning (IL) alone often struggles to master complex long-horizon skills. Reinforcement learning (RL) offers an effective avenue for further improving VLA policies. However, existing VLA-RL methods typically suffer from delayed and biased credit assignment due to trajectory-level sparse rewards, while imbalanced subtask mastery creates bottlenecks that limit overall performance. To address these challenges, we propose AtomicRL, an RL post-training framework that leverages atomic task structures for reliable credit assignment and adaptive exploration. AtomicRL introduces Semantic-Aware Policy Optimization (SAPO), which uses semantic-aware gating to constrain TD residuals from failed atomic subtasks from propagating across task boundaries, mitigating credit contamination while preserving intra-subtask credit assignment and value bootstrapping. In addition, Bottleneck-Adaptive Target Exploration (BATE) dynamically coordinates task sampling and local exploration incentives based on the mastery of individual atomic subtasks, directing learning toward the remaining bottlenecks. Finally, we develop a Real2Sim2Real pipeline that bridges online RL in simulation with real-world deployment, facilitating practical transfer to physical robots. On LIBERO-LONG, AtomicRL achieves absolute performance gains of 3.6% and 4.0% over PPO across two VLA architectures. On CALVIN ABC-D, it improves full-task performance by up to 9.5% over PPO. Combined with the Real2Sim2Real pipeline, AtomicRL further improves real-world task performance by an average of 21.3%. These results demonstrate that AtomicRL effectively improves the learning efficiency and manipulation performance of VLA policies on long-horizon tasks.
• Abstract（参考訳）: 視覚言語アクション(VLA)モデルはロボット操作において有望であるが、模倣学習(IL)だけでは複雑なロングホライゾンスキルを習得するのに苦労することが多い。 強化学習(Reinforcement Learning, RL)は、VLAポリシーをさらに改善するための効果的な方法である。 しかしながら、既存のVLA-RL法は、トラジェクトリレベルのスパース報酬による遅延とバイアスのかかる信用割当に苦しむのが一般的であるが、不均衡なサブタスクマスターリーは、全体的なパフォーマンスを制限するボトルネックを生み出す。 これらの課題に対処するために、信頼性の高い信用割当と適応探索にアトミックタスク構造を利用するRLポストトレーニングフレームワークAtomicRLを提案する。 セマンティック・アウェア・ポリシー・オプティマイゼーション(SAPO)は、セマンティック・アウェア・ポリシー・オプティマイゼーション(SAPO)を導入し、セマンティック・アウェア・ゲーティング(Semantic-Aware Policy Optimization)は、セマンティック・アウェア・ゲーティング(Semantic-Aware Policy Optimization)と呼ばれる、セマンティック・ゲーティング(Semantic-Aware Policy Optimization)を使用して、タスク境界を越えたTD残量を制限し、サブタスク内クレジットの割り当てとバリューブートストラップを保ちながら信用汚染を緩和する。 さらに、Bottleneck-Adaptive Target Exploration (BATE)は、個々の原子サブタスクの熟達に基づいて、タスクサンプリングと局所的な探索インセンティブを動的に調整し、残りのボトルネックに学習を向ける。 最後に、リアル2Sim2Realパイプラインを開発し、オンラインRLを現実のデプロイメントにブリッジし、物理的なロボットへの現実的な移動を容易にする。 LIBERO-LONGでは、AtomicRLは2つのVLAアーキテクチャでPPOに対して3.6%と4.0%という絶対的なパフォーマンス向上を達成した。 CALVIN ABC-Dでは、PPOよりも最大9.5%パフォーマンスが向上した。 Real2Sim2Realパイプラインと組み合わせることで、AtomicRLはより平均21.3%の実際のタスク性能を向上させることができる。 これらの結果から,アトミックRLは長期タスクにおけるVLAポリシーの学習効率と操作性能を効果的に向上することが示された。

関連論文リスト

• VLA-Precision: Asymmetric Co-Bootstrapping for Efficient Real-World Online RL of Vision-Language-Action Models [18.46719160646894]
  事前訓練された視覚言語アクション(VLA)モデルは広い操作を可能にするが、精度と再現性を必要とするタスクでは信頼性が保たれる。 実世界のオンライン強化学習(RL)をVLAポストトレーニングに適用することで、デモだけでなく、自律的な試行錯誤の改善が可能になる。 Asymmetric Co-BootstrappingアルゴリズムとACoB-Streamアーキテクチャを特徴とする,効率的な実世界のオンラインRLフレームワークであるVLA-Precisionを提案する。
  論文  参考訳（メタデータ） (2026-09-03T18:19:36Z)
• HAF: Adapting Generalist VLAs to Humanoid Whole-Body Loco-manipulation via Hierarchical Action Flow and Spectral Latent RL [56.014913786737104]
  本稿では,HAF(Humanoid Adaptation Framework)を導入し,市販の汎用VLAファンデーションモデルをヒューマノイド全体のロコ操作に転送する。 HAF-VLAは、事前訓練されたフローマッチングVLA上に構築された階層型アクションフロージェネレータである。 HaF-Steerは、フローマッチングの可逆性とDCTに基づく次元削減を活用する、オフラインからオフラインまでの潜時パイプラインである。
  論文  参考訳（メタデータ） (2026-08-17T17:22:33Z)
• EXPO-FT: Sample-Efficient Reinforcement Learning Finetuning for Vision-Language-Action Models [84.73890225707264]
  提案するEXPO-FTは,事前学習したVLAポリシーの安定かつサンプル効率の良いRL微調整システムである。 本システムは,オンラインロボットデータの平均19.1分以内の全ての評価課題に対して,完全なタスク性能(30/30の成功)を実現する。 我々は、ロボット工学におけるVLAモデルのより広範なRLファインタニング導入を促進することを目的とした、オープンソースのロバスト性をリリースする。
  論文  参考訳（メタデータ） (2026-05-25T06:31:03Z)
• Jump-Start Reinforcement Learning with Vision-Language-Action Regularization [1.2599533416395767]
  強化学習(RL)は、ロボット操作のための高周波閉ループ制御を可能にする。 現在の制限は、高速かつ正確な操作において直接の使用を妨げる。 探索と学習効率を向上させるために,VLAJS(Vision-Language-Action Jump-Starting)を提案する。
  論文  参考訳（メタデータ） (2026-04-15T11:17:54Z)
• AtomicVLA: Unlocking the Potential of Atomic Skill Learning in Robots [92.18094199070693]
  現実世界のロボットタスクは、長い水平、多段階の問題解決を伴い、継続的なスキル獲得のために一般化を必要とすることが多い。 我々は、タスクレベルの計画、アトミックスキルの抽象化、きめ細かいアクションを共同で生成する統合計画実行フレームワークAtomicVLAを提案する。 シミュレーションでは、AtomicVLAはLIBEROで$_0$2.4%、LIBERO-LONGで10%、CALVINで$_0$と$_0.5$0.22、平均タスク長0.25よりパフォーマンスが良い。
  論文  参考訳（メタデータ） (2026-03-08T14:18:56Z)
• IG-RFT: An Interaction-Guided RL Framework for VLA Models in Long-Horizon Robotic Manipulation [2.7426517026004196]
  VLA(Vision-Language-Action)モデルは、ジェネラリストのロボット政策において大きな可能性を示している。 彼らは、分散シフトと高品質なデモンストレーションの不足により、新しい現実世界の領域における長期の複雑なタスクへの一般化に苦慮している。 本稿では,フローベースVLAモデル用に設計された対話型強化微細チューニングシステムIG-RFTを提案する。
  論文  参考訳（メタデータ） (2026-02-24T09:19:50Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• VLA-RL: Towards Masterful and General Robotic Manipulation with Scalable Reinforcement Learning [14.099306230721245]
  VLA-RLは、オンライン収集データをテスト時に改善する探索ベースのフレームワークである。 自動抽出タスクセグメントにアノテートされた擬似報酬ラベルに基づいてトレーニングされたロボットプロセス報酬モデルとして、事前学習された視覚言語モデルを微調整する。 VLA-RLにより、OpenVLA-7BはLIBEROの40の挑戦的なロボット操作タスクにおいて、最強の微調整ベースラインを4.5%超えることができる。
  論文  参考訳（メタデータ） (2025-05-24T14:42:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。