論文の概要: CSO: Refining Robotic Policies via Skill Distribution Alignment and Skill-Grained Optimization

• arxiv url: http://arxiv.org/abs/2610.38357v1
• Date: Wed, 28 Oct 2026 06:56:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.379472
• Title: CSO: Refining Robotic Policies via Skill Distribution Alignment and Skill-Grained Optimization
• Title（参考訳）: CSO:スキル分布アライメントとスキルグラインド最適化によるロボットポリシーの精錬
• Abstract要約: 本稿では,2段階のポストトレーニングフレームワークCascaded Skills Optimization (CSO)を紹介する。 Rejection-Sampling Supervised Fine-tuningは、モデルの観察とスキルのマッピングと、成功したオンライントラジェクトリの分布を一致させる。 スキルポリシー最適化(Skills Policy Optimization)は、独立したクリップされた各スキルの重要度を計算し、安定的で効率的な更新を可能にする。
• 参考スコア（独自算出の注目度）: 25.779812184549627
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discretizing continuous actions into discrete skills using methods like VQ-VAE has emerged as a powerful paradigm for robotic manipulation. However, quantization errors yield a suboptimal distribution for the skill prior, degrading its performance. While reinforcement learning offers a path for refinement, its direct application faces unstable encoder updates and a granularity dilemma in importance sampling. To address these challenges, we introduce Cascaded Skills Optimization (CSO), a two-stage post-training framework. First, Rejection-Sampling Supervised Fine-tuning aligns the model's observation-to-skill mapping with the distribution of successful online trajectories via supervised fine-tuning. Second, with the observation encoder frozen, Skills Policy Optimization computes an independent, clipped importance ratio for each complete skill, enabling stable and efficient updates. With a lightweight QueST-style policy, CSO raises overall LIBERO success from 80.1% to 97.5%, improves performance on RoboTwin2.0, and achieves 61.0% success across five physical single-arm tasks. Additional comparisons with FAST, discrete BEAST, and fixed-buffer IQL further validate the effectiveness of our two-stage post-training strategy.
• Abstract（参考訳）: VQ-VAEのような手法を用いて、連続的なアクションを個別のスキルに識別することは、ロボット操作の強力なパラダイムとして現れている。 しかし、量子化誤差は、その性能を劣化させる前に、そのスキルに対して最適以下の分布をもたらす。 強化学習は改良のためのパスを提供するが、その直接的な応用は不安定なエンコーダ更新と重要サンプリングにおける粒度ジレンマに直面している。 これらの課題に対処するために,2段階のポストトレーニングフレームワークであるCascaded Skills Optimization (CSO)を紹介した。 第一に、Rejection-Sampling Supervised Fine-tuningは、モデルの観察とスキルのマッピングと、教師付き微調整を通して成功したオンライン軌跡の分布を一致させる。 第二に、観察エンコーダの凍結により、スキルポリシー最適化は、独立したクリップされた各スキルの重要度を計算し、安定的で効率的な更新を可能にする。 軽量なQueSTスタイルのポリシーにより、CSOはLIBERO全体の成功率を80.1%から97.5%に引き上げ、RoboTwin2.0のパフォーマンスを改善し、5つの物理シングルアームタスクで61.0%の成功を達成した。 FAST、離散BEAST、固定バッファIQLとのさらなる比較は、2段階のポストトレーニング戦略の有効性をさらに検証します。

関連論文リスト

• Trust-Calibrated VLA Policy Post-Training with Evolving Imagination [60.998903003181006]
  既存の改善パラダイムは信頼性と効率性の緊張を露呈する。 本稿では,モデル進化強化学習(MERL, Model-Evolving Reinforcement Learning)を提案する。 摂動型LIBERO-PROタスクでは、MERLは平均79.7%の成功を達成し、マッチしたモデルフリー制御よりも10.9%の高閾値学習速度を向上し、同じプロトコール外部ベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-10-12T10:08:28Z)
• SkillCome: Group Contrast Skill Optimization with Dual Memory [61.4363992740827]
  本稿では,デュアルメモリを用いたグループコントラスト最適化に基づくスキル進化手法であるSkillComeを提案する。 各質問に対して、SkillComeは軌道を生成し、グループコントラスト解析を行う。 デュアルメモリシステムは、異なるグループ間で共有されるパターンを追跡するために、歴史的なステップから証拠を蓄積する。
  論文  参考訳（メタデータ） (2026-09-29T09:33:39Z)
• Learning from Failure: Inference-Time Self-Improvement for Computer-Use Agents [80.03824805228719]
  コンピュータ利用エージェントを開発する上での大きな課題は、大規模で高品質な軌道を収集することである。 我々は、失敗した軌道をエージェント改善に変換するデータ中心のパラダイムを提案する。 この手法をOSWorldベンチマーク上で,最先端のOpenCUA-72Bモデルを用いて検証する。
  論文  参考訳（メタデータ） (2026-06-30T07:44:37Z)
• FORCE: Efficient VLA Reinforcement Fine-Tuning via Value-Calibrated Warm-up and Self-Distillation [40.53898394579726]
  FORCEは、両方の問題に取り組むことで微調整を安定化する3段階のフレームワークである。 FORCEは成功率を79%向上させ、RL法を10%向上させ、トレーニングを32.5%加速させた。
  論文  参考訳（メタデータ） (2026-06-24T16:23:18Z)
• EXPO-FT: Sample-Efficient Reinforcement Learning Finetuning for Vision-Language-Action Models [84.73890225707264]
  提案するEXPO-FTは,事前学習したVLAポリシーの安定かつサンプル効率の良いRL微調整システムである。 本システムは,オンラインロボットデータの平均19.1分以内の全ての評価課題に対して,完全なタスク性能(30/30の成功)を実現する。 我々は、ロボット工学におけるVLAモデルのより広範なRLファインタニング導入を促進することを目的とした、オープンソースのロバスト性をリリースする。
  論文  参考訳（メタデータ） (2026-05-25T06:31:03Z)
• CoT-Saliency: Unified Chain-of-Thought Reasoning for Heterogeneous Saliency Tasks [96.64597365827046]
  本稿では,3つの運用上不均一なサリエンシタスクを共同で処理する,最初の統合フレームワークを提案する。 タスクの不均一性を橋渡しする視覚言語モデル(VLM)において、チェーン・オブ・ソート(CoT)推論プロセスを導入する。 我々は,全タスクにまたがる特別なSOTA手法と強力なクローズドソースVLMの整合性を示す。
  論文  参考訳（メタデータ） (2025-11-01T04:37:01Z)
• Boosting LLM Reasoning via Spontaneous Self-Correction [43.4980625253775]
  数学推論を改善するためのアプローチの1つは自己補正である。 既存の自己補正アプローチは、修正を独立したポストジェネレーションとして扱う。 本研究では,LLMが単一推論パスでインターリーブされた解と検証を生成できる自己補正手法であるSPOCを提案する。
  論文  参考訳（メタデータ） (2025-06-07T21:23:00Z)
• Criticality Leveraged Adversarial Training (CLAT) for Boosted Performance via Parameter Efficiency [15.211462468655329]
  CLATは、パラメータ効率を敵のトレーニングプロセスに導入し、クリーンな精度と敵の堅牢性の両方を改善した。 既存の対数訓練法に応用でき、トレーニング可能なパラメータの数を約95%削減できる。
  論文  参考訳（メタデータ） (2024-08-19T17:58:03Z)
• Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
  敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。 汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T13:13:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。