論文の概要: Beyond Imitation: Self-Improving Robot Policies via Off-Policy Q-Planning

• arxiv url: http://arxiv.org/abs/2608.21204v1
• Date: Fri, 21 Aug 2026 15:18:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.616841
• Title: Beyond Imitation: Self-Improving Robot Policies via Off-Policy Q-Planning
• Title（参考訳）: 自己改善型ロボット「Beyond Imitation」
• Abstract要約: BC(Behaviour Cloning)は、ロボット操作において顕著な進歩を導いてきたが、自己改善能力の欠如によって制限されている。 本稿では,Q-Planningを提案する。このQ-Planningは,バイスモータBCの政策と,政治以外のQ-関数を併せ持つ。 我々は、この非対称性を利用して、推論およびオンライン自己改善における価値誘導行動選択を可能にする。
• 参考スコア（独自算出の注目度）: 38.9012588400004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Behaviour Cloning (BC) has driven remarkable progress in robot manipulation, yet it is fundamentally limited by its inability to self-improve: a policy that fails cannot learn from that failure without additional human demonstrations. Reinforcement Learning fine-tuning offers a path to self-improvement but has proven difficult to scale to the multi-billion-parameter models underpinning modern robot policies. We propose Q-Planning, which equips a large visuomotor BC policy with a small off-policy Q-function. Because a Q-function estimates value rather than imitates actions, it can be trained on the same successful demonstrations as the BC policy and later absorb both successful and failed deployment rollouts, an asymmetry BC does not have. We exploit this asymmetry to enable value-guided action selection at inference (a single-step Q-weighted average over BC draws) and online self-improvement that fine-tunes only the Q-function, leaving the BC weights untouched. On LIBERO and bimanual RoboTwin, ten iterations of self-improvement lift every benchmark score we tested (LIBERO-10 93% to 99%, RoboTwin 83.8% to 91.4%) and shorten successful episodes on the near-ceiling suites (LIBERO-Object, LIBERO-Goal). On two contact-rich bimanual real-robot tasks, the same loop (BC frozen, no human intervention) improves purely from its own deployment rollouts: stack-cups 40% to 90% and insert-wallet 25% to 80% in five iterations, whereas SFT on successful rollouts alone stalls at 55% and 30%. Under an identical online budget Q-Planning is the only method, among Best-of-N, filtered SFT, IBRL, DSRL, and DAWR, that improves stably from failures without training an auxiliary actor.
• Abstract（参考訳）: BC(Behaviour Cloning)は、ロボット操作において顕著な進歩を導いてきたが、自己改善ができないことによって、基本的に制限されている。 強化学習は自己改善への道筋を提供するが、現代のロボット政策を支えるマルチビリオンパラメータモデルにスケールすることが困難であることが証明されている。 本稿では,Q-Planningを提案する。このQ-Planningは,バイスモータBCの政策と,政治以外のQ-関数を併せ持つ。 Q関数はアクションを模倣するよりも価値を推定するので、BCポリシーと同じ成功例で訓練し、後に成功例と失敗例の両方を吸収することができる。 我々は、この非対称性を利用して、推論における値誘導的行動選択(BCの描画よりも1ステップのQ重み付き平均)と、Q-函数のみを微調整し、BCの重みをそのまま残すオンライン自己改善を可能にする。 LIBERO と Bimanual RoboTwin では、テストしたベンチマークスコア(LIBERO-10 93%から99%)、RoboTwin 83.8%から91.4%)を10回の自己改善リフトし、ニアシーリングスイート(LIBERO-Object, LIBERO-Goal)で成功したエピソードを短縮した。 スタックカップは40%から90%、挿入ウォールは5回のイテレーションで25%から80%、成功したロールアウトだけではSFTは55%と30%で停止する。 同一のオンライン予算の下では、Q-PlanningはBest-of-N, filtered SFT, IBRL, DSRL, DAWRの中で唯一の方法であり、補助俳優を訓練せずに安定して失敗から改善する。

関連論文リスト

• TACIT-Switch: Cost-Aware Model Escalation for LLM Agents from Censored Supervision [2.681967953218225]
  より小さな言語モデルバックボーンを持つエージェントは永続的な障害モードにドリフトできるが、より大きなバックボーンを持つエージェントは一般的により信頼性が高いがよりコストがかかる。 この信頼性の高いトレードオフは、より大きなバックボーンを持つエージェントをいつ呼び出すかを決定するルーティングメソッドを動機付けます。 提案手法であるTACIT-SWITCHは,蓄積された軌跡の証拠から永久的ハンドオフポリシーを学習する。
  論文  参考訳（メタデータ） (2026-08-28T04:33:11Z)
• Max-Q Selective Imitation for Human-in-the-Loop Online Robot Learning [1.96243636752331]
  実際のロボットのためのHIL(Human-in-the-loop)オンライン強化学習は、人間の介入を素早く吸収し、人間の先行性を超えて改善し続けなければならない。 本稿では,この2つのコンポーネントをベースとしたトレーニング手法を提案する。 emphMC Q-chunk 批判者は、モンテカルロへのチャンクレベルのアクション値をリプレイバッファから返します。 emphmax-Qの選択的な模倣は、各状態において、現在のポリシーアクションとバッファサンプルの間の高額なQ$アクションを模倣することでアクターを更新する。
  論文  参考訳（メタデータ） (2026-08-15T07:13:59Z)
• Efficient Real-World Online Reinforcement Learning for Robot Manipulation via Centralized Training and Critic Decomposition [16.480150894507908]
  集中型トレーニングと分散実行(CTDE)とハイブリッドリワードアーキテクチャ(HRA)を組み合わせた統合フレームワークを導入する。 実験の結果,提案フレームワークはサンプル効率と政策性能の両方を大幅に改善することがわかった。 本手法は,最先端のベースラインと比較して,テニスボールのピック・アンド・プレイスにおける成功率を60%から80%に向上させる。
  論文  参考訳（メタデータ） (2026-08-10T15:54:25Z)
• Learning from Failure: Inference-Time Self-Improvement for Computer-Use Agents [80.03824805228719]
  コンピュータ利用エージェントを開発する上での大きな課題は、大規模で高品質な軌道を収集することである。 我々は、失敗した軌道をエージェント改善に変換するデータ中心のパラダイムを提案する。 この手法をOSWorldベンチマーク上で,最先端のOpenCUA-72Bモデルを用いて検証する。
  論文  参考訳（メタデータ） (2026-06-30T07:44:37Z)
• FORCE: Efficient VLA Reinforcement Fine-Tuning via Value-Calibrated Warm-up and Self-Distillation [40.53898394579726]
  FORCEは、両方の問題に取り組むことで微調整を安定化する3段階のフレームワークである。 FORCEは成功率を79%向上させ、RL法を10%向上させ、トレーニングを32.5%加速させた。
  論文  参考訳（メタデータ） (2026-06-24T16:23:18Z)
• DRL-Based Pose Control for Double-Ackermann Robots Under Actuation Uncertainties [0.7322887425853787]
  DRLフレームワークであるManeuverNetをベースとして、位置制御からフルポーズ制御までその目的を拡張し、より困難なタスクを実現する。 我々は,ガゼボで観測されたアクティベーション効果をPyBulletトレーニング環境に組み込む,シミュレート・トゥ・シミュレート・トゥ・リアルなアプローチを採用する。 このアプローチは、シミュレータ間のパフォーマンスギャップを大幅に削減し、Gazeboで最大92%の成功率を実現し、より厳格なしきい値の下で69%を維持する。
  論文  参考訳（メタデータ） (2026-05-29T19:37:30Z)
• Verified Critical Step Optimization for LLM Agents [67.05296684575445]
  クリティカルステップ最適化は、検証されたクリティカルステップに優先学習を集中する。 メソッドは、専門家のデモンストレーションではなく、失敗するポリシーの軌道から始まります。 GAIA-Text-103とXBench-DeepSearchの実験では、CSOはSFTベースラインよりも37%、相対的に26%改善している。
  論文  参考訳（メタデータ） (2026-02-03T11:41:02Z)
• Squeeze the Soaked Sponge: Efficient Off-policy Reinforcement Finetuning for Large Language Model [56.92219181993453]
  本稿では,PPOやGRPOなどのオンラインRFT手法をオフ・ポリティクスデータに活用するために,Reincarnating Mix-policy Proximal Policy Gradient (ReMix)を提案する。 ReMix は,(1) 効率的なトレーニングのための更新データ(UTD)比が増大した混成政策勾配,(2) 安定性と柔軟性のトレードオフのバランスをとるためのKL-Convex 政策制約,(3) 効率的な早期学習から安定した改善へのシームレスな移行を実現するための政策再編成の3つの主要な構成要素から構成される。
  論文  参考訳（メタデータ） (2025-07-09T14:29:45Z)
• One-Step Diffusion Policy: Fast Visuomotor Policies via Diffusion Distillation [80.71541671907426]
  OneStep Diffusion Policy (OneDP)は、事前訓練された拡散政策から知識を単一ステップのアクションジェネレータに蒸留する新しいアプローチである。 OneDPはロボット制御タスクの応答時間を著しく短縮する。
  論文  参考訳（メタデータ） (2024-10-28T17:54:31Z)
• FLaRe: Achieving Masterful and Adaptive Robot Policies with Large-Scale Reinforcement Learning Fine-Tuning [74.25049012472502]
  FLaReは、堅牢な事前訓練された表現、大規模なトレーニング、勾配安定化技術を統合する大規模な強化学習フレームワークである。 提案手法は,タスク完了に向けた事前訓練されたポリシーを整列し,これまで実証され,全く新しいタスクや実施状況において,最先端(SoTA)のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-09-25T03:15:17Z)
• Self-Improving Robust Preference Optimization [22.493029742076605]
  オンラインおよびオフラインのRLHFメソッドは、AIと人間の好みを合わせることに成功している。 本稿では,実用的で数学的に規定されたオフラインRLHFフレームワークである自己改善ロバスト推論最適化(SRPO)を提案する。 SRPO は,大規模な標準教師あり学習技術を用いて効率よく最適化できることを示す。
  論文  参考訳（メタデータ） (2024-06-03T17:53:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。