論文の概要: Training in Deployment: Human-in-the-loop Online Post-Training for Robot Manipulation

• arxiv url: http://arxiv.org/abs/2610.29264v1
• Date: Wed, 21 Oct 2026 06:15:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.25777
• Title: Training in Deployment: Human-in-the-loop Online Post-Training for Robot Manipulation
• Title（参考訳）: 展開トレーニング:ロボット操作のためのオンライントレーニング
• Abstract要約: オフラインのポストトレーニングは、デプロイエクスペリエンスを即座に吸収できないため、ゆっくりと適応する。 オンラインRLは一般的に価値関数やアクター批判モデルに依存し、トレーニングの複雑さと不安定性の両方を増大させる。 TIDE(Training In Deployment)は,オンラインポストトレーニングシステムである。
• 参考スコア（独自算出の注目度）: 49.02797790447162
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large pretrained robot foundation models provide strong priors for manipulation, yet adapting them to target tasks with offline teleoperated demonstrations often fails to cover the contact-rich, recovery, and precision-critical states encountered during deployment. Existing methods mitigate this issue by augmenting offline demonstrations with human-in-the-loop data or online reinforcement learning. Despite this, offline post-training adapts slowly because it cannot immediately absorb deployment experience, while online RL typically relies on value functions or auxiliary actor-critic models, increasing both training complexity and instability. We present TIDE (Training In DEployment), a human-in-the-loop online post-training system. TIDE introduces a provenance-conditioned supervised learning framework that updates the policy online from human interventions and policy-generated rollouts collected during deployment, without a learned critic, reward model, or action scorer. Across four real-world bimanual manipulation tasks, TIDE improves milestone-normalized task progress and binary full-task completion over the warm-start policy and matched additional offline demonstrations, and performs comparably to the fixed-policy collection baseline while making updated checkpoints available during deployment. Each task-specific online post-training session, from the start of deployment rollouts until the final checkpoint is available, completes in less than one hour while learning and checkpoint handling run asynchronously.
• Abstract（参考訳）: 大規模な事前訓練されたロボットファンデーションモデルは、操作のための強力な事前情報を提供するが、オフラインで遠隔操作されたデモでタスクをターゲットにすることで、デプロイメント中に発生するコンタクトリッチ、リカバリ、精度クリティカルな状態をカバーできないことが多い。 既存の方法では、人間のループデータやオンライン強化学習によるオフラインデモを拡大することで、この問題を軽減することができる。 これにもかかわらず、オフラインのポストトレーニングは、デプロイエクスペリエンスをすぐに吸収できないため、ゆっくりと適応する。一方オンラインRLは通常、価値関数や補助アクター批判モデルに依存し、トレーニングの複雑さと不安定性の両方を増大させる。 TIDE(Training In Deployment)は,オンラインポストトレーニングシステムである。 TIDEは、事前条件付き教師付き学習フレームワークを導入し、人間の介入や、デプロイメント中に収集されたポリシー生成ロールアウトから、学習した批評家、報酬モデル、アクションスコアラーなしで、オンラインでポリシーを更新する。 4つの実世界の双方向操作タスクの中で、TIDEは、ウォームスタートポリシに対するマイルストーン正規化タスクの進捗とバイナリフルタスクの補完を改善し、追加のオフラインデモと一致し、デプロイ中にチェックポイントを更新しながら、固定されたポリシーのコレクションベースラインと互換性を持って実行する。 デプロイの開始から最終チェックポイントまで、各タスク固有のオンラインポストトレーニングセッションは、1時間以内で完了し、学習とチェックポイント処理は非同期に実行される。

関連論文リスト

• Value as Memory: Online Value-Guided Post-training for General Robot Policies [50.13947063442376]
  バリューキャッシュとオンライン実世界の強化学習(RL)を通じて課題に対処するフレームワークであるValue as Memory(VaM)を提示する。 VaMはオフラインのRLウォームアップから、少額の報酬でオンラインの自律学習に移行する。 VaMの絶対成功率の平均は29.4%で、オンラインの自律学習と一致したオフライントレーニングで32.8%で上昇している。
  論文  参考訳（メタデータ） (2026-10-15T17:59:31Z)
• ACCRUE: Continual Off-Policy Reinforcement Learning for Robot Foundation Models [28.039393905115478]
  ACCRUEは、タスクにまたがる軽量アクターと批評家ネットワークを備えた、継続的なオフポリティックなRLフレームワークである。 タスク後の学習をほぼゼロにすることで加速し、実ロボットのトレーニング時間を31.0%から68.5%に大幅に短縮する。
  論文  参考訳（メタデータ） (2026-10-13T15:53:26Z)
• One Demonstration Is Enough for Real-World Robotic Reinforcement Learning [34.23164234669014]
  本稿では,実世界のロボットRLにおける介入プロセスを完全に自動化するために,ひとつのデモンストレーションを利用するAutoSERLを提案する。 2つのロボットプラットフォームにまたがる6つの接触集中操作タスク(挿入、吊り下げ、ヒンジベースタスク)についてAutoSERLを評価した。
  論文  参考訳（メタデータ） (2026-07-02T03:23:40Z)
• Adapting Generalist Robot Policies with Semantic Reinforcement Learning [59.009122725071386]
  ジェネラリストロボットポリシーは、大規模な事前訓練から多様な行動のレパートリーを学ぶ。 本稿では,オンラインインタラクションを通じて,このプロンプト空間を最適化するためのセマンティック・アクション強化学習(SARL)を提案する。 我々は、SARLが基本的に新しい機能をアンロックしていることを示します。
  論文  参考訳（メタデータ） (2026-06-30T17:00:33Z)
• Self-adapting Robotic Agents through Online Continual Reinforcement Learning with World Model Feedback [2.165723322157105]
  この作業は、デプロイ中の自動適応を可能にするオンライン連続強化学習のためのフレームワークを提供する。 提案手法は,世界モデル予測残差を利用して分布外事象を検出し,自動的に微調整をトリガーする。 このアプローチは、高忠実度シミュレーションにおける四足歩行ロボットを含む、様々な現代の連続制御問題に対して検証される。
  論文  参考訳（メタデータ） (2026-03-04T13:07:42Z)
• SOP: A Scalable Online Post-Training System for Vision-Language-Action Models [15.86316960521611]
  視覚言語アクション(VLA)モデルは、大規模な事前訓練を通じて強力な一般化を実現するが、現実の展開には幅広い汎用性に加えて、専門家レベルのタスク能力が必要である。 VLAモデルの既存のトレーニング後のアプローチは、通常、オフライン、シングルロボット、タスク固有である。 本稿では,一般VLAモデルのオンライン,分散,マルチタスクのポストトレーニングを物理世界に直接適用可能なスケーラブルオンラインポストトレーニングシステムを提案する。
  論文  参考訳（メタデータ） (2026-01-06T14:25:11Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• Offline-to-Online Reinforcement Learning via Balanced Replay and Pessimistic Q-Ensemble [135.6115462399788]
  深いオフライン強化学習により、オフラインデータセットから強力なロボットエージェントをトレーニングすることが可能になった。 状態-作用分布シフトは、微調整中に厳しいブートストラップエラーを引き起こす可能性がある。 本稿では,オンライン上で遭遇したサンプルを優先しながら,ほぼ政治的なサンプルの使用を奨励するバランスの取れたリプレイ方式を提案する。
  論文  参考訳（メタデータ） (2021-07-01T16:26:54Z)
• AWAC: Accelerating Online Reinforcement Learning with Offline Datasets [84.94748183816547]
  提案手法は,従来の実演データとオンライン体験を組み合わせることで,スキルの素早い学習を可能にする。 以上の結果から,事前データを組み込むことで,ロボット工学を実践的な時間スケールまで学習するのに要する時間を短縮できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-16T17:54:41Z)
• Online Constrained Model-based Reinforcement Learning [13.362455603441552]
  主要な要件は、限られた時間とリソース予算内に留まりながら、継続的な状態とアクションスペースを扱う能力である。 本稿では,ガウス過程回帰と回帰水平制御を組み合わせたモデルに基づくアプローチを提案する。 本研究では,自動走行作業におけるオンライン学習のメリットを実証する。
  論文  参考訳（メタデータ） (2020-04-07T15:51:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。