論文の概要: Efficient Test-Time Adaptation For Robot Policies

• arxiv url: http://arxiv.org/abs/2610.20318v1
• Date: Wed, 14 Oct 2026 15:05:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.213317
• Title: Efficient Test-Time Adaptation For Robot Policies
• Title（参考訳）: ロボットポリシーの効率的なテスト時間適応
• Abstract要約: TEMPOは、テスト時間エントロピー規則化、メモリ誘導ポリシー最適化手法である。 厳しいシフトの下で、批評家主導の更新を安定化させる。 TEMPOは一貫した利得をもたらし、単一デバイス設定で最大80%改善する。
• 参考スコア（独自算出の注目度）: 21.061320171756112
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement-learning policies for robot locomotion can fail at deployment when operating conditions shift (e.g., rough or slippery terrain, payload changes, sensing degradation), and retraining or manual recalibration is often infeasible under on-device latency and memory constraints. We study test-time adaptation (TTA) for robotic control: adapting a pretrained policy online and in a self-supervised manner during execution, without access to rewards. Our starting point is a lightweight baseline that updates only the actor using a frozen pretrained critic as a deployment-time performance surrogate. Building on this, we introduce TEMPO, a test-time entropy-regularized, memory-guided policy optimization method that stabilizes critic-driven updates under severe shift. TEMPO combines (i) an entropy-promoting regularizer on the critic's predictive distribution to mitigate overconfident extrapolation, and (ii) a score-based memory, inspired by prioritized replay, that prioritizes low-value ("hard") observations and applies importance sampling to focus limited computation on the most informative deployment conditions. Across Go1, Go2, and G1 in MuJoCo Playground under four representative shifts and multiple architectures, TEMPO yields consistent gains, reaching up to 80% improvement in a single-device setting. We further validate on a physical Unitree Go2 with an added calf payload, where fully on-device adaptation improves performance over the non-adapted baseline across real-world episodes.
• Abstract（参考訳）: ロボットの移動のための強化学習ポリシーは、動作条件のシフト(例えば、粗い地形や滑りやすい地形、ペイロードの変化、感度低下)時にデプロイ時に失敗する可能性がある。 ロボット制御のためのテスト時間適応(TTA)について検討した。 私たちの出発点は軽量なベースラインで、フリーズされた事前訓練された批評家をデプロイ時のパフォーマンスサロゲートとして使用することでアクターのみを更新します。 これに基づいて,批判駆動更新を高度シフト下で安定化するテスト時間エントロピー規則化メモリ誘導ポリシー最適化法TEMPOを導入する。 TEMPOが組み合わさる 一 過信外挿を緩和するための批評家の予測分布に関するエントロピー促進正規化業者 i) 優先度付けされたリプレイにインスパイアされたスコアベースのメモリで、低値(硬い)観測を優先し、重要サンプリングを適用して、限られた計算を最も有益な展開条件に集中させる。 MuJoCo PlaygroundのGo1、Go2、G1の4つの代表的なシフトと複数のアーキテクチャの下で、TEMPOは一貫性のあるゲインを獲得し、単一デバイス設定で最大80%改善する。 さらに、物理Unitree Go2にカルフペイロードを追加して検証し、デバイス上での完全な適応により、実世界のエピソードにまたがる非適応ベースラインのパフォーマンスが向上する。

関連論文リスト

• Proxy Policy Steering [18.880191675273796]
  汎用的なロボットポリシーは、大規模なデータから幅広い操作を先取りするが、それらを新しいタスクに専門化することは、デプロイメントのボトルネックのままである。 本稿では、この課題を解決する推論時適応法であるプロキシポリシーステアリング(PPS)を紹介する。 PPSは最先端のpi 0.5ベースポリシーを平均53%の絶対的な成功率で引き上げ、ベースが解決しないタスクでゼロ対1のゲインを得る。
  論文  参考訳（メタデータ） (2026-09-08T17:59:03Z)
• ORPA: Online Residual Policy Adaptation for Robot Manipulation Control with Human Feedback [1.711436622393758]
  オンライン残留ポリシー適応(英語: Online Residual Policy Adaptation、ORPA)は、ロボット行動のフィードバック駆動による修正を可能にするフレームワークである。 ORPAは事前訓練された制御ポリシーを軽量でフィードバック条件付きモジュールで拡張し、関節空間内での残留調整を直接予測する。 ORPAをALOHAプラットフォームを用いて精度の高い操作タスクのセットで評価し、ベースライン制御ポリシやルールベースの逆運動学補正と比較して、小さな摂動による成功率と回復率の改善を実証した。
  論文  参考訳（メタデータ） (2026-08-18T03:30:12Z)
• Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
  強化学習は、教師付き学習よりも構造的に難しい。 本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
  論文  参考訳（メタデータ） (2026-05-12T16:44:47Z)
• SOPE: Stabilizing Off-Policy Evaluation for Online RL with Prior Data [49.370849653460716]
  本稿では,アクタに整列したオフポリシー評価信号を用いたSOPEを,自動早期停止機構として提案する。 Minariベンチマークスイートから25の継続的制御タスクを評価した。 SOPEはベースライン性能を最大45.6%改善し、必要なTFLOPを最大22倍改善した。
  論文  参考訳（メタデータ） (2026-05-07T08:32:09Z)
• Stabilizing Reinforcement Learning with LLMs: Formulation and Practices [61.361819972410046]
  本稿では,REINFORCEなどの政策勾配法において,真のシーケンスレベルの報酬を代用トークンレベルの目的によって最適化できる理由と条件を示す。 この洞察は、RLトレーニングの安定化において、広く採用されているいくつかのテクニックの重要な役割について、原則化された説明を提供する。
  論文  参考訳（メタデータ） (2025-12-01T07:45:39Z)
• Relative Entropy Pathwise Policy Optimization [66.03329137921949]
  そこで本稿では,Q値モデルをオンライントラジェクトリから純粋に訓練するオンラインアルゴリズムを提案する。 安定トレーニングのための制約付き更新と探索のためのポリシを組み合わせる方法を示し、価値関数学習を安定化させる重要なアーキテクチャコンポーネントを評価する。
  論文  参考訳（メタデータ） (2025-07-15T06:24:07Z)
• AdaShadow: Responsive Test-time Model Adaptation in Non-stationary Mobile Environments [24.606016498430407]
  本稿では,非定常移動データ配信と資源動態のための応答性テスト時間適応フレームワークであるAdaShadowを提案する。 AdaShadowは、レイヤの重要度とレイテンシを推定する上での課題と、最適なレイヤ更新計画のスケジューリングに対処する。 その結果,AdaShadowは連続的なシフトの下で最高の精度-遅延バランスを達成することがわかった。
  論文  参考訳（メタデータ） (2024-10-10T16:41:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。