論文の概要: PACER: Process-Aware VLA Policy Learning from Human Corrections for Robotic Disassembly
- arxiv url: http://arxiv.org/abs/2610.19248v1
- Date: Tue, 13 Oct 2026 22:04:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.825587
- Title: PACER: Process-Aware VLA Policy Learning from Human Corrections for Robotic Disassembly
- Title(参考訳): PACER:ロボット解体のための人的補正から学ぶプロセス認識型VLAポリシー
- Abstract要約: PACERはプロセス認識の補正とエビデンス・リウェイト(Evidence Reweighting)フレームワークで,分解経験から学習する。
UR5eマザーボード上でのPACERを5つのクラスに分けて評価し,87/100のアプローチ・アンド・ハンドオフ試験に成功した。
- 参考スコア(独自算出の注目度): 22.182184085275413
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robotic disassembly of end-of-life (EoL) products requires robots to accommodate product variation, follow prerequisite sequences, and approach components precisely for contact-rich manipulation. Supervised fine-tuning (SFT) provides a practical path for adaptation, but limited and costly disassembly data cannot capture the distribution shifts arising from changing environments and product uncertainties. The policy's own rollouts record its approach attempts, and human corrections demonstrate recovery from its errors, but turning these experiences into better policy performance remains challenging. We introduce PACER, a Process-Aware Correction and Evidence Reweighting framework that learns from these experiences through SFT, using progress toward the target and each trace's source and outcome to weight valid action chunks in the native supervised action loss. PACER trains one policy per weighting setting and selects one of the resulting policies through held-out validation. We evaluate PACER on UR5e motherboard disassembly across five component classes, where it achieves 87/100 successful approach-and-handoff trials on the held-out benchmark, compared with 54/100 for vanilla post-SFT.
- Abstract(参考訳): エンド・オブ・ライフ(EoL)製品のロボットによる分解では、ロボットが製品の変化に適応し、前提条件のシーケンスに従い、接触に富んだ操作のために正確にコンポーネントにアプローチする必要がある。
Supervised Fine-tuning (SFT) は、適応のための実践的なパスを提供するが、環境や製品の不確実性の変化によって生じる分散シフトを、限定的でコストのかかる分解データでは捉えられない。
政策のロールアウトはアプローチの試みを記録し、人間の修正はエラーからの回復を実証するが、これらの経験をより良い政策パフォーマンスに変えることは依然として困難である。
PACER(Process-Aware Correction and Evidence Reweighting framework)は、これらの経験からSFTを通じて学習し、ターゲットおよび各トレースのソースへの進捗と結果を用いて、ネイティブ監視されたアクション損失における有効なアクションチャンクの重み付けを行う。
PACERは重み設定毎に1つのポリシーを訓練し、保留検証を通じて結果のポリシーの1つを選択する。
提案手法は,5つのクラスにまたがるUR5eマザーボード上でのPACERの評価を行い,バニラ後SFTでは54/100に対して,ホールドアウトベンチマークで87/100のアプローチ・アンド・ハンドオフ試験に成功した。
関連論文リスト
- Accelerating Reinforcement Learning via MPC Solver-Gradient Guidance for Weights-varying MPC [17.152519147246842]
本稿では,RLをベースとしたオンラインMPCコスト重み付けのためのソルバ感度向上手法を提案する。
SG-RL in Proximal Policy Optimization (PPO) with four modular algorithm that inject solver-gradient guidance into actor-update scaling, policy loss, advantage estimation, and value-function learning。
意図的なモデルミスマッチを持つ2つのフルスケールの自律レースプラットフォームにおいて、SG-RLは最大70.6%のサンプルでPPOの最高のクローズドループリターンに達し、クローズドループリターンにおいてGB-PLベースラインを少なくとも54%上回り、ゼロショットを目に見えない環境に一般化する。
論文 参考訳(メタデータ) (2026-09-01T10:55:18Z) - ORPA: Online Residual Policy Adaptation for Robot Manipulation Control with Human Feedback [1.711436622393758]
オンライン残留ポリシー適応(英語: Online Residual Policy Adaptation、ORPA)は、ロボット行動のフィードバック駆動による修正を可能にするフレームワークである。
ORPAは事前訓練された制御ポリシーを軽量でフィードバック条件付きモジュールで拡張し、関節空間内での残留調整を直接予測する。
ORPAをALOHAプラットフォームを用いて精度の高い操作タスクのセットで評価し、ベースライン制御ポリシやルールベースの逆運動学補正と比較して、小さな摂動による成功率と回復率の改善を実証した。
論文 参考訳(メタデータ) (2026-08-18T03:30:12Z) - IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。
IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。
政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
論文 参考訳(メタデータ) (2026-08-11T08:20:02Z) - OGPO: Sample Efficient Full-Finetuning of Generative Control Policies [53.42266064673132]
ジェネレーティブコントロールポリシー(GCP)は、ロボット学習に有効なパラメータ化として登場した。
この研究は、GCPを微調整するためのサンプル効率であるOGPO(Off-policy Generative Policy Optimization)を導入している。
OGPOはマルチタスク設定、高精度挿入、デクスタラス制御にまたがる操作タスクにおける最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2026-05-04T18:36:40Z) - PAPO: Stabilizing Rubric Integration Training via Decoupled Advantage Normalization [31.935482701047544]
本稿では,既存の報酬設計の2つの制約に対処するプロセスアウェア・ポリシー・オプティマイズ(PAPO)を提案する。
PAPOはプロセスレベルの評価をグループ相対政策最適化(GRPO)に統合する。
複数のモデルスケールと6つのベンチマークの実験は、PAPOがORMを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2026-03-27T15:48:13Z) - Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。
本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。
刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
論文 参考訳(メタデータ) (2026-03-04T14:48:53Z) - Verified Critical Step Optimization for LLM Agents [67.05296684575445]
クリティカルステップ最適化は、検証されたクリティカルステップに優先学習を集中する。
メソッドは、専門家のデモンストレーションではなく、失敗するポリシーの軌道から始まります。
GAIA-Text-103とXBench-DeepSearchの実験では、CSOはSFTベースラインよりも37%、相対的に26%改善している。
論文 参考訳(メタデータ) (2026-02-03T11:41:02Z) - BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping [69.74252624161652]
適応クリッピング(BAPO)を用いたBAlanced Policy Optimizationを提案する。
BAPOはクリッピングバウンダリを動的に調整し、適応的に正と負のコントリビューションを再バランスさせ、エントロピーを保持し、RL最適化を安定化させる。
AIME 2024とAIME 2025ベンチマークでは、7B BAPOモデルがSkyWork-OR1-7Bのようなオープンソースモデルを上回っています。
論文 参考訳(メタデータ) (2025-10-21T12:55:04Z) - Off-Policy Evaluation for Large Action Spaces via Policy Convolution [60.6953713877886]
ポリシ・コンボリューション(Policy Convolution)のファミリーは、アクション内の潜在構造を使用して、ログとターゲットポリシを戦略的に畳み込みます。
合成およびベンチマークデータセットの実験では、PCを使用する場合の平均二乗誤差(MSE)が顕著に改善されている。
論文 参考訳(メタデータ) (2023-10-24T01:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。