Fugu-MT 論文翻訳(概要): PAC-ACT: Post-training Actor-Critic for Action Chunking Transformers

論文の概要: PAC-ACT: Post-training Actor-Critic for Action Chunking Transformers

arxiv url: http://arxiv.org/abs/2607.09590v1
Date: Fri, 10 Jul 2026 16:42:17 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-13 16:48:13.457291
Title: PAC-ACT: Post-training Actor-Critic for Action Chunking Transformers
Title（参考訳）: PAC-ACT:Action Chunking Transformersのためのポストトレーニングアクタクリティカル
Abstract要約: PAC-ACTは、事前訓練されたアクションチャンキングトランスフォーマーポリシーのための強化学習フレームワークである。 PAC-ACTは、低レイテンシと低GPUメモリ使用率を維持しながら、タスク成功、コンタクト安定性、安全性を向上する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Precision industrial contact manipulation requires reliable robot policies under pose perturbations and contact-force constraints. Vision-language-action models offer broad generalization but often introduce high inference latency and GPU-memory cost, while vision-action chunking policies are more suitable for real-time industrial control. However, these policies are usually trained by behavior cloning and suffer from distribution shift in contact-rich tasks. This paper proposes PAC-ACT, a reinforcement-learning post-training framework for pretrained Action Chunking Transformer policies. PAC-ACT reformulates policy optimization at the chunk level, constructs an ACT-transferred actor-critic architecture, and introduces a hybrid behavior-prior constraint to preserve the pretrained action distribution during online fine-tuning. Experiments on industrial precision-contact benchmarks show that PAC-ACT improves task success, contact stability, and force safety while retaining low latency and low GPU-memory usage. On the Contour task, PAC-ACT significantly reduces peak contact force and decreases the proportion of force readings above 60 N by 46 times. Sparse-reward ablations further show that the proposed behavior-prior constraint enables effective exploration under randomized initial poses.
Abstract（参考訳）: 精密な産業接触操作には、ポーズの摂動と接触力の制約の下での信頼性の高いロボットポリシーが必要である。ビジョン言語アクションモデルは広範な一般化を提供するが、しばしば高い推論遅延とGPUメモリコストをもたらすが、ビジョンアクションチャンキングポリシーはリアルタイム産業制御により適している。しかしながら、これらのポリシーは通常、行動クローニングによって訓練され、コンタクトリッチなタスクの分散シフトに悩まされる。本稿では、事前訓練されたアクションチャンキング変換器ポリシーのための強化学習後学習フレームワークであるPAC-ACTを提案する。 PAC-ACTは、チャンクレベルでポリシーの最適化を再構築し、ACT-transferred actor-criticアーキテクチャを構築し、オンラインの微調整中に事前訓練された行動分布を保存するために、ハイブリッドな行動優先制約を導入する。産業用精密接触ベンチマークの実験によると、PAC-ACTは低レイテンシと低GPUメモリ使用率を維持しながら、タスクの成功、接触安定性、強制安全を改善している。 Contourタスクでは、PAC-ACTはピーク接触力を著しく減少させ、60N以上の力の読み出し率を46倍減少させる。スパース・リワード・アブレーションは、提案した行動優先制約により、ランダム化初期ポーズの下で効果的な探索が可能になることをさらに示している。

関連論文リスト

ORPA: Online Residual Policy Adaptation for Robot Manipulation Control with Human Feedback [1.711436622393758]
オンライン残留ポリシー適応(英語: Online Residual Policy Adaptation、ORPA)は、ロボット行動のフィードバック駆動による修正を可能にするフレームワークである。 ORPAは事前訓練された制御ポリシーを軽量でフィードバック条件付きモジュールで拡張し、関節空間内での残留調整を直接予測する。 ORPAをALOHAプラットフォームを用いて精度の高い操作タスクのセットで評価し、ベースライン制御ポリシやルールベースの逆運動学補正と比較して、小さな摂動による成功率と回復率の改善を実証した。
論文参考訳（メタデータ） (2026-08-18T03:30:12Z)
PPO-EAL: Exact Augmented Lagrangian Proximal Policy Optimization for Safe Robotic Control [8.882504398064087]
PPO-EALは、新しい一階制約付きポリシー最適化フレームワークである。高度に強化されたラグランジアン最適化を、安全なロボット制御のためのポリシー最適化に統合する。致命的な大きなペナルティ要因を必要とせず、理論的に根拠づけられた制約執行を達成する。
論文参考訳（メタデータ） (2026-06-26T08:59:38Z)
TORL-VLA: Tactile Guided Online Reinforcement Learning for Contact-Rich Manipulation [24.661831588991898]
TORL-VLAは、触覚フィードバックとポリシーの強化を組み合わせた、コンタクトリッチな操作のためのオンライン強化学習フレームワークである。本手法では, 触覚由来のレンチ認識型VLAを用いて, 参照動作と将来のレンチシーケンスを予測する。探索的政策と人為的介入の混成データから学習を安定させるために,介入検閲された評論家を紹介する。
論文参考訳（メタデータ） (2026-06-08T11:05:05Z)
Beyond Binary: Sim-to-Real Dexterous Manipulation with Physics-Grounded Contact Representation [51.463992799813816]
コンタクトリッチな操作における主要なボトルネックは、現実世界のデータ収集の難しさである。物理原理に基づく効果的な触覚表現であるCenter-of-Pressureを紹介する。我々は2つのブラインドで困難なコンタクトリッチな操作タスクについてCoPを評価する。
論文参考訳（メタデータ） (2026-05-27T17:59:02Z)
ForceFlow: Learning to Feel and Act via Contact-Driven Flow Matching [53.30290192030814]
ForceFlowは、フローマッチングに基づいて構築された、フォース対応のリアクティブフレームワークである。 ForceFlowは、強力なベースラインであるForceVLAよりも37%の成功率の向上を実現している。また、接触力の自己調節において、正確な力信号予測と優れた性能を示す。
論文参考訳（メタデータ） (2026-05-11T13:27:00Z)
LaST-R1: Reinforcing Robotic Manipulation via Adaptive Physical Latent Reasoning [90.86828952599147]
提案するLaST-R1(LaST-R1)は,「最近の推論・行動」政策を活用するために設計された,新しい強化学習フレームワークである。 LaST-R1 は LIBERO ベンチマークで 99.9% の平均成功率を達成した。実世界の展開では、LaST-R1はSOTAが監督する微調整アプローチよりも22.5%平均的に改善されている。
論文参考訳（メタデータ） (2026-04-30T17:59:52Z)
Learning-Guided Force-Feedback Model Predictive Control with Obstacle Avoidance for Robotic Deburring [5.6561185194861565]
特にデバリングには、正確な工具挿入、安定した力調節、衝突のない円運動が必要である。本稿では,これらの課題に対処するために,力覚フィードバックMPCと拡散に基づく動きを統合化するためのフレームワークを提案する。
論文参考訳（メタデータ） (2026-04-07T17:43:32Z)
PhaForce: Phase-Scheduled Visual-Force Policy Learning with Slow Planning and Fast Correction for Contact-Rich Manipulation [25.000758938670064]
PhaForceは、低レートのチャンクレベルの計画と高レートの残差補正を調整する、位相スケジューリングされた視覚力ポリシーである。複数の実ロボットとの接触が豊富なタスクの中で、PhaForceは平均86%の成功率を達成した。
論文参考訳（メタデータ） (2026-03-09T13:03:29Z)
Posterior Behavioral Cloning: Pretraining BC Policies for Efficient RL Finetuning [87.81738284453013]
まず,標準行動クローニング (BC) が実証者の行動のカバレッジを確保するのに失敗することを理論的に示す。次に、観測された実演を正確に適合させる代わりに、実証者の行動の後部分布をモデル化する政策を訓練することを示した。このポリシーは、デモ隊の行動の報道を確実にし、より効果的な微調整を可能にする。
論文参考訳（メタデータ） (2025-12-18T18:59:17Z)
SPACeR: Self-Play Anchoring with Centralized Reference Models [50.55045557371374]
Simエージェントポリシーは、現実的で、人間らしく、高速で、マルチエージェント設定でスケーラブルである。大規模な拡散モデルやトークン化モデルを用いた模倣学習の最近の進歩は、人間の運転データから直接行動を把握することができることを示している。本研究では,事前訓練されたトークン化自己回帰運動モデルを利用したSPACeRを提案する。
論文参考訳（メタデータ） (2025-10-20T19:53:02Z)
Distributed Adaptive Learning Under Communication Constraints [54.22472738551687]
本研究では,コミュニケーション制約下での運用を目的とした適応型分散学習戦略について検討する。我々は,ストリーミングデータの連続的な観察から,オンライン最適化問題を解決しなければならないエージェントのネットワークを考える。
論文参考訳（メタデータ） (2021-12-03T19:23:48Z)
Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
論文参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。