論文の概要: Demonstration-Calibrated Port-Hamiltonian Retuning for Manipulation Policies
- arxiv url: http://arxiv.org/abs/2610.05755v2
- Date: Tue, 06 Oct 2026 21:49:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.440157
- Title: Demonstration-Calibrated Port-Hamiltonian Retuning for Manipulation Policies
- Title（参考訳）: マニピュレーションポリシの実証校正型ポート・ハミルトニアン再構成
- Abstract要約: PHRetuneはオフラインのメソッドで、ロールアウトの評価や検索の取得なしに、フリーズポリシのコントローラゲインを導出する。
我々のアプローチは、政策の予測行動に関連する労力とエネルギーを推定するために、実証からポート・ハミルトンモデルを学ぶ。
LIBEROスイート全体では、PHRetuneは拡散政策の成功を最大9.4ポイント改善している。
- 参考スコア（独自算出の注目度）: 6.391974758970537
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion and VLA policies for manipulation are often deployed through downstream impedance controllers. The stiffness and damping gains of these controllers affect task success, yet are commonly inherited from data collection rather than selected for the deployed policy. Although empirical gain sweeps can improve performance, they require repeated evaluation rollouts. We introduce PHRetune, an offline method that derives controller gains for a frozen policy without evaluation rollouts or gain search. Our approach learns a port-Hamiltonian model from demonstrations to estimate the effort and energy associated with the policy's predicted actions. The policy is applied to recorded demonstration observations, and its predictions are assessed against demonstration-derived effort and energy budgets. From this comparison, we derive a single gain scale in closed form, adjusting the downstream controller while preserving the policy and its action representation. The gains are fixed before evaluation, without requiring a prior manipulator model, task rewards, policy retraining, or additional runtime computation. Across LIBERO suites, PHRetune improves Diffusion Policy success by up to 9.4 percentage points, with the derived gains achieving the highest observed success rates in empirical gain sweeps. On all four real-world manipulation tasks, PHRetuned Diffusion Policy outperforms the nominal policy, alternative gain-tuning methods, and a policy-retraining baseline. The same procedure improves success with SmolVLA and OpenVLA-OFT on every task, while reducing acceleration and jerk for both VLA backbones.
- Abstract（参考訳）: 操作のための拡散とVLAポリシーは、しばしば下流のインピーダンスコントローラを通して展開される。
これらのコントローラの硬さと減衰利得はタスクの成功に影響しますが、一般的にはデプロイされたポリシーの選択ではなく、データ収集から受け継がれます。
経験的なゲインスイープはパフォーマンスを向上させることができるが、繰り返し評価ロールアウトが必要である。
PHRetuneは,ロールアウトの評価や検索を行わずに,フリーズポリシのコントローラゲインを導出するオフライン手法である。
我々のアプローチは、政策の予測行動に関連する労力とエネルギーを推定するために、実証からポート・ハミルトンモデルを学ぶ。
この方針は記録された実証観測に適用され、その予測は実証からの努力とエネルギー予算に対して評価される。
この比較から,ポリシと動作表現を保ちながら,下流コントローラを調整し,単一のゲインスケールをクローズドな形式で導出する。
ゲインは、事前のマニピュレータモデル、タスク報酬、ポリシーの再トレーニング、追加のランタイム計算を必要とせずに、評価の前に固定される。
LIBEROスイート全体では、PHRetuneは拡散政策の成功率を最大9.4ポイント改善し、導出利得は経験的なゲインスイープで最高に観測された成功率を達成する。
実世界の4つの操作タスクにおいて、PHRetuned Diffusion Policyは、名目上のポリシー、代替ゲインチューニング方法、およびポリシー規制ベースラインを上回っている。
同じ手順は、各タスクにおけるSmolVLAとOpenVLA-OFTの成功を改善すると同時に、両方のVLAバックボーンの加速度とジャークを低減させる。
関連論文リスト
- FERPO: Forward Entropy-Regularized Policy Optimization [5.677602352510579]
本稿では,最大エントロピー強化学習アルゴリズムであるフォワードエントロピー正規化政策最適化(FERPO)を提案する。
FERPOは、批評家を行動に関して差別化することなく、批判値を使用して政策改善を行う。
MuJoCo PlaygroundとManiSkillの実験と改善は、競争性能とサンプル効率の向上を示している。
論文 参考訳（メタデータ） (2026-10-01T17:59:41Z) - Reusing Past Samples in Proximal Policy Optimization: When and How Does It Help? [73.85707391058558]
複数の重み付けフレームワーク内で2つの変種をインスタンス化することにより、PPOにおけるサンプル再利用の有効性について検討する。
我々は、それぞれの損失に対する理論的根拠を提供する、政策改善の低い境界を導出する。
論文 参考訳（メタデータ） (2026-10-01T10:05:35Z) - APEX: Adaptive Policy Execution for Precise Manipulation [17.137901655707616]
我々は、ポリシーとコントローラ間の実行ギャップを埋めるために、適応ポリシー実行(APEX)を提案する。
APEXはポリシー出力から動的に実行可能な参照を再構築し、低レベルの状態フィードバックに従ってテスト時に適応する。
コントローラによるトラッキングエラーをデモのリプレイで41.2%削減し、4つのビジュモータとVLAポリシークラスで4.8-25.8ポイントの操作成功を改善する。
論文 参考訳（メタデータ） (2026-06-15T10:06:40Z) - One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。
本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。
実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
論文 参考訳（メタデータ） (2026-05-21T08:25:27Z) - OGPO: Sample Efficient Full-Finetuning of Generative Control Policies [53.42266064673132]
ジェネレーティブコントロールポリシー(GCP)は、ロボット学習に有効なパラメータ化として登場した。
この研究は、GCPを微調整するためのサンプル効率であるOGPO(Off-policy Generative Policy Optimization)を導入している。
OGPOはマルチタスク設定、高精度挿入、デクスタラス制御にまたがる操作タスクにおける最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-05-04T18:36:40Z) - Update-Free On-Policy Steering via Verifiers [47.56134859358476]
行動クローニング(BC)は、ロボットが人間の実演を模倣できるようにする最も一般的な方法の1つとなっている。
UF-OPSは,ロボットが動作の成功確率を予測できるアップデートフリーのオンラインステアリング手法である。
シミュレーションと実世界のデータの両方から結果を示し、5つの実タスクにわたる基本方針よりも平均49%の成功率の向上を実現した。
論文 参考訳（メタデータ） (2026-03-10T23:55:52Z) - SiMPO: Measure Matching for Online Diffusion Reinforcement Learning [52.46919717963149]
一般単調関数を持つ拡散RLにおける再重み付けスキームを一般化する,シンプルで統一的なフレームワークであるSiMPOを紹介する。
SiMPOは2段階の測度マッチングレンズを介して拡散RLを再考する。
我々は、負の再重み付けが準最適行動から政策を積極的に反映していることを示す幾何学的解釈を提供する。
論文 参考訳（メタデータ） (2026-03-10T22:01:13Z) - Posterior Behavioral Cloning: Pretraining BC Policies for Efficient RL Finetuning [87.81738284453013]
まず,標準行動クローニング (BC) が実証者の行動のカバレッジを確保するのに失敗することを理論的に示す。
次に、観測された実演を正確に適合させる代わりに、実証者の行動の後部分布をモデル化する政策を訓練することを示した。
このポリシーは、デモ隊の行動の報道を確実にし、より効果的な微調整を可能にする。
論文 参考訳（メタデータ） (2025-12-18T18:59:17Z) - Enhancing Sample Efficiency and Exploration in Reinforcement Learning through the Integration of Diffusion Models and Proximal Policy Optimization [3.2288603733409498]
条件拡散モデルを適応可能な行動として扱う政策枠組みを厳格に提示する。
前者はログ化されたデータに基づいて事前訓練され、サンプリング時にのみオンラインで、現在のポリシーステートでのアクションの提案に使用される。
以上の結果から,事前の適応的拡散行動は,緊密な相互作用予算の下での政策PPOを強化するための実践的な方法であることが示唆された。
論文 参考訳（メタデータ） (2024-09-02T19:10:32Z) - Off-Policy Evaluation for Large Action Spaces via Policy Convolution [60.6953713877886]
ポリシ・コンボリューション(Policy Convolution)のファミリーは、アクション内の潜在構造を使用して、ログとターゲットポリシを戦略的に畳み込みます。
合成およびベンチマークデータセットの実験では、PCを使用する場合の平均二乗誤差(MSE)が顕著に改善されている。
論文 参考訳（メタデータ） (2023-10-24T01:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。