Fugu-MT 論文翻訳(概要): MDPO: Multi-constraint Dexterous Policy Optimization with Reinforcement Learning

論文の概要: MDPO: Multi-constraint Dexterous Policy Optimization with Reinforcement Learning

arxiv url: http://arxiv.org/abs/2610.33480v1
Date: Sat, 24 Oct 2026 06:09:14 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-27 22:27:13.339697
Title: MDPO: Multi-constraint Dexterous Policy Optimization with Reinforcement Learning
Title（参考訳）: MDPO:強化学習による多制約デクサラスポリシー最適化
Abstract要約: 複雑な接触に富んだタスクを達成するために、デクサラス操作は高次元制御ポリシーを必要とする。厳密な操作のための既存の制約付きRL法は、主に累積的なコスト制約に焦点を当てている。安全なデキスタラス操作のためのMDPO(Multi-Constraint Dexterous Policy Optimization)を提案する。
参考スコア（独自算出の注目度）: 35.226582160823085
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Dexterous manipulation requires high-dimensional control policies to accomplish complex contact-rich tasks while simultaneously satisfying multiple safety requirements, such as joint limits, unsafe finger configurations, arm collisions, and unstable object interactions. Constrained reinforcement learning (RL) provides a principled framework for incorporating these requirements into dexterous manipulation policy learning. However, existing constrained RL methods for dexterous manipulation primarily focus on cumulative cost constraints and struggle to simultaneously handle multiple heterogeneous constraints during dexterous policy learning. In this work, we propose Multi-constraint Dexterous Policy Optimization (MDPO) for safe dexterous manipulation. We first formulate dexterous manipulation as a multi-constraint policy optimization problem involving both cumulative cost constraints and state-wise cost constraints. Based on this formulation, we integrate multi-constraint projection into the dexterous manipulation policy optimization process. Specifically, we employ constraint-specific policy projections to map the intermediate policy that maximizes task performance onto the feasible regions defined by the cumulative cost constraint and the state-wise cost constraint. Extensive experiments on ReDMan, including safe joint control, finger safety, and grasping tasks, demonstrate that MDPO achieves superior constraint satisfaction while maintaining competitive task performance compared with the baselines. Our code is available at this link.
Abstract（参考訳）: 有害な操作は、複雑な接触に富むタスクを達成するために高次元の制御ポリシーを必要とするが、同時に関節の制限、安全でない指の設定、腕の衝突、不安定な物体の相互作用など、複数の安全要件を満たす。制約付き強化学習(RL)は、これらの要求を厳格な操作ポリシー学習に組み込むための原則的な枠組みを提供する。しかし, 厳密な操作のための制約付きRL法は主に累積的なコスト制約に重点を置いており, 厳密な政策学習において複数の不均一な制約を同時に扱うのに苦労している。本研究では,安全なデキスタラス操作のためのMDPO(Multi-Constraint Dexterous Policy Optimization)を提案する。まず、累積コスト制約と状態的コスト制約の両方を含む多制約ポリシー最適化問題として、デキスタラスな操作を定式化する。この定式化に基づき,厳密な操作ポリシー最適化プロセスにマルチ制約プロジェクションを統合する。具体的には、累積コスト制約と州別コスト制約で定義された実行可能な領域にタスク性能を最大化する中間ポリシーをマッピングするために、制約特異的ポリシープロジェクションを用いる。安全関節制御,指の安全,把持作業を含むReDManの広範囲な実験により,MDPOは,ベースラインと比較して競争性のあるタスク性能を維持しつつ,優れた制約満足度を達成できることが実証された。私たちのコードはこのリンクで利用可能です。

関連論文リスト

CDCP: Conditional Diffusion Model with Contextual Prompts for Multi-task Offline Safe Reinforcement Learning [63.5739698095413]
マルチタスクのオフライン安全な強化学習(RL)は、複数のタスクにわたるオフラインデータから、共有された最適な安全なポリシを学ぶことを約束する。しかし、マルチタスク、安全制約、アウト・オブ・ディストリビューションの3つの課題は、既存の手法にとって大きなハードルとなっている。本稿では,これらの課題に対処する条件付き拡散モデルを提案する。
論文参考訳（メタデータ） (2026-07-04T14:57:35Z)
Exchange Policy Optimization Algorithm for Semi-Infinite Safe Reinforcement Learning [26.75757359001632]
本稿では,最適政策性能と決定論的境界安全性を実現するアルゴリズムフレームワークである交換ポリシ最適化(EPO)を提案する。 EPOは、有限制約集合で安全なRLサブプロブレムを反復的に解き、制約拡張と削除を通じて活性集合を適応的に調整することで機能する。我々の理論的分析は、軽微な仮定の下で、EPOによって訓練された戦略が、所定の限界内に厳密に残されている大域的制約違反を伴う最適解に匹敵する性能を達成することを示した。
論文参考訳（メタデータ） (2025-11-06T07:51:58Z)
A Dual Perspective of Reinforcement Learning for Imposing Policy Constraints [0.0]
我々は、価値ベースおよびアクター批判的強化学習法において、汎用的な原始双対フレームワークを使用する。得られた二重定式化は、学習されたポリシーにさらなる制約を与えるのに特に有用であることが判明した。トレーニングを通じて自動的に処理されるポリシー制約の様々な組み合わせをサポートする実用的なアルゴリズムが導出される。
論文参考訳（メタデータ） (2024-04-25T09:50:57Z)
Policy Bifurcation in Safe Reinforcement Learning [35.75059015441807]
いくつかのシナリオでは、実行可能なポリシーは不連続または多値であり、不連続な局所最適性の間の補間は必然的に制約違反につながる。我々は,このような現象の発生機構を最初に同定し,安全RLにおける分岐の存在を厳密に証明するためにトポロジカル解析を用いる。本稿では,ガウス混合分布をポリシ出力として利用するマルチモーダルポリシ最適化(MUPO)と呼ばれる安全なRLアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-03-19T15:54:38Z)
Uniformly Safe RL with Objective Suppression for Multi-Constraint Safety-Critical Applications [73.58451824894568]
広く採用されているCMDPモデルは予測のリスクを制約しており、長い尾の州で危険な行動を起こす余地がある。安全クリティカルな領域では、そのような行動は破滅的な結果をもたらす可能性がある。本稿では,目標を最大化するタスク報酬を適応的に抑制する新しい手法であるObjective Suppressionを提案する。
論文参考訳（メタデータ） (2024-02-23T23:22:06Z)
Safety-Constrained Policy Transfer with Successor Features [19.754549649781644]
本稿では,安全制約へのポリシーの移転と遵守を可能にするCMDP(Constrained Markov Decision Process)の定式化を提案する。我々のアプローチは、Lagrangian の定式化による制約付き設定への一般化された政策改善の新たな拡張に依存している。シミュレーションドメインでの我々の実験は、我々のアプローチが効果的であることを示し、安全上の制約を考慮に入れた場合、安全でない状態の訪問を少なくし、代替の最先端の手法よりも優れています。
論文参考訳（メタデータ） (2022-11-10T06:06:36Z)
Penalized Proximal Policy Optimization for Safe Reinforcement Learning [68.86485583981866]
本稿では、等価な制約のない問題の単一最小化により、煩雑な制約付きポリシー反復を解決するP3Oを提案する。 P3Oは、コスト制約を排除し、クリップされたサロゲート目的による信頼領域制約を除去するために、単純なyet効果のペナルティ関数を利用する。 P3Oは,一連の制約された機関車作業において,報酬改善と制約満足度の両方に関して,最先端のアルゴリズムより優れていることを示す。
論文参考訳（メタデータ） (2022-05-24T06:15:51Z)
COptiDICE: Offline Constrained Reinforcement Learning via Stationary Distribution Correction Estimation [73.17078343706909]
オフラインの制約付き強化学習(RL)問題。エージェントは、所定のコスト制約を満たしながら期待されるリターンを最大化するポリシーを計算し、事前に収集されたデータセットからのみ学習する。定常分布空間におけるポリシーを最適化するオフライン制約付きRLアルゴリズムを提案する。我々のアルゴリズムであるCOptiDICEは、コスト上限を制約しながら、利益に対する最適政策の定常分布補正を直接見積もる。
論文参考訳（メタデータ） (2022-04-19T15:55:47Z)
Shortest-Path Constrained Reinforcement Learning for Sparse Reward Tasks [59.419152768018506]
最適ポリシーは必ずk-SP制約を満たすことを示す。本研究では,SP制約に違反するポリシーを完全に排除する代わりに,新たなコスト関数を提案する。また,MiniGrid,DeepMind Lab,Atari,Fetchを用いた実験の結果,提案手法はPPOを著しく改善することが示された。
論文参考訳（メタデータ） (2021-07-13T21:39:21Z)
Deep Constrained Q-learning [15.582910645906145]
多くの実世界の応用において、強化学習エージェントは特定の規則に従うか制約を満たすことなく、複数の目的を最適化する必要がある。制約付きMDPの最適Q関数とそれに対応する安全ポリシーを学習するために,Q更新時の行動空間を直接制限する新しい非政治的強化学習フレームワークであるConstrained Q-learningを提案する。
論文参考訳（メタデータ） (2020-03-20T17:26:03Z)
Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
論文参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。