論文の概要: LOCU: Lowdin-Orthogonalized Constraint Updates for Multi-Constraint Policy Optimization

• arxiv url: http://arxiv.org/abs/2610.26256v1
• Date: Mon, 19 Oct 2026 12:13:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 18:40:03.149102
• Title: LOCU: Lowdin-Orthogonalized Constraint Updates for Multi-Constraint Policy Optimization
• Title（参考訳）: LOCU:マルチ制約ポリシー最適化のための低次直交制約更新
• Abstract要約: 制約付きマルコフ決定過程(CMDP)における多制約政策最適化について検討する。 本稿では,Fisher-Rao 計量の下での報酬と制約の自然勾配に対称的低次化を適用することにより,制約相互作用に起因する数値不安定性を緩和する LOCU を提案する。 実験により、LOCUは高い制約結合、狭い実現可能な領域、そして実現不可能な開始の下で安定であり、様々なコスト批判アーキテクチャで一般化されることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate multi-constraint policy optimization in constrained Markov decision processes (CMDPs), where interactions among constraint gradients often yield ill-conditioned update directions, causing numerically fragile steps and unintended cancellation or redundant overlap in constraint corrections. To address this, we propose LOCU, which mitigates numerical instability arising from constraint interactions by applying symmetric Lowdin orthogonalization to the natural gradients of the reward and constraints under the Fisher-Rao metric. Combined with Fisher-geometric screening and near-collinear compression, LOCU yields a compact reduced space in which the trust region becomes a Euclidean ball and constraints are handled symmetrically through a low-dimensional active-set solve. For infeasible iterates, LOCU constructs a Pareto-descent direction which preserves the local feasibility of satisfied constraints within the same reduced formulation. Experiments show that LOCU remains stable under high constraint coupling, narrow feasible regions, and infeasible starts, and generalizes across different cost critic architectures.
• Abstract（参考訳）: 制約勾配間の相互作用が不調な更新方向をしばしば引き起こす制約付きマルコフ決定過程(CMDP)における多重制約ポリシの最適化について検討し、数値的に脆弱なステップと意図しないキャンセルあるいは重複を制約補正において引き起こす。 そこで本研究では,制約相互作用から生じる数値的不安定性を,フィッシャー・ラオ計量の下での報酬と制約の自然な勾配に対称的なローディン直交を適用することで緩和するLOCUを提案する。 Fisher-geometric screeningとニアコリニア圧縮を組み合わせることで、LOCUは信頼領域がユークリッド球となり、制約が低次元のアクティブセット解によって対称に扱われるコンパクトな縮小空間が得られる。 実用不可能な反復に対して、LOCUは、同じ縮小された定式化の中で、満足度制約の局所的な実現可能性を保存するパレートの方向を構築する。 実験により、LOCUは高い制約結合、狭い実現可能な領域、そして実現不可能な開始の下で安定であり、様々なコスト批判アーキテクチャで一般化されることが示された。

関連論文リスト

• Stability-Constrained Approximation in Spline KANs: Exact Layer Balancing and Budget-Compatible Saturation [51.56484100374058]
  我々は、ハードレイヤーワイドリプシッツ予算の下で近似を研究する。 構成条件下では、対応するレイヤエラーをキャンセルする必要はないことを示す。 クラスのすべての作用素に対して、安定した深さ-$L$タワーが存在し、累積誤差の定数分を実現できる。
  論文  参考訳（メタデータ） (2026-09-14T20:17:04Z)
• Boundary-Seeking Policy Gradient for Safe Reinforcement Learning [10.527332705691668]
  BSPG(Bundary-Seeking Policy Gradient) 更新は、コストを維持しながら報酬を改善する接尾辞成分と、どちらの側からもアクティブバウンダリに対するポリシーを規制する符号付き残差駆動の正規成分を結合する。 標準のセーフティ・ジムナシウムナビゲーションタスクでは、BSPGは、比較したベースラインよりもバウンダリを厳格に追跡しながら高い報酬を得る。
  論文  参考訳（メタデータ） (2026-08-10T20:20:01Z)
• Scalable Bi-causal Optimal Transport via KL Relaxation and Policy Gradients [5.492352780011131]
  双方向最適輸送(bi-causal optimal transport、OT)は、予期しない情報制約下でのプロセスの比較と結合のためのフレームワークである。 両因果OTに対するスケーラブルな計算手法を開発し、予期しない情報制約が必須となる環境で適用性を広げる。
  論文  参考訳（メタデータ） (2026-05-17T05:41:01Z)
• Automatic Constraint Policy Optimization based on Continuous Constraint Interpolation Framework for Offline Reinforcement Learning [2.0719232729184145]
  オフライン強化学習(RL)は、パフォーマンスを形作るためのポリシー制約に依存している。 既存のほとんどのメソッドは単一の制約ファミリにコミットします。 本稿では,統合最適化フレームワークであるContinuous Constraint Interpolation (CCI)を提案する。
  論文  参考訳（メタデータ） (2026-01-30T14:21:41Z)
• Adaptive Neighborhood-Constrained Q Learning for Offline Reinforcement Learning [52.03884701766989]
  オフライン強化学習(RL)アルゴリズムは、通常、アクション選択に制約を課す。 本稿では,Bellmanターゲットにおける行動選択を,データセットアクションの近傍の結合に制限する新しい地区制約を提案する。 我々は,この制約を満たす目標動作を用いてQ学習を行うための,単純で効果的なアルゴリズムであるAdaptive Neighborhood-Constrained Q Learning(ANQ)を開発した。
  論文  参考訳（メタデータ） (2025-11-04T13:42:05Z)
• A space-decoupling framework for optimization on bounded-rank matrices with orthogonally invariant constraints [8.902244235284229]
  有界ランク行列の最適化のための空間分離フレームワークを提案する。 結合制約の接円錐は各制約の接円錐の交叉であることを示す。 改定問題と原問題との等価性を明らかにする。
  論文  参考訳（メタデータ） (2025-01-23T16:54:03Z)
• Algorithm for Constrained Markov Decision Process with Linear Convergence [55.41644538483948]
  エージェントは、そのコストに対する複数の制約により、期待される累積割引報酬を最大化することを目的としている。 エントロピー正規化ポリシーとベイダの二重化という2つの要素を統合した新しい双対アプローチが提案されている。 提案手法は(線形速度で)大域的最適値に収束することが示されている。
  論文  参考訳（メタデータ） (2022-06-03T16:26:38Z)
• Shortest-Path Constrained Reinforcement Learning for Sparse Reward Tasks [59.419152768018506]
  最適ポリシーは必ずk-SP制約を満たすことを示す。 本研究では,SP制約に違反するポリシーを完全に排除する代わりに,新たなコスト関数を提案する。 また,MiniGrid,DeepMind Lab,Atari,Fetchを用いた実験の結果,提案手法はPPOを著しく改善することが示された。
  論文  参考訳（メタデータ） (2021-07-13T21:39:21Z)
• Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
  構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。 私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。 提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
  論文  参考訳（メタデータ） (2020-07-07T21:26:35Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。