論文の概要: Parametric Resonance in Primal-Dual Learning for Slowly Non-Stationary Constrained MDPs

• arxiv url: http://arxiv.org/abs/2610.23788v1
• Date: Fri, 16 Oct 2026 17:19:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:08.034714
• Title: Parametric Resonance in Primal-Dual Learning for Slowly Non-Stationary Constrained MDPs
• Title（参考訳）: 緩やかな非定常MPPの2次元学習におけるパラメトリック共振
• Abstract要約: マルコフ決定過程の最小二項法について検討する。 不安定性は、一次更新で使用される制約推定と二重更新で使用される測定とのミスマッチから生じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Primal-dual methods for constrained Markov decision processes are analyzed under a two-timescale assumption, with non-stationarity entering through two channels. In the additive channel, where the constraint level oscillates, the dual oscillation saturates at a floor set by the moving optimum and is amplified linearly by the timescale ratio. In the parametric channel, where the constraint sensitivity oscillates, a coherent modulation carries no resonant forcing at any depth: the dual update's stiffness modulation cancels the primal update's damping modulation. Instability instead comes from a mismatch between the constraint estimate used by the primal update and the measurement used by the dual update, producing a parametric resonance at twice the pair's natural frequency. The tolerated mismatch grows with the square root of the forcing bandwidth and collapses with the square root of the dual-to-primal step-size ratio. These results hold on the tangent linear-quadratic reduction around an active saddle, for one constraint and for $K$ constraints under a common modulation and an isotropy condition. Driving both updates from the same estimate removes the resonant forcing but introduces a stationary offset equal to the estimator's bias. In a Lagrangian soft actor-critic agent, the multiplier locks onto the sub-harmonic at the timescale ratios its identified linear loop predicts and a coherent cost critic suppresses the lock-in, while a proportional (PID) term, predicted to leave the lock-in in place, suppresses most of it through the projection of the multiplier.
• Abstract（参考訳）: 制約付きマルコフ決定過程の最小二次元法は、2つのチャネルを経由する非定常性を用いて2段階の仮定で解析される。 制約レベルが振動する付加チャネルにおいて、デュアル発振は移動最適によって設定されたフロアで飽和し、タイムスケール比で線形に増幅される。 制約感度が振動するパラメトリックチャネルでは、コヒーレント変調はいかなる深さでも共鳴強制を伴わない:二重更新の剛性変調は原始更新の減衰変調をキャンセルする。 不安定性は、原始更新で使用される制約推定値と二重更新で使用される測定値とのミスマッチから生じ、対の自然周波数の2倍のパラメトリック共鳴を生成する。 耐久ミスマッチは、強制帯域幅の正方根で成長し、二段階間ステップサイズ比の正方根で崩壊する。 これらの結果は、アクティブサドルの周りの接線型二乗還元を1つの制約に対して、共通変調と等方性条件の下では$K$制約に対して維持する。 同じ推定値から両方の更新を駆動することは、共鳴強制を除去するが、推定子のバイアスに等しい定常オフセットを導入する。 ラグランジュのソフトアクター批判剤において、乗算器は、同定された線形ループ予測のタイムスケール比でサブハーモニックにロックされ、コヒーレントコスト批評家はロックインを抑制する一方、ロックインから外れると予測される比例(PID)項は、乗算器の投影によりそのほとんどを抑制する。

関連論文リスト

• Taming Softmax at the Limits of Muon: A Unified Approach through Hilbert Geometry [46.31567828395955]
  Muon は線形層の出力の RMS 移動を通じて重み更新を制御する。 これは、線型出力を全加群に対するプロキシとして暗黙的に扱い、従う非線形性を含む。 これらの出力分布の変化を有界化するための自然な計量としてヒルベルト距離を提案する。
  論文  参考訳（メタデータ） (2026-10-13T02:07:50Z)
• Predictable GRPO: A Closed-Form Model of Training Dynamics [1.0537323885285492]
  我々はこれらの力学の第一原理還元次モデルを開発する。 グループサイズは、ノイズ温度として、先行順に入力される。 3つのモデルと2つのグループサイズで、クローズドフォームの軌道はトレーニング報酬をR2 geq 0.91$に適合させる。
  論文  参考訳（メタデータ） (2026-06-29T18:19:09Z)
• Agnostic Dynamical Decoupling for Single-Qubit Gates [0.0]
  所望のゲートを実装したスムーズな単一ビット制御パルスの設計法を提案する。 ノイズモデルの事前知識を必要とする動的に修正されたゲート構造とは異なり、本手法はターゲット-バス相互作用の詳細な形式に依存しない。
  論文  参考訳（メタデータ） (2026-03-13T18:00:09Z)
• OmniForcing: Unleashing Real-time Joint Audio-Visual Generation [51.031726911410594]
  最近のジョイントオーディオ・視覚拡散モデルは、優れた生成品質を実現するが、高いレイテンシーに悩まされる。 OmniForcingは、オフラインの双方向拡散モデルを高忠実度ストリーミングオートレジェネレータに蒸留する最初のフレームワークである。
  論文  参考訳（メタデータ） (2026-03-12T08:17:36Z)
• Dual-space posterior sampling for Bayesian inference in constrained inverse problems [5.739708455652395]
  偏微分方程式によって制約される逆問題はしばしば、ノイズや不完全データ、あるいは固有の非特異性によって不等式化される。 本研究では,波動方程式などの厳密な物理的制約を,既存のサンプリング手法に適合する事前分布に翻訳する手法を開発した。
  論文  参考訳（メタデータ） (2026-02-28T00:34:31Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Convergence of Iterative Quadratic Programming for Robust Fixed-Endpoint Transfer of Bilinear Systems [0.0]
  両線形アンサンブル系の固定終端転送のための開ループ最小ノルム制御合成法を提案する。 2段階の計算を用いて、まず所望の端末状態への転送を保証し、次に制御関数のノルムを最小化する。
  論文  参考訳（メタデータ） (2024-03-26T22:24:11Z)
• Double Duality: Variational Primal-Dual Policy Optimization for Constrained Reinforcement Learning [132.7040981721302]
  本研究では,訪問尺度の凸関数を最小化することを目的として,制約付き凸決定プロセス(MDP)について検討する。 制約付き凸MDPの設計アルゴリズムは、大きな状態空間を扱うなど、いくつかの課題に直面している。
  論文  参考訳（メタデータ） (2024-02-16T16:35:18Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。