論文の概要: Local and Global Stability in Performative Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2609.06467v1
- Date: Sun, 06 Sep 2026 08:29:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.25301
- Title: Local and Global Stability in Performative Reinforcement Learning
- Title（参考訳）: 適応的強化学習における局所的・大域的安定性
- Abstract要約: 本研究では,政策の混合に対する安定性について検討し,その結果が性能予測と根本的に異なることを示す。
両概念を$n$プレイヤ演奏型マルコフゲームに拡張し、共同環境マップやゲーム構造に仮定せずに局所安定性を得る。
- 参考スコア（独自算出の注目度）: 8.809198293857284
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In performative reinforcement learning the deployed policy shapes the environment that generates the learner's future data, and the natural solution concept is a performatively stable policy that is optimal in the environment it induces. Existing convergence guarantees rely on Lipschitz sensitivity assumptions on the environment map $π\mapsto (P_π, r_π)$, which are hard to verify and fail in settings such as multi-agent best-response dynamics. We instead study stability for mixtures of policies, and show that the resulting picture is fundamentally different from performative prediction, where randomization removes the need for any sensitivity assumption. We distinguish local mixed stability, an occupancy-weighted first-order relaxation that we show is equivalent to stationarity, from global mixed stability, which certifies against arbitrary deviating policies. Our first result is that a weighted per-state Hedge dynamic drives the local stability gap to zero at an $O(1/\sqrt{T})$ rate for an arbitrary, possibly discontinuous, environment map, both with exact and with trajectory feedback. The two notions genuinely differ: we exhibit an instance where local stability is achieved exactly but every mixture has global stability gap bounded away from zero. For global stability we introduce a bounded transition range assumption, strictly weaker than Lipschitz sensitivity, under which unweighted per-state Hedge converges up to a floor of $O(γε_P/(1-γ)^3)$, and we prove a matching-in-$ε_P$ lower bound of $Ω(γε_P/(1-γ))$ under trajectory feedback, so this floor is unavoidable. Finally, we extend both notions to $n$-player performative Markov games, obtaining local stability with no assumption on the joint environment map or game structure, and global stability for performative Markov potential games.
- Abstract（参考訳）: 実践的強化学習では、デプロイされたポリシーは、学習者の将来のデータを生成する環境を形作っており、自然解の概念は、それが引き起こす環境において最適な、実行的に安定したポリシーである。
既存の収束保証は、環境写像 $π\mapsto (P_π, r_π)$ にリプシッツ感受性の仮定に依存するが、これは検証が困難であり、マルチエージェント・ベスト・レスポンス・ダイナミクスのような設定では失敗する。
代わりに、政策の混合に対する安定性について研究し、結果の図形がパフォーマンス予測と根本的に異なることを示し、ランダム化はあらゆる感度仮定の必要性を排除します。
我々は, 局所混合安定性, 占有重み付き一階緩和が定常性と等価であることを示す。
最初の結果は、重み付けされた状態ごとのヘッジダイナミクスが、任意の、おそらく不連続な環境マップに対して、正確なフィードバックと軌道フィードバックの両方で、局所安定性ギャップを$O(1/\sqrt{T})$レートでゼロに駆動するということである。
局所的な安定性が正確に達成される場合を示すが、すべての混合は0から離れた大域的な安定性ギャップを持つ。
大域的安定のためには、リプシッツ感度よりも厳密に弱い有界遷移範囲の仮定を導入し、そこでは、非重み付き状態 Hedge が$O(γε_P/(1-γ)^3)$ のフロアに収束し、このフロアは軌道フィードバックの下で$Ω(γε_P/(1-γ))$ のマッチング-in-$ε_P$ のローバウンドを証明している。
最後に,2つの概念を$n$-playerの演奏型マルコフゲームに拡張し,共同環境マップやゲーム構造を仮定せずに局所的な安定性と,演奏型マルコフポテンシャルゲームに対する大域的安定性を得る。
関連論文リスト
- SANE: State Anomaly Neutralization for Stable Extreme-Context Delta-Rule Models [53.86918766240095]
Delta-Ruleリカレントモデルは固定サイズの状態を維持しており、$O(1)$の推論メモリが可能であるが、極端なコンテキスト外挿では不安定になる可能性がある。
我々は,チャンク内並列構造を保ちながら,チャンク境界における適応$tanh$圧縮を適用したtextbfState Anomaly Neutralization (SANE)を提案する。
論文 参考訳（メタデータ） (2026-08-23T10:41:07Z) - FedVSSAM: Mitigating Flatness Incompatibility in Sharpness-Aware Federated Learning [65.74073318961548]
シャープネス・アウェア (SAM) は, 局所訓練を平らなミニマに向けて行うことにより, 連邦学習(FL)の一般化を改善する効果的な方法である。
最小化抑制型シャープネス抑圧探索(FedVSSAM)によるフェデレーション学習を提案する。
FedVSSAMは、より安定したグローバルな方向への更新方向をアンカーし、局所的な平坦な摂動、局所的な更新で一貫して使用する。
論文 参考訳（メタデータ） (2026-05-09T20:03:02Z) - On the stability to noise of fermion-to-qubit mappings [0.0]
局所的なユニタリの層と一般の1量子ビットのパウリノイズを交互にモデル化したD$次元のノイズ量子回路を考える。
局所フェルミオン符号化を用いる場合、二次フェルミオン観測器の期待値は、空間的に減衰する相関を持つ状態のノイズに対して安定であることを示す。
本研究は,物理系の崩壊相関が局所フェルミオン符号化の雑音に対する保護を与えるという直感を定式化した。
論文 参考訳（メタデータ） (2026-03-23T16:03:49Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - A Unified Framework for Locality in Scalable MARL [7.465238700168576]
一般的な解決策は、値関数の指数決定性(EDP)に依存する局所性を利用することである。
また,地域性は環境依存的な現象であることも確認した。
一般スペクトル条件 $(Emathrms+Emathrma()) 1$ の指数減衰を導出するためにこの枠組みを用いる。
論文 参考訳（メタデータ） (2026-02-19T00:02:02Z) - Stabilizing Fixed-Point Iteration for Markov Chain Poisson Equations [49.702772230127465]
有限状態マルコフ鎖を$n$状態と遷移行列$P$で研究する。
すべての非退化モードが実周辺不変部分空間 $mathcalK(P)$ によってキャプチャされ、商空間 $mathbbRn/mathcalK(P) 上の誘導作用素が厳密に収縮し、ユニークな商解が得られることを示す。
論文 参考訳（メタデータ） (2026-01-31T02:57:01Z) - Statistical Learning of Distributionally Robust Stochastic Control in Continuous State Spaces [17.96094201655567]
X_t+1 = f(X_t, A_t, W_t)$。
ここでは、$X$、$A$、$W$はそれぞれ状態、アクション、ランダムノイズプロセスを表し、$f$は状態遷移を記述する既知の関数を表す。
本稿では,所定のあいまいさ集合内の雑音分布に対して,おそらく逆方向の摂動を許容する分布的に頑健な制御パラダイムを提案する。
論文 参考訳（メタデータ） (2024-06-17T07:37:36Z) - The Role of Baselines in Policy Gradient Optimization [83.42050606055822]
Emphstateのバリューベースラインが、オン・ポリティクスを可能にしていることを示す。
世界的な最適な政策勾配(NPG)に収束する。
O (1/t) レート勾配でのポリシー。
値ベースラインの主な効果は、その分散ではなく、更新のアグレッシブさをthabfreduceすることにある。
論文 参考訳（メタデータ） (2023-01-16T06:28:00Z) - Toward Better Generalization Bounds with Locally Elastic Stability [41.7030651617752]
局所的な弾性安定性は、一様安定性に基づいて導出されたものよりも厳密な一般化境界を意味すると論じる。
我々は、有界支持ベクトルマシン、正規化最小二乗回帰、勾配降下の例を再考する。
論文 参考訳（メタデータ） (2020-10-27T02:04:53Z) - Transfer Learning via $\ell_1$ Regularization [9.442139459221785]
本稿では,ソースドメインからターゲットドメインへの知識伝達手法を提案する。
提案手法は推定値自体と推定値の変化の両方に対して空間性を与える。
実験結果から, 本手法は安定性と塑性のバランスを効果的に保っていることが示された。
論文 参考訳（メタデータ） (2020-06-26T07:42:03Z) - Fine-Grained Analysis of Stability and Generalization for Stochastic
Gradient Descent [55.85456985750134]
我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。
これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。
我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
論文 参考訳（メタデータ） (2020-06-15T06:30:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。