論文の概要: Bellman-Certified Rounding for Sparse Policy Deployment in MDPs
- arxiv url: http://arxiv.org/abs/2610.00325v1
- Date: Tue, 29 Sep 2026 07:34:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.610702
- Title: Bellman-Certified Rounding for Sparse Policy Deployment in MDPs
- Title（参考訳）: MDPにおけるスパース政策展開のためのベルマン認定ラウンドリング
- Abstract要約: 継続的ポリシの最適化は、デプロイがいくつかの完全な状態レベルの変更しか許可していない場合でも、多くの状態にアップデートを広げる可能性がある。
連続行混合をラウンドドして有限MDPの2次ポリシーを疎結合にする場合、どれだけの割引リターンを維持できるかを考察する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continuous policy optimization may spread an update across many states, even when deployment permits only a few complete state-level changes. We study how much discounted return can be retained when continuous row mixtures are rounded to sparse binary policies in finite MDPs. Policy-dependent visitation couples the row edits, while long horizons make global curvature bounds conservative. From $2d+2$ Bellman solves, we derive reusable envelopes that support uniform and candidate-specific guarantees before rounding. A rank-two rational representation of each exchange further permits weighted curvature integration along the realized trajectory. We prove that linear dimension dependence is unavoidable when the budget scales, and that exact global curvature thresholding is hard. Candidate-specific bounds raise pre-rounding certification coverage from $48.2\%$ to $74.1\%$ on the structured suite. At $γ=0.95$, local integration lowers the median bound-to-loss ratio from $402.3$ to $2.08$ on coupled instances.
- Abstract（参考訳）: 継続的ポリシの最適化は、デプロイがいくつかの完全な状態レベルの変更しか許可していない場合でも、多くの状態にアップデートを広げる可能性がある。
連続行混合をラウンドドして有限MDPの2次ポリシーを疎結合にする場合、どれだけの割引リターンを維持できるかを考察する。
政策に依存した訪問は行を編集するが、長い地平線はグローバルな曲率の境界を保守的にする。
2d+2$ Bellman の解から、ラウンド前に一様および候補固有の保証をサポートする再利用可能なエンベロープを導出する。
各交換の階数2の有理表現は、実現された軌道に沿った重み付き曲率積分をさらに許す。
予算規模が大きくなると線形次元依存は避けられないことが証明され、正確な大域曲率閾値付けは困難である。
候補者固有のバウンドは、事前の認定対象範囲を48.2.%から74.1.%に引き上げる。
局所積分はγ=0.95$で、結合インスタンスの場合、中央境界-損失比を402.3$から2.08$に下げる。
関連論文リスト
- Asynchronous LLM Post-Training: Group-Mass Capping and Convergence Analysis [59.80039032720308]
非同期強化学習(RL)は、大規模言語モデルの訓練後の効率を改善するが、以前のポリシーによって生成された古いロールアウトを導入する。
勾配推定器の第2モーメントとバイアスのトレードオフを特徴付けるGRPO型アルゴリズムの収束バウンダリを導出する。
重み付き推定器のクラス内における比に基づくバイアスを最小化するグループマスキャッピングGRPO(GMC-GRPO)法を提案する。
論文 参考訳（メタデータ） (2026-10-01T15:45:08Z) - Fast Regularized Policy Mirror Descent with One-Step TD Updates [3.4173456717058084]
政策ミラー降下(PMD)は、正規化マルコフ決定過程(MDP)における高速収束を享受する
時間差 (TD) を1回更新し, 持続的批判を伴ってPMDを解析した。
我々のサンプル複雑度保証は、軌道リセット、生成モデルアクセス、ネストされたポリシー評価ループなしで保持できる。
論文 参考訳（メタデータ） (2026-09-30T14:33:51Z) - Fine-Tuning on Self-Generated and Reward-Weighted Data: Learning Dynamics, Convergence Rates, and Benefits of Off-Policyness [69.00065140233411]
REINFORCE -- RE(S) と呼ばれる -- は、$S ge 1$グルーフステップ毎にロールアウト分布を更新する。
我々は、$ ge 1$のスペクトルを網羅するRE(S) の統一理論を開発する。
任意の固定された$S$に対して、RE(S) は、ロールアウト分布の更新数$B = lfloor T / S rfloor rightarrow infty$ として最適ポリシーへの大域収束を楽しむ。
論文 参考訳（メタデータ） (2026-09-29T07:54:06Z) - Clipped or Unclipped? Finite-Sample Trade-offs for Averaged SGD under Heavy-Tailed Noise [66.13091490213743]
グラディエントクリッピングはトレーニングを安定させるために広く用いられているが、平均的なSGDの統計的精度を改善する必要はない。
有限条件の$p$-th モーメント,$pge2$ の条件下で, クリッピングおよび非クリッピングのPolyak-Ruppert平均 SGD の比較を導出した。
我々の主な結果は、$p>2$の場合、ガウス項が未開偏差境界を独占する明確な精度と信頼条件を与える。
論文 参考訳（メタデータ） (2026-09-26T21:47:14Z) - Sharp Oracle-Regret Tradeoffs for Projection-Free Online Convex Optimization [55.29259818039367]
我々は, オンライン凸最適化において, 実現可能な集合へのアクセスが正確な線形最適化オラクルに制限された場合に達成可能な後悔を特徴づける。
コンベックス$G$-Lipschitzの損失に対して、直径は最大$D$、合計$Q$オークルコールは$Q$、厳格な制限はラウンド当たり$B$である。
論文 参考訳（メタデータ） (2026-09-23T22:25:52Z) - Restricted Eigenvalues Beyond Gaussian Width: Threshold Occupancy under Heavy Tails [47.36630149538994]
等方的準ガウス測度の場合、ベンチマークサンプルサイズは1+w(A)2$であり、$w(A)$は正規化降下円錐のガウス幅である。
ここで定式化された一般的な問題に対して、明示的で体系的な否定的な答えを与える:提案された法則は、その全次元自由で任意の集合形式で失敗する。
等方性の下では、アフィン次元倍の2乗半径で支配される分布のないフォールバックがこの族に鋭い。
論文 参考訳（メタデータ） (2026-09-03T08:05:05Z) - Finite Constant Frontiers and Auditable Regret Certificates for Average-Reward Reinforcement Learning [0.9558392439655014]
定数対応比較プロトコルを導入し、MPPを通信するための明示的な有限下位証明書を導出する。
共通閉形式エンベロープは有限フロンティアで発行された係数を0.015$に改善する。
論文 参考訳（メタデータ） (2026-08-07T19:28:58Z) - Decoupled Conformal Optimisation: Efficient Prediction Sets via Independent Tuning and Calibration [20.21455697379946]
そこで我々は,列車チューンキャリブレート設計の原則としてデカップリング・コンフォーマル最適化(DCO)を提案する。
DCOは、効率指向構造選択のために独立したチューニングスプリットと、最終共形量子化のための新鮮なキャリブレーションスプリットを使用する。
DCOは,PACスタイルのキャリブレーションに対して,平均予測セットサイズや間隔幅を小さくしながら,名目カバレッジレベルを密に追跡する。
論文 参考訳（メタデータ） (2026-05-18T13:10:21Z) - Natural Policy Gradient as Doubly Smoothed Policy Iteration: A Bellman-Operator Framework [3.950802208390739]
自然政策勾配は、スムーズで平均化された政策反復形式として正確な定式化が認められることを示す。
本稿では,従来のQ$-関数の重み付き平均値に正規化グリーディステップを適用することで,各ポリシが得られたベルマン演算フレームワークである2つのスムーズなポリシー反復(DSPI)を紹介する。
論文 参考訳（メタデータ） (2026-05-11T14:53:03Z) - Provably Efficient Algorithms for S- and Non-Rectangular Robust MDPs with General Parameterization [85.91302339486673]
我々は、s-正方形および非正方形不確実性集合の下で、一般的な政策パラメータ化を伴うロバストマルコフ決定過程(RMDP)について検討する。
無限状態空間に拡張する一般政策パラメタライゼーションに対する新しいリプシッツ・リプシッツ・スムースネス特性を証明した。
本研究では,S-正方形不確かさに対する勾配降下アルゴリズムと非正方形不確かさに対するFrank-Wolfeアルゴリズムを設計する。
論文 参考訳（メタデータ） (2026-02-11T21:44:20Z) - Witness wedges in fidelity-deviation plane: separating teleportation advantage and Bell-inequality violation [0.0]
我々は、2つの相補的なメリットの図形の合同幾何学を通して量子テレポーテーションを解析するための統一的な枠組みを開発する。
特に、任意の測定ペア$(F D)$は、等方性資源の可視性推定に移植することができる。
論文 参考訳（メタデータ） (2025-11-26T05:43:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。