論文の概要: Finite Constant Frontiers and Auditable Regret Certificates for Average-Reward Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.07725v1
- Date: Fri, 07 Aug 2026 19:28:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.487624
- Title: Finite Constant Frontiers and Auditable Regret Certificates for Average-Reward Reinforcement Learning
- Title（参考訳）: 平均回帰強化学習のための有限定数フロンティアと可聴レギュレット証明書
- Abstract要約: 定数対応比較プロトコルを導入し、MPPを通信するための明示的な有限下位証明書を導出する。
共通閉形式エンベロープは有限フロンティアで発行された係数を0.015$に改善する。
- 参考スコア（独自算出の注目度）: 0.9558392439655014
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Average-reward reinforcement-learning regret is known up to logarithmic factors, but the numerical content of published guarantees is difficult to compare because probability mode, structural parameter, logarithmic normalization, prior information, and planning assumptions differ. We introduce a constant-aware comparison protocol and derive an explicit finite lower certificate for communicating MDPs. The construction is a binary tree of two-state blocks; its proof uses exact trajectory-level Bernoulli KL divergence and keeps action budget, diameter, occupancy, navigation cost, and terminal bias explicit. A common closed-form envelope improves the published coefficient $0.015$ across a finite frontier: $0.0200$ in a moderate regime and up to $0.0291$ under stronger action, diameter, and horizon conditions, a $94\%$ increase. The limiting coefficient is $\frac1{32}\sqrt{(A-3)/A}$. For upper bounds, we give an auditable composition rule for a span-constrained optimistic learner, but do not claim a coefficient while adaptive directional-variance and planning certificates remain open. We also formalize valid expectation conversion and constant comparability. Controlled diagnostics test diameter dependence, bonus-by-width interactions, span misspecification, and the finite lower certificate on its exact family.
- Abstract（参考訳）: しかし,確率モード,構造パラメータ,対数正規化,事前情報,計画仮定が異なるため,公表された保証の数値内容を比較することは困難である。
定数対応比較プロトコルを導入し、MPPを通信するための明示的な有限下位証明書を導出する。
この構造は2つの状態ブロックからなる二分木であり、その証明は正確な軌道レベルのベルヌーイKLの分岐を使い、アクション予算、直径、占有率、航行コスト、終端偏差を明示している。
一般的な閉形式エンベロープは、有限フロンティア全体で公表された係数0.015$を改善する: 適度な状態では0.0200$、より強い作用、直径、地平線条件下では0.0291$、9,4\%の上昇である。
制限係数は$\frac1{32}\sqrt{(A-3)/A}$である。
上界に対しては、制約付き楽観的な学習者に対して監査可能な構成規則を与えるが、適応的な方向分散と計画証明書が残っている間、係数は主張しない。
また、有効な期待変換と一定の可視性も定式化する。
制御された診断は、直径依存性、ボーナス・バイ・幅の相互作用、不特定性の範囲、および正確な家族に対する有限の低い証明書をテストする。
関連論文リスト
- Compute-Bounded Security Assurance - Coverage, Verification, and Response under Resource Constraints [0.0]
追加の推論計算は、正しく解決されたセキュリティ保証タスクの数を増やすことができる。
我々は、成功、ユニークなカバレッジ、承認された証拠、運用上の保護を分離するリソース制約のあるフレームワークを開発する。
概念的防御アーキテクチャは、証拠分析、判断、運用権限を分離する。
論文 参考訳（メタデータ） (2026-09-07T13:07:55Z) - Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。
スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
論文 参考訳（メタデータ） (2026-09-07T01:38:41Z) - Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。
我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
論文 参考訳（メタデータ） (2026-08-06T19:49:48Z) - Between-User Collapse Under Popularity-Biased Feedback: A Centered-Covariance Theorem and Computable Phase Boundary [0.0]
我々は,人気度の高いBPRトレーニングが,協調フィルタリング埋め込みのユーザ間幾何学にどう影響するかを考察する。
定常アイテムによる人気バイアスのあるフィードバックの下では、$C$は安定した状態に収束する。
次に、その効果の限界について検討する。
論文 参考訳（メタデータ） (2026-08-03T17:33:25Z) - Bayesian Best-Arm Identification with Abstention: A Polynomial-to-Exponential Phase Transition [51.253617466579335]
本研究では,学習者が端末の推薦を控えることができるベイジアン固定予算のベストアーム識別問題について検討する。
本研究は,非検出誤りの確率を解析し,吸収を伴わない準最適腕を推奨するリスクについて考察する。
論文 参考訳（メタデータ） (2026-06-28T05:07:27Z) - The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。
Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
論文 参考訳（メタデータ） (2026-05-09T06:48:00Z) - Tokens-per-Parameter Coverage Is Critical for Robust LLM Scaling Law Extrapolation [45.56738584872585]
ニューラルスケーリング法則は、パラメータカウント$N$とトークンカウント$D$のパワーロー関数として、言語モデルの損失を近似する。
本稿では,コリニア設計がガウス・ニュートン最小二乗問題に固有の不条件を生じさせることを示す。
これを4つのスケーリング法則形式に対して証明し、十分に条件付き推定に十分必要な閉形式TPP多様性閾値を導出する。
論文 参考訳（メタデータ） (2026-05-08T23:00:17Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Wasserstein-regularized Conformal Prediction under General Distribution Shift [21.29977879431466]
等式予測は、i.d.仮定の下で真のターゲットの1-alpha$カバレッジが保証された予測セットを生成する。
本稿では、ワッサーシュタイン距離に基づくカバレッジギャップの上界を提案し、確率測度をプッシュフォワードで解析する。
本稿では,重要重み付けと正規化表現学習(WR-CP)に基づくアルゴリズム設計のための分離を利用して,有限サンプル誤差境界のワッサーシュタイン境界を低減する。
論文 参考訳（メタデータ） (2025-01-23T07:29:44Z) - Limit Distribution Theory for the Smooth 1-Wasserstein Distance with
Applications [18.618590805279187]
スムーズな1-ワッサーシュタイン距離 (SWD) $W_1sigma$ は経験的近似における次元の呪いを軽減する手段として最近提案された。
この研究は、高次元の極限分布結果を含むSWDの詳細な統計的研究を行う。
論文 参考訳（メタデータ） (2021-07-28T17:02:24Z) - Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。
本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-01T17:47:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。