Fugu-MT 論文翻訳(概要): Continuity-Free Near-Minimax Leading-Order Regret for CVaR-UCBVI

論文の概要: Continuity-Free Near-Minimax Leading-Order Regret for CVaR-UCBVI

arxiv url: http://arxiv.org/abs/2608.28960v1
Date: Sat, 29 Aug 2026 00:21:29 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-01 18:31:30.794613
Title: Continuity-Free Near-Minimax Leading-Order Regret for CVaR-UCBVI
Title（参考訳）: CVaR-UCBVI用無連続ニアミニマックスリードレギュレータ
Abstract要約: 我々は,同一のベルンシュタインCVaR-UCBVIアルゴリズムが連続性仮定なしでよりシャープな速度を達成することを示す。元の分解への置換は、高い確率で$widetildeO(sqrtSAK/+(SAHK1/4+S2AH)/)$ regret for arbitrary normalized return law となる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: For finite-horizon tabular CVaR reinforcement learning, prior work proves a $\widetilde{O}(τ^{-1}\sqrt{SAK})$ leading regret bound for arbitrary normalized return laws and the sharper $\widetilde{O}(\sqrt{SAK/τ})$ rate under a density lower bound. We show that the same Bernstein CVaR-UCBVI algorithm attains the sharper rate without continuity assumptions. The key is a selected-budget self-bound: the conditional variance of the episode shortfall is at most $τ$ plus the value-estimation width. Substitution into the original Bernstein decomposition yields, with high probability, $\widetilde{O}(\sqrt{SAK/τ}+(SAHK^{1/4}+S^2AH)/τ)$ regret for arbitrary normalized return laws, including atomic, mixed, and continuous laws. The $τ^{-1/2}$ leading term matches the expected-regret minimax lower bound up to logarithmic factors. Thus Bernstein CVaR-UCBVI is minimax-optimal over the full return-law class in the leading-order regime; the lower-order terms retain their $τ^{-1}$ dependence.
Abstract（参考訳）: 有限水平表型CVaR強化学習において、先行研究は、任意の正規化戻り法則とよりシャープな$\widetilde{O}(\sqrt{SAK/τ})$密度下界の速度に対する$\widetilde{O}(τ^{-1}\sqrt{SAK})$リード後悔境界を証明している。同一のBernstein CVaR-UCBVIアルゴリズムが連続性仮定なしでよりシャープな速度を得ることを示す。キーは選択した予算の自己バウンドであり、エピソードショートフォールの条件分散は、最大$τ$と値推定幅である。元のベルンシュタイン分解への置換は、高い確率で$\widetilde{O}(\sqrt{SAK/τ}+(SAHK^{1/4}+S^2AH)/τ)$ 後悔する。 τ^{-1/2}$の先行項は、対数的因子まで有界な最小値の期待値と一致する。したがって、ベルンシュタイン CVaR-UCBVI は、最上位体制における全リターン法則クラスに対して極小最大値であり、下位項の項は $τ^{-1}$ 依存を保っている。

関連論文リスト

Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
論文参考訳（メタデータ） (2026-09-07T01:38:41Z)
Asymptotically Optimal Regret for Reinforcement Learning without Horizon Dependence [54.59847568544922]
有限水平時間同質なマルコフ決定過程に対して、$A$状態、$A$アクション、hoighty $H$、および1ドルで有界なトラジェクティブ当たりの合計報酬について、地平自由な後悔について検討する。失敗確率$$K$はエピソード数で$tilde O(sqrtSAK+S3K)$ hides $mathsfpolyである。
論文参考訳（メタデータ） (2026-07-22T07:42:19Z)
Price of Fairness in Bandits: A Tight Minimax Characterization [9.360852329235477]
盗賊問題では、標準的な後悔を最小化するアルゴリズムが探索を償却コストとして扱い、初期の参加者は不公平な前衛の損失に晒される。最近の研究は、一般化された$p$-meanを通じて、ラウンドごとの期待される報酬のシーケンスを評価することで、この問題に対処している。アルゴリズムに依存しない下界$(sqrtkmax(1,q)/T)$; for $q>1$, this shows that $kq/2$ is a information-theoretically unavoidable。
論文参考訳（メタデータ） (2026-07-15T02:58:57Z)
Bilateral Trade Under Heavy-Tailed Valuations: Minimax Regret with Infinite Variance [0.0]
任意の値に対する期待された後悔は、有界密度だけで$mathbbE[g(m,V,W)] le L|m-|2$を満たすことを示す。雑音が$p in (1,2)$に対してp$-第1モーメントしか持たず、市場価値関数が$$-Hlderである場合、エポックアルゴリズムが後悔$widetildeO(T1-2(p-1)/(p + d(p-1)))$を達成することを証明する。
論文参考訳（メタデータ） (2026-03-06T20:15:58Z)
A 1/R Law for Kurtosis Contrast in Balanced Mixtures [15.412858526786978]
クルトーシスに基づく独立成分分析は、幅広いバランスの取れた混合物を弱める。有効幅が$R_mathrmeff$の標準化された射影に対して、人口超過は$|(y)|=O(_max/R_mathrmeff)$に従う。また、emphpurification -- selecting $m!ll!R$ sign-consistent sources -- restores $R$-independent contrast $ (1/m)$, with a simple data.
論文参考訳（メタデータ） (2026-02-25T19:01:01Z)
Near-Minimax-Optimal Risk-Sensitive Reinforcement Learning with CVaR [58.40575099910538]
本研究は,リスク許容度が$tau$のCVaR(Conditional Value at Risk)の目的に着目し,リスクに敏感な強化学習(RL)について検討する。ミニマックスCVaRの後悔率は$Omega(sqrttau-1AK)$で、$A$はアクションの数、$K$はエピソード数である。我々は,このアルゴリズムが連続性仮定の下で$widetilde O(tau-1sqrtSAK)$の最適後悔を達成し,一般に近似することを示す。
論文参考訳（メタデータ） (2023-02-07T02:22:31Z)
Horizon-Free and Variance-Dependent Reinforcement Learning for Latent Markov Decision Processes [62.90204655228324]
我々は,後期マルコフ決定過程(LMDP)における強化学習(RL)の文脈を考慮した後悔の最小化について検討した。我々は,モデル最適化と値最適化の両手法でインスタンス化できる,新しいモデルベースアルゴリズムフレームワークを設計する。
論文参考訳（メタデータ） (2022-10-20T21:32:01Z)
Stochastic Shortest Path: Minimax, Parameter-Free and Towards Horizon-Free Regret [144.6358229217845]
エージェントが目標状態に到達する前に蓄積される期待コストを最小限に抑えるために,最短経路(ssp)設定で学習する問題について検討する。我々は,経験的遷移を慎重に歪曲し,探索ボーナスで経験的コストを摂動する新しいモデルベースアルゴリズムEB-SSPを設計する。私達はEB-SSPが$widetildeO(B_star sqrtS A K)$のミニマックスの後悔率を達成することを証明します。
論文参考訳（メタデータ） (2021-04-22T17:20:48Z)
Nearly Horizon-Free Offline Reinforcement Learning [97.36751930393245]
S$状態、$A$アクション、計画的地平$H$で、エピソードな時間同質なMarkov決定プロセスに関するオフライン強化学習を再考する。経験的MDPを用いた評価と計画のための,約$H$自由なサンプル複雑性境界の最初の集合を得る。
論文参考訳（メタデータ） (2021-03-25T18:52:17Z)
$Q$-learning with Logarithmic Regret [60.24952657636464]
楽観的な$Q$は$mathcalOleft(fracSAcdot mathrmpolyleft(Hright)Delta_minlogleft(SATright)right)$ cumulative regret bound, where $S$ is the number of state, $A$ is the number of action, $H$ is the planning horizon, $T$ is the total number of steps, $Delta_min$ is the least sub-Optitimality gap。
論文参考訳（メタデータ） (2020-06-16T13:01:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。