論文の概要: Online Policy Learning via a Self-Normalized Maximal Inequality

• arxiv url: http://arxiv.org/abs/2510.15483v1
• Date: Fri, 17 Oct 2025 09:53:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-20 20:17:34.563579
• Title: Online Policy Learning via a Self-Normalized Maximal Inequality
• Title（参考訳）: 自己Normalized Maximal Inequalityによるオンライン政策学習
• Authors: Samuel Girard, Aurélien Bibaut, Houssam Zenati,
• Abstract要約: マルティンゲール経験過程における自己正規化最大不等式を開発した。 逐次更新と標準複雑性とマージン条件で組み合わせると、推定器は高速収束率が得られることを示す。
• 参考スコア（独自算出の注目度）: 4.906641452356241
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adaptive experiments produce dependent data that break i.i.d. assumptions that underlie classical concentration bounds and invalidate standard learning guarantees. In this paper, we develop a self-normalized maximal inequality for martingale empirical processes. Building on this, we first propose an adaptive sample-variance penalization procedure which balances empirical loss and sample variance, valid for general dependent data. Next, this allows us to derive a new variance-regularized pessimistic off-policy learning objective, for which we establish excess-risk guarantees. Subsequently, we show that, when combined with sequential updates and under standard complexity and margin conditions, the resulting estimator achieves fast convergence rates in both parametric and nonparametric regimes, improving over the usual $1/\sqrt{n}$ baseline. We complement our theoretical findings with numerical simulations that illustrate the practical gains of our approach.
• Abstract（参考訳）: 適応実験(Adaptive experiment)は、古典的な濃度境界を低くし、標準学習保証を無効にする仮定を破る依存データを生成する。 本稿では,マルティンゲール実験プロセスにおける自己正規化最大不等式を開発する。 そこで我々はまず, 一般依存データに適用可能な, 経験的損失とサンプル分散のバランスをとる適応型サンプル分散ペナル化手法を提案する。 次に、分散規則化された悲観的非政治学習目標を導出し、過度なリスク保証を確立する。 その後、逐次更新と標準複雑性とマージン条件を併用すると、パラメトリックと非パラメトリックの双方における高速収束率を推定し、通常の1/\sqrt{n}$ベースラインよりも改善することを示した。 提案手法の実用的利益を示す数値シミュレーションを用いて理論的知見を補完する。

関連論文リスト

• Multiply Robust Conformal Risk Control with Coarsened Data [0.0]
  コンフォーマル予測(CP)は近年,膨大な関心を集めている。 本稿では、粗いデータから得られる結果に対して、分布自由な有効予測領域を得るという一般的な問題について考察する。 半パラメトリック理論の原則的利用は、フレキシブルな機械学習手法の促進の鍵となる利点を持つ。
  論文  参考訳（メタデータ） (2025-08-21T12:14:44Z)
• Simulation-Based Inference for Adaptive Experiments [38.841210420855276]
  マルチアームバンディットの実験的な設計は、標準的なランダム化試験よりもますます採用されている。 そこで本研究では,腕特定手段の仮説テストと信頼区間構築のためのシミュレーションに基づくアプローチを提案する。 以上の結果から,提案手法は,設計対象でない腕の大幅な改善を図りながら,信頼性区間幅を最大50%削減し,所望のカバレッジを達成できることが示唆された。
  論文  参考訳（メタデータ） (2025-06-03T13:46:59Z)
• Adaptive Conformal Inference by Betting [51.272991377903274]
  データ生成プロセスについて仮定することなく適応型共形推論の問題を考察する。 適応型共形推論のための既存のアプローチは、オンライン勾配勾配の変種を用いたピンボール損失の最適化に基づいている。 本稿では,パラメータフリーなオンライン凸最適化手法を利用した適応型共形推論手法を提案する。
  論文  参考訳（メタデータ） (2024-12-26T18:42:08Z)
• Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [53.03951222945921]
  我々はスムーズな(摂動された)ポリシーを解析し、線形オラクルが使用する方向に対して制御されたランダムな摂動を付加する。 我々の主な貢献は、過剰リスクを摂動バイアス、統計的推定誤差、最適化誤差に分解する一般化境界である。 車両のスケジューリングやスムーズ化がトラクタブルトレーニングと制御された一般化の両方を可能にしていることを示す。
  論文  参考訳（メタデータ） (2024-07-24T12:00:30Z)
• A Statistical Theory of Regularization-Based Continual Learning [10.899175512941053]
  線形回帰タスクの順序に基づく正規化に基づく連続学習の統計的解析を行う。 まず、全てのデータが同時に利用可能であるかのように得られたオラクル推定器の収束率を導出する。 理論解析の副産物は、早期停止と一般化された$ell$-regularizationの等価性である。
  論文  参考訳（メタデータ） (2024-06-10T12:25:13Z)
• Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
  オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。 学習シナリオにおける同値性に基づく単一のフレームワークを提案する。 我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
  論文  参考訳（メタデータ） (2024-05-09T12:52:22Z)
• Bayesian Nonparametrics Meets Data-Driven Distributionally Robust Optimization [29.24821214671497]
  機械学習と統計モデルのトレーニングは、しばしばデータ駆動型リスク基準の最適化を伴う。 ベイズ的非パラメトリック(ディリクレ過程)理論と、スムーズなあいまいさ-逆選好の最近の決定論的モデルを組み合わせた、新しいロバストな基準を提案する。 実用的な実装として、よく知られたディリクレプロセスの表現に基づいて、評価基準の抽出可能な近似を提案し、研究する。
  論文  参考訳（メタデータ） (2024-01-28T21:19:15Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
  本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-24T15:34:03Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。