Fugu-MT 論文翻訳(概要): Vanilla Policy Optimization Is Both Optimal and Differentially Private for Stochastic Contextual Bandits

論文の概要: Vanilla Policy Optimization Is Both Optimal and Differentially Private for Stochastic Contextual Bandits

arxiv url: http://arxiv.org/abs/2609.33888v1
Date: Sun, 27 Sep 2026 20:06:59 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-04 15:53:24.205746
Title: Vanilla Policy Optimization Is Both Optimal and Differentially Private for Stochastic Contextual Bandits
Title（参考訳）: バニラ政策最適化は確率的文脈帯域に対して最適かつ差別的にプライベートである
Abstract要約: 我々は,バニラポリシーの最適化が,文脈的帯域幅において,ほぼ最適な後悔を実現するのに十分であることを示す。我々は、$O(log T)$レグレッションコールとポリシーオーラクルスイッチのみを使用してバッチ化されたバージョンを開発し、プライベートレグレッションがどのように異なる文脈の帯域幅アルゴリズムを生成するかを示す。
参考スコア（独自算出の注目度）: 90.0615995526802
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Can vanilla policy optimization explore enough to achieve near-optimal regret in stochastic contextual bandits? We show that standard exponential policy updates driven by offline regression do so under realizability, without exploration bonuses or importance weighting. For $A$ actions, $T$ rounds, and a finite prediction class $F$, vanilla PO achieves $\widetilde O(\sqrt{AT\log(|F|)})$ regret with high probability. Our analysis reveals an implicit exploration mechanism of independent interest: gradual policy updates prevent actions from losing probability too quickly, allowing the regression oracle to learn their expected losses. We further develop a batched version using only $O(\log T)$ regression calls and policy switches, and show how private regression oracles yield differentially private contextual bandit algorithms without composition across batches. For a finite class, this gives pure $\varepsilon_{\rm priv}$-DP and regret $\widetilde O\left( \sqrt{AT \log(|F|/δ)}(1+\varepsilon_{\rm priv}^{-1/2}) \right)$. Finally, experiments across oracle-based contextual bandit algorithms, with and without privacy, demonstrate the practical effectiveness of policy optimization and the value of explicit exploration under stronger privacy constraints.
Abstract（参考訳）: バニラ政策最適化は、確率的文脈的包帯におけるほぼ最適後悔を達成するのに十分であるか? オフライン回帰によって引き起こされる標準的な指数的ポリシー更新は、探索ボーナスや重み付けなしで実現可能であることを示す。 A$アクション、$T$ラウンド、および有限予測クラス$F$の場合、vanilla PO は高い確率で $\widetilde O(\sqrt{AT\log(|F|)})$ regret を達成する。段階的なポリシー更新は、アクションがあまりに早く失われるのを防ぎ、レグレッション・オラクルが期待する損失を学習することを可能にする。我々はさらに$O(\log T)$レグレッションコールとポリシースイッチのみを使用してバッチ化されたバージョンを開発し、プライベートレグレッションオークルがバッチ間のコンポジションを伴わずに、どのように差分プライベートなコンテクストバンディットアルゴリズムを生成するかを示す。有限類に対しては、純粋な$\varepsilon_{\rm priv}$-DP と regret $\widetilde O\left( \sqrt{AT \log(|F|/δ)}(1+\varepsilon_{\rm priv}^{-1/2}) \right)$ を与える。最後に、オラクルベースのコンテキスト的帯域幅アルゴリズムによる実験は、プライバシーと無関係に、ポリシー最適化の実践的効果と、より強いプライバシー制約の下での明示的な探索の価値を実証する。

論文の概要: Vanilla Policy Optimization Is Both Optimal and Differentially Private for Stochastic Contextual Bandits

関連論文リスト