論文の概要: Transfer Learning in Bandits from Unknown Adaptive Policies: Problem-Dependent Lower and Upper Bounds
- arxiv url: http://arxiv.org/abs/2610.21582v1
- Date: Thu, 15 Oct 2026 09:30:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.306369
- Title: Transfer Learning in Bandits from Unknown Adaptive Policies: Problem-Dependent Lower and Upper Bounds
- Title（参考訳）: 未知の適応型政策からの帯域移動学習:問題依存下界と上界
- Abstract要約: 我々は,有界報酬を$[0,1]$で伝達学習する手法について検討する。
オンラインゲームが始まる前に、学習者は各アームの$k$、$N'_k$の観察をi.i.d.で受け取る。
対数的後悔は、改善から劣化した対数的障害、保証の喪失までの3つの条件を特徴付けることで、不特定の下で生き残ることができることを示す。
- 参考スコア（独自算出の注目度）: 5.617291981476444
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Transfer learning in stochastic multi-armed bandits is typically studied assuming that prior data forms a fixed offline dataset or is generated by a known source. In practice, historical observations come from a previous adaptive decision process whose policy is unknown. We study this setting for bounded rewards in $[0,1]$. Before the online game starts, the learner receives, for each arm $k$, $N'_k$ observations drawn i.i.d.\ from an unknown distribution $ν'_k$, collected by an arbitrary and possibly data-dependent strategy, so the sample sizes $N'_k$ may be random. Source and target means satisfy $|μ_k-μ'_k|<L_k$ for known constants $(L_k)_k$. We derive an asymptotic problem-dependent lower bound and propose KL-UCB-Transfer, which combines online and historical data and achieves logarithmic regret with an improved leading constant whenever $μ'_a<μ_1-L_a$, and recovers the classical KL-UCB guarantee otherwise. Since bounding the source-target discrepancy is often unrealistic, we relax the assumption to the one-sided condition $μ_k-μ'_k<L_k$ and show that logarithmic regret can survive under misspecification, characterizing three regimes ranging from improvement to a degraded logarithmic bound to a loss of guarantee. Simulations illustrate the practical benefits of exploiting process-generated historical data.
- Abstract（参考訳）: 確率的マルチアームバンディットにおける転送学習は、事前データが固定されたオフラインデータセットを形成したり、既知のソースによって生成されると仮定して、一般的に研究される。
実際には、歴史的観察は、政策が不明な以前の適応的な決定プロセスに由来する。
有界報酬のこの設定を$[0,1]$で研究する。
オンラインゲームが始まる前に、学習者は、未知の分布である$ν'_k$から引き出された各アーム$k$, $N'_k$の観察を受け取り、任意のデータ依存戦略によって収集されるので、サンプルサイズ$N'_k$はランダムである。
ソースおよびターゲット手段は、既知の定数$(L_k)_k$に対して、|μ_k-μ'_k|<L_k$を満たす。
我々は漸近的問題依存の下位境界を導出し、オンラインデータと過去のデータを組み合わせたKL-UCB-Transferを提案する。
ソース・ターゲットの相違性の境界はしばしば非現実的であるので、一方の条件である$μ_k-μ'_k<L_k$に仮定を緩和し、対数的後悔が不特定性の下で生き残ることを示す。
シミュレーションは、プロセス生成履歴データを利用する実用上の利点を示している。
関連論文リスト
- Vanilla Policy Optimization Is Both Optimal and Differentially Private for Stochastic Contextual Bandits [90.0615995526802]
我々は,バニラポリシーの最適化が,文脈的帯域幅において,ほぼ最適な後悔を実現するのに十分であることを示す。
我々は、$O(log T)$レグレッションコールとポリシーオーラクルスイッチのみを使用してバッチ化されたバージョンを開発し、プライベートレグレッションがどのように異なる文脈の帯域幅アルゴリズムを生成するかを示す。
論文 参考訳（メタデータ） (2026-09-27T20:06:59Z) - Parameter-Free Heavy-Tailed Bandits [36.983245230853434]
固定テール指数のモーメント境界$u$に対する適応について研究する。
我々は、全てのアルゴリズムが$u$を知らないこと、あるいはその上限を知らないことは、その分布依存と分布に依存しない後悔の保証の間に急激なトレードオフを従わなければならないことを証明している。
論文 参考訳（メタデータ） (2026-07-31T14:27:28Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Harmful Overfitting in Sobolev Spaces [49.47221415754556]
ソボレフ空間$Wk, p(mathbbRd)$における関数の一般化挙動を、ノイズの多いトレーニングデータセットに完全に適合するものとして研究する。
約ノルム最小化補間器は、滑らかさバイアスによって選択される正準解であり、有害なオーバーフィッティングを示す。
我々の証明では,ソボレフの不等式を用いたトレーニングデータの有害な近傍を同定する幾何学的議論を用いている。
論文 参考訳（メタデータ） (2026-01-31T17:40:56Z) - Dynamic Pricing in the Linear Valuation Model using Shape Constraints [21.319339643047826]
線形評価モデルにおける検閲データに対する動的価格設定に対する形状制約付きアプローチを提案する。
本手法は, 文献における既往の方法と比較して, 経験的後悔の度合いを低くする。
論文 参考訳（メタデータ） (2025-02-09T04:58:33Z) - Agnostic Smoothed Online Learning without Knowledge of the Base Measure [5.167069404528051]
本稿では,$mu$の事前知識を必要とせずに,オンライン学習を円滑に行うためのサブ線形後悔を保証するアルゴリズムを提案する。
R-Coverは、次元$d$を持つ関数クラスに対して、適応的後悔$tilde O(sqrtdT/sigma)$を持つ。
論文 参考訳（メタデータ） (2024-10-07T15:25:21Z) - Estimating Optimal Policy Value in General Linear Contextual Bandits [50.008542459050155]
多くのバンドイット問題において、政策によって達成可能な最大報酬は、前もって不明であることが多い。
我々は,最適政策が学習される前に,サブ線形データ構造における最適政策値を推定する問題を考察する。
V*$で問題依存上界を推定する,より実用的で効率的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-19T01:09:24Z) - Online Selective Classification with Limited Feedback [82.68009460301585]
オンライン学習モデルにおいて、予測者がインスタンスの分類を控える可能性のある選択的分類について検討する。
私たちが考慮している設定の健全な2つの側面は、データが不可避である可能性があるため、データは不可避である可能性があるということです。
smash$tildeO(T1-mu)$ over abstention against Adaptive adversaries. smash$tildeO(T1-mu)$ incurring smash$tildeO(T1-mu)$ over abstention。
論文 参考訳（メタデータ） (2021-10-27T08:00:53Z) - Minimax-Optimal Off-Policy Evaluation with Linear Function Approximation [49.502277468627035]
本稿では,関数近似を用いたバッチデータ強化学習の統計的理論について検討する。
記録履歴から新たな対象政策の累積値を推定するオフ・ポリティクス評価問題を考察する。
論文 参考訳（メタデータ） (2020-02-21T19:20:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。