論文の概要: Gaussian-Width Bounds for Offline-to-Online Linear Bandits

• arxiv url: http://arxiv.org/abs/2610.12990v1
• Date: Fri, 09 Oct 2026 04:45:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.393157
• Title: Gaussian-Width Bounds for Offline-to-Online Linear Bandits
• Title（参考訳）: オフライン-オンライン線形帯域に対するガウス幅境界
• Abstract要約: オフラインデータがどのようにオンライン学習に役立つか、線形バンディットで調べる。 我々は部分的にカバーされたオフラインデータに焦点を当てており、$d$の機能指示のわずか$k$しかカバーされていない。
• 参考スコア（独自算出の注目度）: 25.637141630292366
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study how offline data can help online learning in stochastic linear bandits. We focus on partially covered offline data, where only $k$ of the $d$ feature directions are poorly covered. Existing analyses of algorithms based on phased elimination and optimism give regret bounds of order $\widetilde O(\sqrt{dkT})$ in this regime. We show that this dependence arises from loose control of the reward prediction error, and obtain tighter bounds using concentration of Lipschitz functions of Gaussian vectors. Based on this analysis, we develop a phased elimination algorithm with regret $\widetilde O(k\sqrt T)$. For the unit Euclidean ball, we prove a matching regret lower bound under partial coverage, as well as matching upper and lower bounds under uniform offline coverage. We also study pure exploration with offline data, providing algorithms and matching upper and lower bounds on simple regret for fixed-design algorithms and also for adaptive algorithms under partial and uniform coverage of offline data.
• Abstract（参考訳）: オフラインデータは,確率線形帯域におけるオンライン学習にどのように役立つかを研究する。 我々は部分的にカバーされたオフラインデータに焦点を当てており、$d$の機能指示のわずか$k$しかカバーされていない。 位相除去と楽観主義に基づくアルゴリズムの既存の解析は、この状態において位数$\widetilde O(\sqrt{dkT})$の後悔境界を与える。 この依存は、報酬予測誤差の緩い制御から生じ、ガウスベクトルのリプシッツ関数の濃度を用いてより厳密な境界を得ることを示す。 この分析に基づいて、後悔$\widetilde O(k\sqrt T)$の位相除去アルゴリズムを開発する。 単位ユークリッド球の場合、部分被覆下限と一様オフライン被覆下限の一致を証明した。 また、オフラインデータによる純粋な探索や、固定設計アルゴリズムの簡単な後悔と、オフラインデータの部分的および均一なカバレッジに基づく適応アルゴリズムに対するアルゴリズムと、上下境界のマッチングも検討している。

関連論文リスト

• A Polynomial-time Algorithm for Online Sparse Linear Regression with Improved Regret Bound under Weaker Conditions [75.69959433669244]
  オンラインスパース線形回帰(OSLR)では,予測のために1インスタンスあたり$d$あたり$k$しかアクセスできない。 提案手法では, 過去の後悔点を大幅に改善する拡張時間アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-10-31T05:02:33Z)
• Augmenting Online RL with Offline Data is All You Need: A Unified Hybrid RL Algorithm Design and Analysis [18.323002218335215]
  本稿では、エージェントがオフラインデータセットとオンラインインタラクションの両方を利用して最適なポリシーを学習できる強化学習(RL)のためのハイブリッド学習フレームワークについて検討する。 統合されたアルゴリズムと分析を行い、オフラインデータセットによる信頼性に基づくオンラインRLアルゴリズムの強化は、純粋なオンラインまたはオフラインのアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-05-19T22:58:54Z)
• Learning to Cover: Online Learning and Optimization with Irreversible Decisions [50.5775508521174]
  我々は,個別かつ不可逆な意思決定を対象とするオンライン学習と最適化の問題を定義した。 各期間において、意思決定者は、オープンする施設を選択し、それぞれの成功に関する情報を受け取り、将来の決定を導くために分類モデルを更新する。 目的は,多数の施設を対象とする地平線を特徴とし,カバー対象を反映するチャンス制約の下で施設開口を最小化することである。
  論文  参考訳（メタデータ） (2024-06-20T23:00:25Z)
• Leveraging Offline Data in Linear Latent Contextual Bandits [27.272915631913175]
  我々は、数え切れないほど多くの潜伏状態を処理できるエンドツーエンドの潜伏包帯アルゴリズムを設計する。 このオフラインアルゴリズムの出力を利用してオンライン学習を高速化する2つのオンラインアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-27T16:23:34Z)
• Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
  線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。 エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。 既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
  論文  参考訳（メタデータ） (2024-02-14T07:52:00Z)
• Optimal Best-Arm Identification in Bandits with Access to Offline Data [27.365122983434887]
  オフラインデータとオンライン学習を組み合わせることを検討する。 差分$が小さい場合、サンプルの複雑さに基づいて低い境界に一致するアルゴリズムを開発する。 我々のアルゴリズムは, サンプル当たりの平均取得コストが$tildeO(K)$で計算的に効率的であり, 下界問題の最適条件の注意深い評価に頼っている。
  論文  参考訳（メタデータ） (2023-06-15T11:12:35Z)
• On Instance-Dependent Bounds for Offline Reinforcement Learning with Linear Function Approximation [80.86358123230757]
  本稿では,Bootstrapped and Constrained Pessimistic Value Iteration (BCP-VI) というアルゴリズムを提案する。 部分的なデータカバレッジの仮定の下で、BCP-VI は最適な Q-値関数に正のギャップがあるときに、オフライン RL に対して $tildemathcalO(frac1K)$ の高速レートを得る。 これらは、アダプティブデータからの線形関数近似を持つオフラインRLに対してそれぞれ、最初の$tildemathcalO(frac1K)$boundと絶対零部分最適境界である。
  論文  参考訳（メタデータ） (2022-11-23T18:50:44Z)
• Settling the Sample Complexity of Model-Based Offline Reinforcement Learning [50.5790774201146]
  オフライン強化学習(RL)は、事前収集されたデータを用いて、さらなる探索を行わずに学習する。 事前のアルゴリズムや分析は、最適なサンプルの複雑さに悩まされるか、サンプルの最適性に到達するために高いバーンインコストがかかるかのいずれかである。 モデルベース(あるいは"プラグイン")アプローチは,バーンインコストを伴わずに,最小限のサンプル複雑性を実現することを実証する。
  論文  参考訳（メタデータ） (2022-04-11T17:26:19Z)
• Online Markov Decision Processes with Aggregate Bandit Feedback [74.85532145498742]
  本稿では,オンライン有限水平マルコフ決定過程の新たな変種について検討する。 各エピソードにおいて、学習者は、エピソードの選択した方針によって実現された軌道に沿って蓄積された損失を被り、総括的盗聴フィードバックを観察する。 我々の主な結果は計算効率のよいアルゴリズムで、$O(sqrtK)$ regret for this set, where $K$ is the number of episodes。
  論文  参考訳（メタデータ） (2021-01-31T16:49:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。