論文の概要: Delightful Exploration

• arxiv url: http://arxiv.org/abs/2605.13287v1
• Date: Wed, 13 May 2026 10:03:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.967837
• Title: Delightful Exploration
• Title（参考訳）: 楽しい探検
• Authors: Ian Osband,
• Abstract要約: textitDelight-gated Explorion (DE) はホストオーバーライドのルールで、探索的な行動に費やすのは彼らの期待がゲート価格を超える場合に限られる。 この実践によって古典的な結果が回復する:Pandoraの高価な検索のための予約値ルール。
• 参考スコア（独自算出の注目度）: 1.1886634182318419
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most exploration algorithms search broadly until uncertainty is resolved. When the action space is too large to resolve within budget, practitioners default to $\varepsilon$-greedy, which bounds disruption but spends its override blindly. We introduce \textit{Delight-gated exploration} (DE), a host--override rule that spends exploratory actions only when their prospective delight (expected improvement times surprisal) exceeds a gate price. This practical heuristic recovers a classical result: Pandora's reservation-value rule for costly search, with surprisal setting the effective inspection cost. Resolved arms exit the gate, fresh arms shut off above a prior-determined threshold, and selected linear-bandit overrides consume finite information budget. Across Bernoulli bandits, linear bandits, and tabular MDPs, the same hyperparameters transfer without retuning, and DE shows much weaker regret growth than Thompson Sampling and $\varepsilon$-greedy in the tested unresolved regimes. Delight improves acting for the same reason it improves learning: it prices scarce resources by the product of upside and surprisal.
• Abstract（参考訳）: ほとんどの探索アルゴリズムは不確実性が解決されるまで広範囲に探索する。 アクションスペースが予算内で解決するには大きすぎる場合、実践者はデフォルトで$\varepsilon$-greedyをデフォルトにします。 ホストオーバーライドルールである「textit{Delight-gated Explor} (DE)」を導入する。 この実践的ヒューリスティックは古典的な結果を回復する:Pandoraの高価な検索のための予約値ルール。 解除された腕はゲートを出て、新鮮な腕は予め決められた閾値の上に停止し、選択されたリニアバンドオーバーライドは有限情報予算を消費する。 ベルヌーイのブレイディット、線形ブレイディット、および表状MDPを横切ると、再調整せずに同じハイパーパラメーターが移動し、DEはテストされた未解決状態においてトンプソン・サンプリングや$\varepsilon$-greedyよりもはるかに弱い後悔の生長を示す。 Delightは、学習を改善するのと同じ理由で行動を改善します。

関連論文リスト

• EUBRL: Epistemic Uncertainty Directed Bayesian Reinforcement Learning [22.84927928856004]
  疫学的な不確実性は、限られた知識による体系的な不確実性を反映している。 本稿では,ベイジアン強化学習アルゴリズムである$texttEUBRL$を提案する。
  論文  参考訳（メタデータ） (2025-12-17T12:55:05Z)
• Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
  バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。 我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。 NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
  論文  参考訳（メタデータ） (2025-03-23T10:52:36Z)
• Bayesian Algorithms for Adversarial Online Learning: from Finite to Infinite Action Spaces [51.513172647831745]
  オンライン学習のためのフォーム・トンプソン・サンプリングをフルフィードバックで開発する。 我々は、後悔の分解を、学習者が先入観を期待したことを後悔させ、また、過度な後悔と呼ぶ先延ばし的な用語を示します。
  論文  参考訳（メタデータ） (2025-02-20T18:10:12Z)
• Deterministic Exploration via Stationary Bellman Error Maximization [6.474106100512158]
  探索は強化学習(RL)の重要かつ特異な側面である 本稿では,後者を安定させ,決定論的探索政策に到達するための3つの修正点を紹介する。 実験結果から,本手法は高密度かつスパースな報酬設定において,$varepsilon$-greedyよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-10-31T11:46:48Z)
• Breaking the Sample Complexity Barrier to Regret-Optimal Model-Free Reinforcement Learning [52.76230802067506]
  漸進的強化学習における後悔を最小限に抑えるために,新しいモデルフリーアルゴリズムを提案する。 提案アルゴリズムは、2つのQ-ラーニングシーケンスの助けを借りて、初期設定された参照更新ルールを用いる。 初期の分散還元法の設計原理は、他のRL設定とは独立した関心を持つかもしれない。
  論文  参考訳（メタデータ） (2021-10-09T21:13:48Z)
• Reward Biased Maximum Likelihood Estimation for Reinforcement Learning [13.820705458648233]
  マルコフ連鎖の適応制御のためのRBMLE(Reward-Biased Maximum Likelihood Estimate)を提案した。 我々は、現在最先端のアルゴリズムと同様に、$mathcalO( log T)$が$T$の時間的水平線上で後悔していることを示します。
  論文  参考訳（メタデータ） (2020-11-16T06:09:56Z)
• Adaptive Discretization against an Adversary: Lipschitz bandits, Dynamic Pricing, and Auction Tuning [56.23358327635815]
  リプシッツ・バンディット(Lipschitz bandits)は、大規模で構造化された行動空間を研究する多腕バンディットの顕著なバージョンである。 ここでの中心的なテーマは、アクション空間の適応的な離散化であり、より有望な領域で徐々にズームインする'である。 逆バージョンにおける適応的な離散化のための最初のアルゴリズムを提供し、インスタンス依存の後悔境界を導出する。
  論文  参考訳（メタデータ） (2020-06-22T16:06:25Z)
• A General Theory of the Stochastic Linear Bandit and Its Applications [8.071506311915398]
  本稿では,線形バンディット問題に対する一般解析フレームワークとアルゴリズム群を紹介する。 予測における最適化という新たな概念は、OFULの過剰探索問題を減少させるSieeved greedy(SG)と呼ばれる新しいアルゴリズムを生み出します。 SGが理論的に最適であることを示すことに加えて、実験シミュレーションにより、SGはgreedy、OFUL、TSといった既存のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-02-12T18:54:41Z)
• Frequentist Regret Bounds for Randomized Least-Squares Value Iteration [94.47472987987805]
  有限水平強化学習(RL)における探索・探索ジレンマの検討 本稿では,ランダム化最小二乗値 (RLSVI) の楽観的な変種を紹介する。 マルコフ決定過程が低ランク遷移ダイナミクスを持つという仮定の下で、RSVIの頻繁な後悔は、$widetilde O(d2 H2 sqrtT)$$ d $ が特徴次元であり、$ H $ が地平線であり、$ T $ が総数であることを示す。
  論文  参考訳（メタデータ） (2019-11-01T19:48:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。