論文の概要: Future Information-Directed Sampling for Bayesian Nonstationary Bandits

• arxiv url: http://arxiv.org/abs/2609.33981v1
• Date: Sun, 27 Sep 2026 22:24:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 08:07:39.826292
• Title: Future Information-Directed Sampling for Bayesian Nonstationary Bandits
• Title（参考訳）: ベイズ非定常帯域に対する将来の情報指向サンプリング
• Abstract要約: 本研究では,ベイズ非定常帯域に対する新しいアルゴリズムであるFuture Information-Directed Smpling (FIDS)を提案する。 FIDSは将来の最適な武器に関する情報を明示的に収集する。 FIDSはThompson Smplingに匹敵する最小の定数係数の後悔を達成できることを示す。
• 参考スコア（独自算出の注目度）: 28.22772317637725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Exploration--exploitation is a central trade-off in bandit learning. While classical algorithms such as upper confidence bound methods and Thompson Sampling effectively balance this trade-off in stationary environments, their exploration strategies mainly reduce uncertainty about the current optimal arm, which can be insufficient in nonstationary settings where future optimal arms may differ substantially from current ones. In this paper, we propose Future Information-Directed Sampling (FIDS), a new algorithm for Bayesian nonstationary bandits that explicitly explores to gather information about future optimal arms. We show that FIDS achieves regret comparable to Thompson Sampling up to a small constant factor, while being able to exploit predictive information structures that conventional exploration objectives fail to capture. To address the practical difficulty of posterior inference, we further propose a supervised-learning-based approximation framework that learns the FIDS policy from offline data, and demonstrate its effectiveness on synthetic benchmarks.
• Abstract（参考訳）: 探索(Exploitation)は、バンディット学習における中心的なトレードオフである。 高信頼バウンド法やトンプソンサンプリングのような古典的アルゴリズムはこのトレードオフを定常環境で効果的にバランスさせるが、その探索戦略は主に現在の最適なアームに関する不確実性を減少させ、将来の最適なアームが現在のアームと大きく異なる非定常的な環境では不十分である。 本稿では,ベイジアン非定常バンドレットのための新しいアルゴリズムであるFuture Information-Directed Smpling (FIDS)を提案する。 FIDSはトンプソンサンプリングに匹敵するものの,従来の探索目的の達成に失敗する予測情報構造を活用できることを示す。 そこで本研究では、オフラインデータからFIDSポリシーを学習し、その効果を総合ベンチマークで実証する教師あり学習に基づく近似フレームワークを提案する。

関連論文リスト

• Data-dependent Exploration for Online Reinforcement Learning from Human Feedback [50.34161049551627]
  人的フィードバックからのオンライン強化学習(RLHF)は、トレーニング中に新たな嗜好フィードバックを継続的に収集することにより、大規模言語モデル(LLM)を整合させるための有望なパラダイムとして登場した。 既存の調査戦略は、しばしば政治上の期待を通じてボーナスを導き出すが、これは訓練中に利用できる限られた歴史的嗜好データから確実に見積もることが難しい。 高不確実性領域に対する余分な不確実性ボーナスを構築するために、履歴データを活用するシンプルでスケーラブルなデータ依存型選好最適化法(DEPO)を提案する。
  論文  参考訳（メタデータ） (2026-05-06T03:56:45Z)
• Re-thinking Data Availablity Attacks Against Deep Neural Networks [53.64624167867274]
  本稿では、未学習例の概念を再検討し、既存のロバストな誤り最小化ノイズが不正確な最適化目標であることを示す。 本稿では,計算時間要件の低減による保護性能の向上を図った新しい最適化パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-05-18T04:03:51Z)
• STEERING: Stein Information Directed Exploration for Model-Based Reinforcement Learning [111.75423966239092]
  遷移モデルの現在の推定値と未知の最適値との間の積分確率距離(IPM)の観点から探索インセンティブを提案する。 KSDに基づく新しいアルゴリズムを開発した。 textbfSTEin information dirtextbfEcted Explor for model-based textbfReinforcement Learntextbfing。
  論文  参考訳（メタデータ） (2023-01-28T00:49:28Z)
• Thompson Sampling with Diffusion Generative Prior [20.69774298882897]
  本稿では,基礎となるタスク分布を学習し,トンプソンサンプリングと学習したタスクを組み合わせて,新しいタスクをテスト時に処理する拡散モデルを提案する。 本アルゴリズムは,学習者の環境との相互作用から生じる雑音と,学習前の環境とのバランスを慎重に行うように設計されている。 また,現実的なバンディットシナリオを捉えるために,不完全および/またはノイズの多いデータからトレーニングを行う新しい拡散モデルトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-01-12T18:05:59Z)
• ZigZag: Universal Sampling-free Uncertainty Estimation Through Two-Step Inference [54.17205151960878]
  汎用的でデプロイが容易なサンプリング不要のアプローチを導入します。 我々は,最先端手法と同等の信頼性のある不確実性推定を,計算コストを著しく低減した形で生成する。
  論文  参考訳（メタデータ） (2022-11-21T13:23:09Z)
• Non-Stationary Bandit Learning via Predictive Sampling [15.88678122212934]
  非定常環境ではトンプソンサンプリングが不十分であることを示す。 本稿では,有効性を急速に失う情報を優先的に抽出するアルゴリズムである予測サンプリングを提案する。
  論文  参考訳（メタデータ） (2022-05-04T09:37:16Z)
• Deep Bandits Show-Off: Simple and Efficient Exploration with Deep Networks [14.178899938667161]
  文脈的包帯に対する簡便かつ効率的な不確実性尺度であるサンプル平均不確実性(SAU)を紹介する。 単純さのため、SAUはエプシロン・グレディ探索の非常にスケーラブルなドロップイン代替として、深い文脈の包帯にシームレスに適用できる。
  論文  参考訳（メタデータ） (2021-05-10T21:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。