論文の概要: Learning When to Update: A Near-Optimal Timing Bandit Approach

• arxiv url: http://arxiv.org/abs/2609.37932v1
• Date: Tue, 29 Sep 2026 16:18:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.734754
• Title: Learning When to Update: A Near-Optimal Timing Bandit Approach
• Title（参考訳）: いつアップデートするかを学ぶ: ほぼ最適なタイミングバンドアプローチ
• Abstract要約: 動的環境で動作するシステムは、パフォーマンスを維持するためにタイムリーな更新を必要とする。 機械学習モデルやデジタルツインのようなリソース集約システムでは、戦略的タイミング更新が不可欠である。 我々は,この問題を,各アームが固定更新コストと未知の劣化コストで候補更新間隔を表すような,新たな帯域幅問題として定式化する。
• 参考スコア（独自算出の注目度）: 28.861414052560107
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Systems operating in dynamic environments require timely updates to sustain performance. For resource-intensive systems such as machine learning models and digital twins, strategically timing updates is essential. Updating too frequently wastes resources, while updating too infrequently leads to costly performance degradation. The problem is particularly challenging when the system's degradation pattern is unknown a priori, as is common in new operating environments. We formalize this challenge as a novel \emph{timing bandit} problem, where each arm represents a candidate update interval with a fixed update cost and an unknown, stochastic degradation cost. Three structural properties distinguish this setting from standard multi-armed bandits: selecting an interval commits the learner to multiple time slots before the next update; arm costs are composed of per-step degradation costs and a fixed update cost; and selecting a longer interval naturally reveals degradation at every intermediate step, providing consecutive feedback relevant to shorter intervals. By exploiting these structures, we develop Balanced Consecutive Arm Elimination (BCAE). BCAE achieves $\tilde{O}(\sqrt{T})$ regret, improving upon the $\tildeΩ(K\sqrt{T})$ regret of standard bandit algorithms in this setting, where $K$ is the number of candidate update intervals. We further propose an Optimism-Enhanced variant (OE-BCAE) that integrates lower-confidence-bound principles to improve empirical adaptivity while preserving the same regret order. Moreover, the regret bound achieved by our algorithms matches the theoretical lower bound up to logarithmic factors. Simulation results demonstrate that our algorithms achieve low regret and remain stable as both the number of arms and the update cost vary.
• Abstract（参考訳）: 動的環境で動作するシステムは、パフォーマンスを維持するためにタイムリーな更新を必要とする。 機械学習モデルやデジタルツインのようなリソース集約システムでは、戦略的タイミング更新が不可欠である。 頻繁な更新はリソースを浪費する一方で、頻繁な更新はパフォーマンスの低下につながる。 この問題は、新しいオペレーティングシステムでよく見られるように、システムの劣化パターンが事前に分かっていない場合に特に困難である。 我々は,この課題を,各アームが固定更新コストと未知の確率的劣化コストで、候補更新間隔を表すような,新しい 'emph{timing bandit} 問題として定式化する。 3つの構造的特性は、次の更新の前に学習者を複数のタイムスロットにコミットするインターバルの選択、アームコストはステップ毎の劣化コストと固定更新コストで構成され、長いインターバルの選択は、中間ステップ毎に自然に劣化を明らかにし、短い間隔に関連する連続的なフィードバックを提供する。 これらの構造を生かして、BCAE(Ba balanced Consecutive Arm Elimination)を開発した。 BCAEは$\tilde{O}(\sqrt{T})$ regretを達成し、$\tildeΩ(K\sqrt{T})$ regret of standard bandit algorithm in this set, where $K$ is the number of candidate update intervals。 また,同じ後悔の順序を維持しつつ,経験的適応性を向上させるために,信頼度が低い原理を統合したオプティミズム強化変種(OE-BCAE)を提案する。 さらに、我々のアルゴリズムが達成した後悔の限界は、対数係数までの理論的な下限と一致する。 シミュレーションの結果,本アルゴリズムは,腕の数と更新コストが異なるため,低い後悔と安定を達成できることが示された。

関連論文リスト

• Beyond Binary: Continuous State Optimization with Graph-Structured Objectives [61.561691314533135]
  大規模学習システムは、複数の競合する可能性のある目標のバランスをとるという課題に直面していることが多い。 ほぼ最適の後悔を維持しつつ,スイッチングコストを最小限に抑えるため,遅延更新を行うアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-08-10T09:46:28Z)
• A Modularized Framework for Piecewise-Stationary Restless Bandits [16.247398329333205]
  本研究では,PS-RMAB問題について検討した。 それぞれの腕はマルコフ連鎖として進化するが、エンフェメアン報酬は未知のセグメント間で変化するかもしれない 本稿では、任意のRMABベースアルゴリズムと変更検出を統合し、新たな探索機構を提案する。
  論文  参考訳（メタデータ） (2026-04-11T12:10:54Z)
• Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation [58.3773038915023]
  継続的な学習は、事前訓練されたモデルを、以前取得した知識を忘れずにシーケンシャルなタスクに適応することを目的としている。 既存のほとんどのアプローチは、現在のタスク固有の更新が以前取得した知識を自然に保存するプロパティを考慮せずに、継続的な学習を過去の更新への干渉を避けるものとして扱う。 本稿では,視覚言語モデルで使用される標準深度ドットと互換性のある一階述語法を用いてこの問題に対処する。
  論文  参考訳（メタデータ） (2026-01-31T13:27:02Z)
• Influential Bandits: Pulling an Arm May Change the Environment [44.71145269686588]
  現実世界のアプリケーションは、しばしば非定常環境と武器間の相互依存を含む。 本稿では,未知の,対称な正の半定値相互作用行列による腕間相互作用をモデル化する,影響力のあるバンドイット問題を提案する。 我々は,損失ダイナミクスの構造に合わせて,低信頼境界(LCB)推定器に基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-11T02:05:51Z)
• Variance-Aware Regret Bounds for Stochastic Contextual Dueling Bandits [53.281230333364505]
  本稿では, 一般化線形モデル(GLM)から, デュエルアームのバイナリ比較を生成するコンテキストデュエルバンド問題について検討する。 本稿では,SupLinUCB型アルゴリズムを提案する。このアルゴリズムは,計算効率と分散を意識したリセットバウンド$tilde Obig(dsqrtsum_t=1Tsigma_t2 + dbig)$を提案する。 我々の後悔は、比較が決定論的である場合の直感的な期待と自然に一致し、アルゴリズムは$tilde O(d)$ regretにのみ悩まされる。
  論文  参考訳（メタデータ） (2023-10-02T08:15:52Z)
• Non-stationary Delayed Online Convex Optimization: From Full-information to Bandit Setting [71.82716109461967]
  遅延勾配が利用できる全情報ケースに対して Mild-OGD というアルゴリズムを提案する。 ミルド-OGDのダイナミックな後悔は、順番の仮定の下で$O(sqrtbardT(P_T+1))$で自動的に束縛されることを示す。 Mild-OGDのバンディット版も開発し,損失値の遅れのみを考慮に入れた,より困難なケースについて検討した。
  論文  参考訳（メタデータ） (2023-05-20T07:54:07Z)
• Non-Stationary Bandits with Auto-Regressive Temporal Dependency [14.093856726745662]
  本稿では,自己回帰(AR)報酬構造を通じて実世界の力学の時間構造をキャプチャする,新しい非定常MABフレームワークを提案する。 i) 時間的依存を利用して探索と利用を動的にバランスさせるのに適した変更機構と, (ii) 時代遅れの情報を捨てるように設計された再起動機構の2つの主要なメカニズムを統合するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-28T20:02:21Z)
• Restless-UCB, an Efficient and Low-complexity Algorithm for Online Restless Bandits [61.490254407420906]
  我々は、各腕の状態がマルコフ連鎖に従って進化するオンラインレス・バンディット問題について研究する。 本研究では,探索研究の枠組みに従う学習方針であるReestless-UCBを提案する。
  論文  参考訳（メタデータ） (2020-11-05T05:16:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。