論文の概要: Short-Term Pain for Long-Term Gain: Adaptive Experiment with Post-Commitment Reward Shift
- arxiv url: http://arxiv.org/abs/2607.23432v1
- Date: Sun, 26 Jul 2026 03:03:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.099003
- Title: Short-Term Pain for Long-Term Gain: Adaptive Experiment with Post-Commitment Reward Shift
- Title（参考訳）: 長期利得のための短期痛覚--コミット後リワードシフトを用いた適応的実験
- Abstract要約: 学習環境における意思決定者は、短期的最適行動が最も長期的な利益を優先しない場合、ジレンマに直面します。
ジレンマの背後にあるトレードオフを理解するため,コミット後報酬シフトを用いた適応実験について検討した。
- 参考スコア（独自算出の注目度）: 7.0306572851625
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Decision-makers in learning environments face a dilemma when their short-term optimal actions may not favor their long-term benefits the most. To understand the fundamental tradeoff behind the dilemma, we study adaptive experimentation with post-commitment reward shifts. During an experiment phase, the decision-maker may adaptively test multiple options; during a subsequent commitment phase, the decision-maker must commit to a single option, whose reward may differ from its pre-commitment reward. We propose the Reserved Arm Eliminations for Commitment (RAEC) algorithm, which reserves a predetermined portion of the experiment phase to identify the best post-shift option while using the remaining rounds to minimize short-run regret. We establish regret upper bounds for RAEC across all parameter regimes and matching minimax lower bounds, providing a tight characterization of the cost of balancing short-term performance and long-term commitment. We also study two extensions. With prior structural knowledge linking pre- and post-shift rewards, we show that correctly identifying the ranking-changing component of the shift is more important than estimating its absolute magnitude. For settings with concave commitment rewards and portfolio choice, we develop the Reserved Online Stochastic Convex Optimization for Commitment (ROSCOC) algorithm, which directly converts its reserved exploration history into a commitment portfolio and achieves tight regret bound. Finally, we also conduct numerical experiments which confirm that our proposed algorithms achieve the desired regret predicted by our theory, and also outperform other baseline algorithms.
- Abstract（参考訳）: 学習環境における意思決定者は、短期的最適行動が最も長期的な利益を優先しない場合、ジレンマに直面します。
ジレンマの背後にある基本的なトレードオフを理解するため,コミット後報酬シフトを用いた適応実験について検討した。
実験段階では、意思決定者は複数の選択肢を適応的にテストすることができる。
本稿では,実験段階の所定部分を予備し,残りのラウンドを用いて短時間の後悔を最小限に抑えるため,最適なポストシフトオプションを同定するRAECアルゴリズムを提案する。
我々は、RAECの全てのパラメータ規則に対する後悔の上限とミニマックスの下位境界を一致させ、短期的性能と長期的コミットメントのバランスをとるコストを厳格に評価する。
また、2つの拡張も研究している。
事前報酬と後報酬をリンクする事前構造知識により、シフトのランク変更成分を正しく同定することが絶対等級を推定するよりも重要であることを示す。
包括的包括的包括的包括的包括的最適化アルゴリズム(ROSCOC)を開発した。
最後に,提案アルゴリズムが提案理論によって予測された後悔を達成し,他のベースラインアルゴリズムよりも優れていることを示す数値実験も実施する。
関連論文リスト
- Efficient Online Conformal Selection with Limited Feedback [14.326282143930769]
我々は、エージェントが最低限の選択肢のサブセットを選択して、少なくとも1つの成功が特定されるようにしなければならない共形選択の問題に対処する。
適応型コンフォーマル推論(ACI)更新ルールは、適切な制御パラメータや双対変数に適用された場合、逆向きに有効かつ効率的であることを示す。
論文 参考訳（メタデータ） (2026-05-14T15:22:46Z) - ZIP-RC: Optimizing Test-Time Compute via Zero-Overhead Joint Reward-Cost Prediction [57.799425838564]
ZIP-RCは、モデルに報酬とコストのゼロオーバーヘッド推論時間予測を持たせる適応推論手法である。
ZIP-RCは、同じまたはより低い平均コストで過半数投票よりも最大12%精度が向上する。
論文 参考訳（メタデータ） (2025-12-01T09:44:31Z) - Cascading Bandits With Feedback [4.305007244430146]
本研究では,各アームが関連する精度と誤差確率を持つ推論モデルに対応するカスケードバンドモデルの変種について検討する。
我々は,4つの意思決定方針(Explore-then-Commit, Action Elimination, Lower Confidence Bound (LCB),Thompson Sampling)を分析し,それぞれに鋭い理論的後悔の保証を与える。
論文 参考訳（メタデータ） (2025-11-14T03:55:22Z) - Explore-then-Commit for Nonstationary Linear Bandits with Latent Dynamics [21.224078346005655]
報酬が行動と潜伏状態の両方に依存する非定常バンドイット問題について検討する。
有限地平線$T$に対する探索列コミットアルゴリズムを提案する。
提案アルゴリズムは, $tildemathcalO(T2/3)$ regret を実現する。
論文 参考訳（メタデータ） (2025-10-17T20:41:14Z) - Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。
我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。
NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
論文 参考訳（メタデータ） (2025-03-23T10:52:36Z) - Multi-Armed Bandits with Abstention [62.749500564313834]
本稿では, 新たな戦略要素である禁忌を取り入れた, 正準多重武装バンディット問題の拡張を提案する。
この強化されたフレームワークでは、エージェントは各タイムステップでアームを選択することだけでなく、観察する前に即時報酬を受け付けないオプションも備えている。
論文 参考訳（メタデータ） (2024-02-23T06:27:12Z) - Non-stationary Delayed Online Convex Optimization: From Full-information to Bandit Setting [71.82716109461967]
遅延勾配が利用できる全情報ケースに対して Mild-OGD というアルゴリズムを提案する。
ミルド-OGDのダイナミックな後悔は、順番の仮定の下で$O(sqrtbardT(P_T+1))$で自動的に束縛されることを示す。
Mild-OGDのバンディット版も開発し,損失値の遅れのみを考慮に入れた,より困難なケースについて検討した。
論文 参考訳（メタデータ） (2023-05-20T07:54:07Z) - A Unifying Framework for Online Optimization with Long-Term Constraints [62.35194099438855]
我々は,意思決定者が長期的制約の対象となる一連の意思決定をしなければならないオンライン学習問題について検討する。
目標は、全報酬を最大化し、同時に、$T$ラウンド全体で小さな累積違反を達成することである。
本稿では,この一般クラス問題に対して,未知のモデルに基づいて報酬と制約が選択された場合と,各ラウンドで敵が選択した場合の双方において,最良世界型アルゴリズムを提示する。
論文 参考訳（メタデータ） (2022-09-15T16:59:19Z) - Navigating to the Best Policy in Markov Decision Processes [68.8204255655161]
マルコフ決定過程における純粋探索問題について検討する。
エージェントはアクションを逐次選択し、結果のシステム軌道から可能な限り早くベストを目標とする。
論文 参考訳（メタデータ） (2021-06-05T09:16:28Z) - Reward Biased Maximum Likelihood Estimation for Reinforcement Learning [13.820705458648233]
マルコフ連鎖の適応制御のためのRBMLE(Reward-Biased Maximum Likelihood Estimate)を提案した。
我々は、現在最先端のアルゴリズムと同様に、$mathcalO( log T)$が$T$の時間的水平線上で後悔していることを示します。
論文 参考訳（メタデータ） (2020-11-16T06:09:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。