論文の概要: Safety by Design: Realized-Cost Constraints for Contextual Bandits with Continuous Actions
- arxiv url: http://arxiv.org/abs/2608.26755v1
- Date: Thu, 27 Aug 2026 07:52:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.295899
- Title: Safety by Design: Realized-Cost Constraints for Contextual Bandits with Continuous Actions
- Title（参考訳）: 設計による安全性: 継続的な行動を伴うコンテキスト帯域に対する現実的なコスト制約
- Abstract要約: 本研究では,1次元連続行動とステージワイド高確率制約によるコンテキスト的帯域幅を実コストで検討する。
我々は,安全行動セットを保守的に推定しながら報酬を求める楽観的悲観的アルゴリズムであるHigh-Probability Constrained UCBを提案する。
- 参考スコア（独自算出の注目度）: 25.377745631929557
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contextual bandits are a standard framework for sequential decision-making under uncertainty, with applications in clinical trials, dosage selection, recommendation systems, and autonomous systems. Safety is central in many of these applications, since a single unsafe decision in settings such as dosage selection or autonomous driving can have catastrophic consequences. A common way to model safety in bandit problems is to associate each action with both a reward signal and a cost signal, and to optimize reward subject to constraints on cost. Most existing safety-constrained bandit models enforce safety by requiring the expected cost of each action to remain below a prescribed threshold. However, this may be insufficient in heteroscedastic settings, where the chosen action affects not only the expected reward and cost, but also the variability of the observed outcomes. We study contextual bandits with one-dimensional continuous actions and stage-wise high-probability constraints on the realized cost. We propose High-Probability Constrained UCB, an optimistic-pessimistic algorithm that explores for reward while conservatively estimating the safe action set. For linear reward and cost models, we prove a tight $\tilde{\mathcal{O}}(d\sqrt{T})$ regret bound, and we extend the analysis to general function classes using the eluder dimension. Experiments show that enforcing realized-cost safety substantially reduces violations compared with expected-cost constrained baselines.
- Abstract（参考訳）: コンテキストブレイディット(Contextual bandits)は、不確実性の下でのシーケンシャルな意思決定のための標準フレームワークであり、臨床試験、服薬選択、レコメンデーションシステム、自律システムなどに応用されている。
なぜなら、服用選択や自律運転のような設定において、単一の安全でない決定が破滅的な結果をもたらす可能性があるからである。
バンディット問題における安全性をモデル化するための一般的な方法は、各アクションを報酬信号とコスト信号の両方に関連付け、コストの制約を受ける報酬を最適化することである。
既存の安全制約付きバンディットモデルは、各アクションの期待されるコストを所定の閾値以下に抑えることを要求することにより、安全を強制する。
しかし、これは、選択された行動が期待される報酬とコストだけでなく、観察された結果の変動に影響を及ぼすヘテロシダスティックな環境では不十分である。
本研究では,1次元連続行動とステージワイド高確率制約によるコンテキスト的帯域幅を実コストで検討する。
我々は,安全行動セットを保守的に推定しながら報酬を求める楽観的悲観的アルゴリズムであるHigh-Probability Constrained UCBを提案する。
線形報酬モデルとコストモデルに対しては、厳密な$\tilde{\mathcal{O}}(d\sqrt{T})$ regret bound を証明し、その解析を可溶性次元を用いて一般関数クラスに拡張する。
実験により, 実現可能なコストの安全性の確保は, 期待されるコスト制約ベースラインと比較して, 違反を著しく低減することが示された。
関連論文リスト
- Robust Peak-cost Constrained Reinforcement Learning [10.897248153175935]
我々は、堅牢なピークコスト制約強化学習(RP-CRL)について検討する。
目的は、軌道に沿って発生する最大コストを制御しながら、期待される報酬を最大化することである。
標準CMDPとは異なり、ピークコストの制約されたMDPはゼロ双対性ギャップを認めない可能性がある。
論文 参考訳（メタデータ） (2026-07-16T21:00:50Z) - Selective Safety Steering via Value-Filtered Decoding [54.87935112120107]
大型言語モデル(LLM)は人間の価値観に合わせるように訓練されているが、その世代は安全上の制約に反する可能性がある。
既存のデコード時のステアリング手法は、しばしば不要に介入し、ベースモデルの下で安全であった世代を変更する。
安全でない応答の安全性を向上しつつ、そのような不要な介入を減らすための新しいテストタイムステアリング手法を提案する。
論文 参考訳（メタデータ） (2026-05-14T12:13:08Z) - Escaping the Diversity Trap in Robotic Manipulation via Anchor-Centric Adaptation [50.23374353859762]
多様な単発デモを収集することで「最大限のカバレッジ」を達成できる。
我々は、この現象を包括的-密度トレードオフとして定式化する。
Anchor-Centric Adaptation (ACA) は、2段階のフレームワークで、まずコアアンカーでの繰り返しデモを通じてポリシースケルトンを安定化し、次に教師力によるエラーマイニングと制約付き残差更新を通じて高リスク境界までカバー範囲を広げる。
論文 参考訳（メタデータ） (2026-05-08T07:35:24Z) - Beyond Hard Constraints: Budget-Conditioned Reachability For Safe Offline Reinforcement Learning [13.674504740468159]
安全到達性セットは、不安定なmin/maxやラグランジアン最適化を伴わずに、いかに安全制約を強制するかを示す。
また、このセットが不安定なmin/maxやラグランジアン最適化を使わずに、いかに安全性の制約を強制するかを示す。
本手法は,安全性を維持しつつ,アートベースラインの状態に適合または優れる。
論文 参考訳（メタデータ） (2026-03-08T11:09:33Z) - A Simple Reduction Scheme for Constrained Contextual Bandits with Adversarial Contexts via Regression [7.798233121583888]
制約付き文脈帯域幅を逆選択したコンテキストで検討し、各アクションがランダムな報酬を与え、ランダムなコストを発生させる。
我々は、観測された文脈に基づいて、期待が既知の関数クラスに属する固定分布から、報酬とコストを独立に引き出すという標準的な実現可能性仮定を採用する。
論文 参考訳（メタデータ） (2026-02-04T20:19:55Z) - Conformal Thinking: Risk Control for Reasoning on a Compute Budget [60.65072883773352]
大規模言語モデル(LLM)の推論により、トークンの予算が増加するにつれて、データセットレベルの精度が向上する。
我々は、予算設定問題をリスクコントロールとして再設定し、計算を最小化しながらエラー率を制限する。
我々のフレームワークは、モデルが自信のあるときに推論を停止する上位しきい値と、未解決のインスタンスを事前に停止させる新しい下位しきい値を導入する。
論文 参考訳（メタデータ） (2026-02-03T18:17:22Z) - Boundary-to-Region Supervision for Offline Safe Reinforcement Learning [56.150983204962735]
バウンダリ・トゥ・レギオン(Bundary-to-Region, B2R)は、コスト信号による非対称な条件付けを可能にするフレームワークである。
B2Rは、CTGを固定された安全予算の下で境界制約として再定義し、すべての実行可能な軌道のコスト分布を統一する。
実験の結果,B2Rは38項目中35項目の安全制約を満たすことがわかった。
論文 参考訳（メタデータ） (2025-09-30T03:38:20Z) - ConstrainedZero: Chance-Constrained POMDP Planning using Learned Probabilistic Failure Surrogates and Adaptive Safety Constraints [34.9739641898452]
本研究では、最適値とポリシーのニューラルネットワーク近似を学習することにより、信念空間におけるCC-POMDPを解くConstrainedZeroポリシーアルゴリズムを導入する。
その結果, 目標から安全制約を分離することで, 報酬とコストのバランスを最適化することなく, 目標となる安全レベルを達成できることが示唆された。
論文 参考訳（メタデータ） (2024-05-01T17:17:22Z) - SaFormer: A Conditional Sequence Modeling Approach to Offline Safe
Reinforcement Learning [64.33956692265419]
オフラインセーフなRLは、現実世界のアプリケーションにエージェントをデプロイする上で、非常に実用的な関連性を持っています。
そこで我々は,SaFormerと呼ばれる新しいオフラインセーフなRLアプローチを提案する。
論文 参考訳（メタデータ） (2023-01-28T13:57:01Z) - Safe Linear Bandits over Unknown Polytopes [39.177982674455784]
安全線形バンディット問題(英: safe linear bandit problem、SLB)は、線形プログラミングのオンライン手法である。
ポリトープ上でのSLBの有効性とスムーズな安全性のトレードオフについて検討した。
論文 参考訳（メタデータ） (2022-09-27T21:13:32Z) - A Unifying Framework for Online Optimization with Long-Term Constraints [62.35194099438855]
我々は,意思決定者が長期的制約の対象となる一連の意思決定をしなければならないオンライン学習問題について検討する。
目標は、全報酬を最大化し、同時に、$T$ラウンド全体で小さな累積違反を達成することである。
本稿では,この一般クラス問題に対して,未知のモデルに基づいて報酬と制約が選択された場合と,各ラウンドで敵が選択した場合の双方において,最良世界型アルゴリズムを提示する。
論文 参考訳（メタデータ） (2022-09-15T16:59:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。