論文の概要: Conformal Sequential Decision Making With Cost and Sublinear Policy Regret Guarantees

• arxiv url: http://arxiv.org/abs/2610.15011v1
• Date: Sat, 10 Oct 2026 15:46:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 02:59:17.677438
• Title: Conformal Sequential Decision Making With Cost and Sublinear Policy Regret Guarantees
• Title（参考訳）: コスト・サブリニア政策規制によるコンフォーマルシークエンシャル決定
• Abstract要約: 本稿では,オンラインコンフォメーション・エピソード・エージェント (OCEA) を提案する。 OCEAは各状態列および内部乱数性の実現に要するコスト制約を満たすことを証明した。 リスク逆制御と歪み保証付きオンライン圧縮にOCEAを適用した。
• 参考スコア（独自算出の注目度）: 35.13719880571608
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Automated decision makers, such as AI agents that control robots or network devices, must often satisfy hard cost constraints while maintaining competitive performance. In such settings, a cost measure, such as a safety violation rate, energy consumption, or a distortion level, must stay within a given budget in every episode of operation. Furthermore, a cumulative reward metric, accounting for per-step performance, must stay close to the reward of a meaningful reference policy. We formulate this setup as an episodic sequential decision problem in which the state sequence is arbitrary, and the reward and cost may depend on past actions within the same episode. We propose the online conformal episodic agent (OCEA), a policy that selects one candidate action per episode using a regret-controlled algorithm, and switches to a zero-cost action when the remaining budget cannot absorb the maximum cost of one more round. We prove that OCEA satisfies per-episode cost constraints for every state sequence and for every realization of its internal randomness, while achieving a sublinear expected policy regret with respect to the best action sequence in hindsight from a comparator class satisfying the same per-episode cost constraints. We apply OCEA to risk-averse control and online compression with distortion guarantees.
• Abstract（参考訳）: ロボットやネットワークデバイスを制御するAIエージェントのような自動意思決定者は、競争性能を維持しながら、しばしばコストの厳しい制約を満たす必要がある。 このような設定では、安全違反率、エネルギー消費、歪みレベルなどのコスト指標は、運用の毎回、所定の予算内に留まらなければならない。 さらに、累積報酬メートル法は、ステップごとのパフォーマンスを考慮し、意味のある参照ポリシーの報酬に近づかなければならない。 我々は、この設定を、状態列が任意であり、報酬とコストが同一エピソード内の過去の行動に依存するような、エピソジックな逐次決定問題として定式化する。 本稿では,オンラインコンフォメーション・エピソード・エージェント (OCEA) を提案し,残予算が1回以上のラウンドの最大コストを吸収できない場合に,後悔制御アルゴリズムを用いて1回ずつの候補アクションを選択し,ゼロコストアクションに切り替える。 OCEAは,各状態列および内部乱数性を実現する上で,各状態列に対するコスト制約を満たす一方で,同じコスト制約を満たすコンパレータクラスから,最適動作列に対するサブ線形予測ポリシーの後悔を実現する。 リスク逆制御と歪み保証付きオンライン圧縮にOCEAを適用した。

関連論文リスト

• Safety by Design: Realized-Cost Constraints for Contextual Bandits with Continuous Actions [25.377745631929557]
  本研究では,1次元連続行動とステージワイド高確率制約によるコンテキスト的帯域幅を実コストで検討する。 我々は,安全行動セットを保守的に推定しながら報酬を求める楽観的悲観的アルゴリズムであるHigh-Probability Constrained UCBを提案する。
  論文  参考訳（メタデータ） (2026-08-27T07:52:00Z)
• Cost-aware Stopping for Bayesian Optimization [46.95172329282389]
  本稿では,様々な評価コストに適応し,チューニングが不要なベイズ最適化のためのコスト対応停止則を提案する。 我々は,最先端の取得関数と組み合わせた場合,停止規則によって得られる期待累積評価コストを拘束する理論的な保証を証明した。
  論文  参考訳（メタデータ） (2025-07-16T17:54:14Z)
• Anytime-Competitive Reinforcement Learning with Policy Prior [41.45104303955067]
  A-CMDPは、期待される報酬を最適化し、前回のポリシーに対して各ラウンドのバウンドコストを保証します。 我々はACRL(Anytime-Competitive Reinforcement Learning)と呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-02T19:44:59Z)
• A Unifying Framework for Online Optimization with Long-Term Constraints [62.35194099438855]
  我々は,意思決定者が長期的制約の対象となる一連の意思決定をしなければならないオンライン学習問題について検討する。 目標は、全報酬を最大化し、同時に、$T$ラウンド全体で小さな累積違反を達成することである。 本稿では,この一般クラス問題に対して,未知のモデルに基づいて報酬と制約が選択された場合と,各ラウンドで敵が選択した場合の双方において,最良世界型アルゴリズムを提示する。
  論文  参考訳（メタデータ） (2022-09-15T16:59:19Z)
• COptiDICE: Offline Constrained Reinforcement Learning via Stationary Distribution Correction Estimation [73.17078343706909]
  オフラインの制約付き強化学習(RL)問題。エージェントは、所定のコスト制約を満たしながら期待されるリターンを最大化するポリシーを計算し、事前に収集されたデータセットからのみ学習する。 定常分布空間におけるポリシーを最適化するオフライン制約付きRLアルゴリズムを提案する。 我々のアルゴリズムであるCOptiDICEは、コスト上限を制約しながら、利益に対する最適政策の定常分布補正を直接見積もる。
  論文  参考訳（メタデータ） (2022-04-19T15:55:47Z)
• Non-stationary Online Learning with Memory and Non-stochastic Control [71.14503310914799]
  我々は,過去の決定に依拠する損失関数を許容するメモリを用いたオンライン凸最適化(OCO)の問題について検討する。 本稿では,非定常環境に対してロバストなアルゴリズムを設計するための性能指標として,動的ポリシーの後悔を紹介する。 我々は,時間的地平線,非定常度,メモリ長といった面で,最適な動的ポリシーの後悔を確実に享受するメモリ付きOCOの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T09:45:15Z)
• Safety-Critical Online Control with Adversarial Disturbances [8.633140051496408]
  我々は、乱れによって生じるコストを最小限に抑えるために、状態フィードバックコントローラを合成することを模索する。 我々は、当時のコントローラが選択された後のみ、各時点のコストが明らかにされるオンライン環境について検討する。 これらのコストの差として定義される後悔関数は、時間的地平線と対数的に異なることを示す。
  論文  参考訳（メタデータ） (2020-09-20T19:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。