論文の概要: Certified Policy Optimisation for Nested Causal Bandits via PAC-Bayes Risk
- arxiv url: http://arxiv.org/abs/2605.29788v1
- Date: Thu, 28 May 2026 11:39:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:56.203924
- Title: Certified Policy Optimisation for Nested Causal Bandits via PAC-Bayes Risk
- Title（参考訳）: PAC-Bayesリスクによるネスト因果帯域の認証政策最適化
- Authors: Tim Woydt, Paul-David Zuercher,
- Abstract要約: 問題クラスをNested Contextual Causal Bandits (NCCBs) として定式化する。
我々の主要な理論的結果は、任意のデプロイメントポリシーを認定する因果的PAC-Bayesian過剰リスク境界である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Critical sequential decisions are rarely single-timescale: a strategic decision causally shapes the context in which every subsequent tactical choice is made; standard bandit and reinforcement-learning theory does not capture this causal coupling between timescales. We formalise the problem class as Nested Contextual Causal Bandits (NCCBs), a hierarchical SCM where each level's action sets the next level's context distribution, and propose Nested Causal Thompson Sampling (NCTS), which draws one mechanism-factorised belief per episode and acts recursively under it. Our main theoretical result is a causal PAC-Bayesian excess-risk bound that certifies any candidate deployment policy from historic data alone, off-policy and anytime, answering the deployment question: can we trust this agent here, and at what risk? Experiments on a hierarchical SCM show that, against a matched RFF-GP joint regression on the same function class, the factorised SCM-mechanism posterior transfers significantly better zero-shot under exogenous distribution shifts, the recursive meta-to-inner commit significantly dominates the joint-commit alternative in distribution, and the certificate significantly contracts as offline data accumulates. Combining these results, we establish progressive certified handover, a safe-deployment method: each timescale flips from a legacy controller to NCTS when gains can be certified, independently of the others.
- Abstract（参考訳）: 戦略的決定は、後続の戦術的選択が全て行われるコンテキストを因果的に形成する; 標準的な帯域制限と強化学習理論は、この時間スケール間の因果的結合を捉えない。
問題クラスをNested Contextual Causal Bandits (NCCBs) として定式化し、各レベルのアクションが次のレベルのコンテキスト分布を設定する階層的なSCMを定式化し、Nested Causal Thompson Sampling (NCTS)を提案する。
私たちの主要な理論的結果は、因果的PAC-ベイジアン過剰リスク境界(英語版)であり、これは、歴史的データのみから、非政治、そしていつでも、任意のデプロイメントポリシーを認定し、デプロイメントの質問に答えるものである。
階層的なSCM実験では、同一関数クラス上で一致したRFF-GP関節の回帰に対して、分解されたSCM-機械の後方移動は、外因性分布シフト下ではゼロショットが著しく向上し、再帰的メタ・ツー・インナーコミットが分散におけるジョイントコミットの選択肢を著しく支配し、オフラインデータが蓄積されるにつれて証明書が大幅に収縮することを示した。
これらの結果を組み合わせることで、各タイムスケールがレガシーコントローラからNCTSに切り替える、プログレッシブな認証ハンドオーバ、安全なデプロイ方法を確立します。
関連論文リスト
- MMD-Balls as Credal Sets: A PAC-Bayesian Framework for Epistemic Uncertainty in Test-Time Adaptation [0.0]
テスト時間適応法は分布シフト時のモデル性能を向上させる。
テスト時間適応法は、シフトグレードと予測信頼性を接続する正式な保証を欠いている。
PAC-Bayesian framework yielding bounds explicit parameterized by the maximum mean discrepancy (MMD) between source and target distributions。
論文 参考訳（メタデータ） (2026-05-20T22:22:20Z) - Causal Reinforcement Learning for Complex Card Games: A Magic The Gathering Benchmark [35.748383442073276]
Magic: The GatheringをベースとしたGymnasiumベンチマークMTG-Causal-RLを紹介する。
各エピソードは因果変数、SCM予測介入効果、要素単位のクレジットトレースを露呈する。
本稿では,参照因果剤として因果グラフファクトリドアドバンテージPPO(CGFA-PPO)を提案する。
論文 参考訳（メタデータ） (2026-05-07T11:53:56Z) - Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
マルチモーダル学習は、しばしば低品質データの課題に悩まされる。
コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。
私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
論文 参考訳（メタデータ） (2026-05-05T14:48:52Z) - Beyond Semantic Relevance: Counterfactual Risk Minimization for Robust Retrieval-Augmented Generation [19.888565537472363]
CoRM-RAG(Counterfactual Risk Minimization for RAG)は、検索と意思決定の安全性を一致させるフレームワークである。
トレーニング中にユーザのバイアスをシミュレートする認知摂動プロトコルを導入し,それを軽量なエビデンス・クリティカルに蒸留する。
このスコアリングモジュールは、対向的なクエリの摂動にも拘わらず、モデルの正しさを判断するために十分な明らかな強度を持つ文書を特定することを学習する。
論文 参考訳（メタデータ） (2026-05-02T07:22:24Z) - Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。
グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。
特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
論文 参考訳（メタデータ） (2026-04-20T16:43:28Z) - Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。
textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文 参考訳（メタデータ） (2026-03-10T04:07:39Z) - DARC: Disagreement-Aware Alignment via Risk-Constrained Decoding [59.16244104797919]
本稿では,リスク制約付き復号法(DARC)*による分散アライメント(Disagreement-Aware Alignment)を提案する。
DARCは応答選択を、分布的に堅牢で、リスクに敏感な意思決定として捉えている。
アライメントベンチマークの実験では、DARCは競合平均品質を維持しながら、不一致と尾のリスクを低減する。
論文 参考訳（メタデータ） (2026-03-09T09:21:29Z) - Concave Certificates: Geometric Framework for Distributionally Robust Risk and Complexity Analysis [0.7106986689736828]
分散ロバスト(DR)最適化は、ワッサーシュタインの不確実性集合内の最悪のケースリスクの証明を目的としている。
本稿では,成長速度関数の最小長元に基づく新しい幾何学的枠組みを提案する。
この枠組みを複雑性解析に拡張し、標準的な統計的境界を補完する決定論的境界を導入する。
論文 参考訳（メタデータ） (2026-01-04T00:24:43Z) - Partial Action Replacement: Tackling Distribution Shift in Offline MARL [11.861550409939818]
オフラインマルチエージェント強化学習(MARL)は、アウト・オブ・ディストリビューション・ジョイント・アクションを評価することの難しさによって著しく妨げられている。
我々は、OOD問題を緩和し、異なるPAR戦略を動的に重み付けするために、SPaCQL(Soft-Partial conservative Q-Learning)を開発した。
また,SPaCQLは不確実性インフォームドウェイトを用いた分散シフトに適応的に対応していることを示す。
論文 参考訳（メタデータ） (2025-11-10T20:56:58Z) - Policy Evaluation in Distributional LQR [70.63903506291383]
ランダムリターンの分布を閉形式で表現する。
この分布は有限個の確率変数で近似できることを示す。
近似回帰分布を用いて,リスク・アバースLQRに対するゼロ階ポリシー勾配アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-03-23T20:27:40Z) - Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。
我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
論文 参考訳（メタデータ） (2021-06-21T21:42:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。