論文の概要: Beyond Expected Values: Risk-Sensitive Planning with Distributional Monte-Carlo Tree Search

• arxiv url: http://arxiv.org/abs/2610.23565v1
• Date: Fri, 16 Oct 2026 14:51:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.976781
• Title: Beyond Expected Values: Risk-Sensitive Planning with Distributional Monte-Carlo Tree Search
• Title（参考訳）: 期待以上の価値: モンテカルロ分布木探索によるリスク感作計画
• Abstract要約: 最適化によるカテゴリートンプソンサンプリング(CATSO)と最適化による粒子トンプソンサンプリング(PATSO)を紹介する。 CatSOは分類原子とディリクレ・トンプソンサンプリングを持つQ-edge法則を表し、PATSOは適応粒子を持つQ-edge法則を表す。 計画ベンチマークの実験では、分布的なQエッジが低いテールリターンを改善し、破滅的な結果を減らすことが示されている。
• 参考スコア（独自算出の注目度）: 3.352244088045323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Monte-Carlo Tree Search (MCTS) typically stores only scalar mean estimates, which makes it poorly suited for tail-risk objectives such as conditional value-at-risk (CVaR). We introduce Categorical Thompson Sampling with Optimism (CATSO) and Particle Thompson Sampling with Optimism (PATSO), two distributional MCTS algorithms that maintain finite-support empirical backup laws at Q-edges. CATSO represents Q-edge laws with categorical atoms and Dirichlet Thompson sampling, while PATSO represents them with adaptive particles. Both algorithms select actions using the CVaR of a Thompson-sampled Q-edge law plus a polynomial optimism bonus, and propagate scalar continuation values through visit-weighted averages of child Q-edge CVaR scores. For the finite-depth nested CVaR planning target, we prove an $O(n^{-1/2})$ bound on the root value error after $n$ rollouts, which upper-bounds the risk-sensitive simple regret. CATSO adds a fixed-grid discretization bias, while capped PATSO adds a tunable Wasserstein compression bias. Experiments on stochastic planning benchmarks show that distributional Q-edges improve lower-tail return and reduce catastrophic outcomes when mean-optimal and risk-sensitive behavior differ.
• Abstract（参考訳）: モンテカルロ木探索(MCTS)は通常、スカラー平均推定のみを格納しているため、条件付き値-値-リスク(CVaR)のようなテールリスクの目的には適さない。 本稿では,PATSO(Categorical Thompson Smpling with Optimism)とPATSO(Particle Thompson Smpling with Optimism)を紹介する。 CATSOは分類原子とディリクレ・トンプソンサンプリングを持つQ-edge法則を表し、PATSOは適応粒子を持つQ-edge法則を表す。 どちらのアルゴリズムもトンプソンサンプルQエッジ法則のCVaRと多項式最適化ボーナスを用いて動作を選択し、子QエッジCVaRスコアの訪問重み付き平均を通してスカラー継続値を伝搬する。 有限深さのネストCVaR計画目標に対して、$n$ロールアウト後のルート値誤差に$O(n^{-1/2})$バウンドを証明し、リスクに敏感な単純な後悔を上位にバウンドする。 CATSOは固定格子の離散化バイアス、キャップ付きPATSOは調整可能なワッサーシュタイン圧縮バイアスを与える。 確率的計画ベンチマークの実験により、分布Qエッジは、平均最適行動とリスク感受性行動の相違により、低テールリターンを改善し、破滅的な結果を低減することが示されている。

関連論文リスト

• Risk-Sensitive Reinforcement Learning with Smoothed Quantile Objectives [2.153824429735596]
  モデルに基づく楽観的学習アルゴリズムを開発し、遷移カーネルの信頼セットと低バッファの量子化基準を用いて計画する。 チューリング時間短縮の下で, 正確な点量子化評価と, 正確な低バッファ化量子化評価がPPハードであることを証明する。
  論文  参考訳（メタデータ） (2026-08-23T05:41:32Z)
• Asymptotic Optimality of Thompson Sampling for Risk-Averse Bandits with Sub-Gaussian Rewards [1.370633147306388]
  $text-mathrmNPTS_mathrmSG$はアンカーフリーの非パラメトリックトンプソンサンプリングアルゴリズムである。 我々は、$text-mathrmNPTS_mathrmSG$が、$log n$の先頭の順にインスタンス依存の下位境界と一致することを証明した。
  論文  参考訳（メタデータ） (2026-06-08T08:26:37Z)
• PFN-TS: Thompson Sampling for Contextual Bandits via Prior-Data Fitted Networks [7.188084723389871]
  我々は,PFN後続予測を平均逆サンプルに変換するトンプソンサンプリングアルゴリズムであるPFN-TSを提案する。 PFN-TSは、非線形合成およびOpenML分類帯域間ベンチマークで最高の平均ランクを達成している。
  論文  参考訳（メタデータ） (2026-05-11T07:46:10Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Thompson Sampling via Fine-Tuning of LLMs [68.1722422968855]
  我々は,スケーラブルな大規模獲得関数を必要としないトンプソンサンプリングに基づく代替案を提案する。 我々のアプローチであるThompson Smpling via Finening (ToSFiT) は、プロンプト条件付き言語モデルに埋め込まれた事前知識を活用し、後方に向けて漸進的に適応する。 分析の結果,ToSFiTアルゴリズムの基盤となる極大性原理の後続確率への注意的適応が重要であることが明らかとなった。
  論文  参考訳（メタデータ） (2025-10-15T09:13:59Z)
• Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
  バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。 我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。 NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
  論文  参考訳（メタデータ） (2025-03-23T10:52:36Z)
• Power Mean Estimation in Stochastic Monte-Carlo Tree_Search [25.058008522872747]
  Monte-Carlo Tree Search (MCTS)は、Monte-Carloサンプリングとフォワードツリー検索を組み合わせたオンラインプランニングのための広く使われている戦略である。 UCTの理論的基礎は対数的ボーナス項の誤りにより不完全である。 本稿では,MDPに適したパワー平均推定器を用いたアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-04T11:56:37Z)
• Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
  我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
  論文  参考訳（メタデータ） (2020-10-12T17:41:44Z)
• Optimal Posteriors for Chi-squared Divergence based PAC-Bayesian Bounds and Comparison with KL-divergence based Optimal Posteriors and Cross-Validation Procedure [0.0]
  カイ二乗発散に基づくPACBayesian境界の最適後部について,その分布,計算のスケーラビリティ,テストセットの性能について検討した。 チ二乗発散に基づく後肢は境界が弱く、試験誤差が悪くなるため、KL発散に基づく後肢による基礎的な正規化が示唆される。
  論文  参考訳（メタデータ） (2020-08-14T03:15:23Z)
• Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
  逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。 結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
  論文  参考訳（メタデータ） (2020-06-29T21:06:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。