論文の概要: Variance Driven Exploration: A Provable and Efficient Methodology for Pure Exploration in Highly Stochastic Environments

• arxiv url: http://arxiv.org/abs/2608.21995v1
• Date: Sat, 22 Aug 2026 15:01:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.55242
• Title: Variance Driven Exploration: A Provable and Efficient Methodology for Pure Exploration in Highly Stochastic Environments
• Title（参考訳）: 変動駆動探索:確率的環境下での純粋探索のための確率的かつ効率的な手法
• Abstract要約: 本研究では,探索過程が分散に支配される高度環境における純粋探査の原理的アプローチを提案する。 VarDEは基本的な原則に基づいて構築されている: 最終的な決定の不確実性を最小限に抑えるため、サンプリングの労力を割り当てるべきである。 我々は、各成分のノイズが最終的な出力の信頼性にどのように影響するかを明確に把握するスムーズな決定関数とアロケーションルールにより、最終決定の不確かさを形式化する。
• 参考スコア（独自算出の注目度）: 3.178998110765596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose Variance Driven Exploration (VarDE), a principled approach for pure exploration in highly stochastic environments, where the exploration process is dominated by stochastic variance. VarDE is built on a fundamental principle: sampling effort should be allocated to minimize the uncertainty of the final decision. We formalize the uncertainty of the final decision through a smooth decision function and derive allocation rules that explicitly capture how stochastic noise in individual components affects the reliability of the final output. We apply this methodology to three core problems of pure exploration -- Best Arm Identification (BAI), Monte Carlo Tree Search (MCTS), and Best-Policy Identification (BPI) -- with theoretical guarantees on variance decay and simple regret. Empirically, we demonstrate consistent and significant improvements of VarDE over existing methods, with especially strong gains in highly stochastic environments.
• Abstract（参考訳）: 本稿では,高度確率環境における純粋探索の原理的アプローチである分散駆動探索(VarDE)を提案し,その探索過程は確率的分散に支配されている。 VarDEは基本的な原則に基づいて構築されている: 最終的な決定の不確実性を最小限に抑えるため、サンプリングの労力を割り当てるべきである。 本研究では,各成分の確率ノイズが最終出力の信頼性にどう影響するかを明確に把握する,スムーズな決定関数による最終決定の不確実性を定式化し,アロケーションルールを導出する。 本手法は,BAI(Best Arm Identification),MCTS(Monte Carlo Tree Search),BPI(Best-Policy Identification)の3つの中核的問題に適用する。 実験により,VarDEの既存手法よりも一貫した顕著な改善が示され,特に確率的環境において顕著に向上した。

関連論文リスト

• Not all uncertainty is alike: volatility, stochasticity, and exploration [0.5801621787540266]
  我々は、時間とともに漂流し(変動性)、うるさい結果(確率性)を通して観察される潜在報酬状態のある環境を考える。 ボラティリティはそれを高め、後続性はそれを抑制する。 我々は,同じモノトニクスを継承する制御・アズ・推論によって得られるクローズドフォーム探索ボーナスであるCAUSEを導出する。
  論文  参考訳（メタデータ） (2026-05-19T00:38:00Z)
• Back to Basics: Revisiting Exploration in Reinforcement Learning for LLM Reasoning via Generative Probabilities [10.235183326885794]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLMs)における推論の強化に欠かせないパラダイムとして登場した。 我々は、この問題をサンプリング確率力学の観点から分析し、標準目的が高次様相の経路を不均等に強化することを特定する。 提案手法は,すべての応答に対する信頼度を平衡化するための新しいアドバンテージ再重み付け機構 (ARM) を提案する。
  論文  参考訳（メタデータ） (2026-02-05T04:06:55Z)
• Uncertainty-driven Embedding Convolution [16.523816971857787]
  不確実性駆動型埋め込み畳み込み(UEC)を提案する。 UECは決定論的埋め込みをポストホックな方法で確率論的に変換する。 その後、埋め込みの不確実性に基づいて適応アンサンブル重みを計算する。
  論文  参考訳（メタデータ） (2025-07-28T11:15:25Z)
• Certifiably Robust Policies for Uncertain Parametric Environments [57.2416302384766]
  本稿ではパラメータ上の未知分布を持つパラメトリックマルコフ決定プロセス(MDP)に基づくフレームワークを提案する。 パラメータによって誘導される未知のサンプル環境に対するIMDPの学習と解析を行う。 当社のアプローチは,信頼度の高い政策のパフォーマンスに厳密な拘束力をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-08-06T10:48:15Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Wasserstein Actor-Critic: Directed Exploration via Optimism for Continuous-Actions Control [41.7453231409493]
  Wasserstein Actor-Critic (WAC) は、Wasserstein Q-Learning (WQL) citepwqlにインスパイアされたアクター批判アーキテクチャである。 WACは、Q値の推定値の上限を最適化してポリシー学習プロセスを導くことによって、原則的な方法で探索を実施する。
  論文  参考訳（メタデータ） (2023-03-04T10:52:20Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Semi-Supervised Learning with Variational Bayesian Inference and Maximum Uncertainty Regularization [62.21716612888669]
  半教師付き学習(SSL)を改善するための2つの一般的な方法を提案する。 第一に、重量摂動(WP)を既存のCR(Consistency regularization)ベースの手法に統合する。 第2の手法は「最大不確実性正規化(MUR)」と呼ばれる新しい整合性損失を提案する。
  論文  参考訳（メタデータ） (2020-12-03T09:49:35Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。