論文の概要: Deep Epistemic Value Functions for Optimistic Exploration

• arxiv url: http://arxiv.org/abs/2609.35525v1
• Date: Mon, 28 Sep 2026 16:12:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 21:05:48.939732
• Title: Deep Epistemic Value Functions for Optimistic Exploration
• Title（参考訳）: 最適化探索のための深部てんかん値関数
• Abstract要約: DEVOTEはモデルのない強化学習アルゴリズムで、不確実性が観測データを超えてどのように一般化するかを制御する。 我々は,DEVOTEが新しい状態に到達し,モデルフリーやモデルベース探索ベースラインよりも高いタスクリターンを達成することを示す。
• 参考スコア（独自算出の注目度）: 32.80410217696872
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Principled exploration in reinforcement learning requires an agent to quantify its epistemic uncertainty and act to resolve it. Uncertainty over the value function provides a natural signal for exploration, yet existing deep approximations remain brittle and perform inconsistently. The central challenge is therefore to scale these ideas robustly. We conduct a systematic empirical study of how epistemic uncertainty is represented, propagated, and optimized in deep epistemic value functions, and uncover distinct failure modes along each of these axes. These findings motivate DEVOTE, a model-free reinforcement learning algorithm that controls how uncertainty generalizes beyond observed data, stabilizes its temporal propagation, and preserves adaptation to the resulting non-stationary exploration objective. Across reward-free exploration and challenging continuous-control tasks, DEVOTE reaches novel states more effectively and achieves higher task return than strong model-free and model-based exploration baselines. These results provide evidence that deep epistemic value functions are a promising path toward scalable, principled exploration.
• Abstract（参考訳）: 強化学習における原則的探索は、その疫学的な不確実性を定量化し、それを解決するために作用するエージェントを必要とする。 値関数に対する不確実性は、探索のための自然な信号を提供するが、既存の深い近似は不安定であり、矛盾なく実行される。 したがって、中心的な課題は、これらのアイデアをしっかりとスケールすることだ。 本研究は, 深部てんかんの値関数にどのように表現され, 伝播し, 最適化されるかについて, 系統的研究を行い, それぞれの軸に沿って異なる障害モードを明らかにする。 これらの発見は、不確実性が観測データを超えてどのように一般化するかを制御し、その時間的伝播を安定化し、結果として生じる非定常探索目標への適応を維持するモデルフリー強化学習アルゴリズムであるDEVOTEを動機付けている。 報酬のない探索と継続的な制御に挑戦するタスクを通じて、DEVOTEはより効果的に新しい状態に到達し、強力なモデルのない探索ベースラインやモデルベースの探索ベースラインよりも高いタスクリターンを達成する。 これらの結果は、深部てんかん価値関数が、スケーラブルで原則化された探索への有望な道であることを示す。

関連論文リスト

• Epistemic Deep Learning: Enabling Machine Learning Models to Know When They Do Not Know [1.8613536568358358]
  この論文は、明確に不確実性をモデル化し定量化する、疫学的人工知能のパラダイムを推進している。 この研究の中心は、ランダムセット理論を利用して信念関数を予測する新しい手法であるランダムセットニューラルネットワーク(RS-NN)の開発である。 このタイトルは、この作品の中核となる哲学をカプセル化しており、真の知性は自身の知識の限界を認識し管理することを含んでいると強調している。
  論文  参考訳（メタデータ） (2025-10-25T12:00:19Z)
• Active Target Discovery under Uninformative Prior: The Power of Permanent and Transient Memory [26.488250231429774]
  高品質なデータを取得するのが高価である多くの科学・工学分野において、制限された予算内での発見率の最大化には、観測されていない領域の戦略的サンプリングが不可欠である。 非形式的事前設定においても効果的なアクティブターゲット発見を可能にする新しい手法を提案する。 ブラックボックスのポリシーとは異なり、私たちのアプローチは本質的に解釈可能であり、意思決定に関する明確な洞察を与えます。
  論文  参考訳（メタデータ） (2025-10-19T00:42:56Z)
• Rediscovering Entropy Regularization: Adaptive Coefficient Unlocks Its Potential for LLM Reinforcement Learning [55.59724323303857]
  本稿では,3つのコンポーネントによる探索と利用のバランスをとるフレームワークを提案する。 複数の数学的推論ベンチマークの実験は、AERが一貫してベースラインを上回り、推論精度と探索能力の両方を改善していることを示している。
  論文  参考訳（メタデータ） (2025-10-13T03:10:26Z)
• Towards Reliable LLM-based Robot Planning via Combined Uncertainty Estimation [68.106428321492]
  大規模言語モデル (LLM) は高度な推論能力を示し、ロボットが自然言語の命令を理解し、適切な接地で高レベルな計画を生成することができる。 LLMの幻覚は重大な課題であり、しばしば過度に信頼され、不一致または安全でない計画に繋がる。 本研究は, 信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性評価を別々に評価するものである。
  論文  参考訳（メタデータ） (2025-10-09T10:26:58Z)
• Model-Based Uncertainty in Value Functions [89.31922008981735]
  MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。 従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:18:27Z)
• Epistemic Monte Carlo Tree Search [5.624791703748109]
  深層探査における探索の不確かさを考慮し, 深層探査に利用するために, EMCTS(Epistemic MCTS)を導入する。 アセンブリ言語 sc subleq でコードを記述するという難易度の高いタスクにおいて,本手法と組み合わせた AZ は,ベースライン AZ よりもはるかに高いサンプリング効率を実現する。
  論文  参考訳（メタデータ） (2022-10-21T09:59:15Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• Deep Learning based Uncertainty Decomposition for Real-time Control [9.067368638784355]
  本稿では,ディープラーニングを用いたトレーニングデータの欠如を検出する新しい手法を提案する。 合成および実世界のデータセットに対する既存のアプローチに対する利点を示す。 さらに、シミュレーションされたクアッドコプターにオンラインデータ効率制御を展開させる上で、この不確実性推定の実用性を実証する。
  論文  参考訳（メタデータ） (2020-10-06T10:46:27Z)
• Temporal Difference Uncertainties as a Signal for Exploration [76.6341354269013]
  強化学習における探索の効果的なアプローチは、最適な政策に対するエージェントの不確実性に依存することである。 本稿では,評価値のバイアスや時間的に矛盾する点を強調した。 本稿では,時間差誤差の分布の導出に依存する値関数の不確かさを推定する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-05T18:11:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。