論文の概要: When Do Intrinsic Rewards Lead to Exploration?

• arxiv url: http://arxiv.org/abs/2610.02159v1
• Date: Thu, 01 Oct 2026 17:52:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.35764
• Title: When Do Intrinsic Rewards Lead to Exploration?
• Title（参考訳）: 内在的リワードはいつ探索につながるのか?
• Abstract要約: 固有報酬は、エージェントの経験に価値を割り当てることで探索を導くように設計されている。 本稿では,彼らが獲得した偽情報による政策を比較検討するための公式な基準を提案する。
• 参考スコア（独自算出の注目度）: 0.4403025166321017
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Intrinsic rewards are designed to guide exploration in reinforcement learning by assigning value to an agent's experience, for example through prediction error or learning progress. However, maximizing these rewards need not produce the most informative experience available. We propose a formal criterion for exploration that compares policies by the counterfactual information they acquire: how well their histories can substitute for experience under alternative policies. We construct a single, simple environment in which specified count-based, prediction-error, empowerment, and information-gain objectives have maximizing policies that are Pareto-suboptimal at acquiring counterfactual information. We explain these failures and establish conditions under which existing intrinsic rewards successfully encourage optimal exploration. We also construct an objective that assigns a higher value whenever exploration strictly improves under our criterion.
• Abstract（参考訳）: 固有報酬は、例えば予測誤差や学習の進捗を通じて、エージェントの経験に価値を割り当てることで、強化学習における探索を導くように設計されている。 しかし、これらの報酬の最大化は、利用可能な最も有益な経験を生み出す必要はない。 提案する探索の形式的基準は,彼らが獲得した反事実的情報による政策を比較するもので,その歴史が代替政策の下で経験に取って代わるかどうかを判断するものである。 我々は,特定のカウントベース,予測エラー,エンパワーメント,情報ゲインの目標がパレート・サブ最適の政策を最大化する,単一でシンプルな環境を構築する。 本稿では,これらの失敗を説明するとともに,既存の固有報酬が最適探索に有効である条件を確立する。 探索が厳格に改善されるたびに、より高い価値を割り当てる目的も構築します。

関連論文リスト

• Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
  我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。 MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。 我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
  論文  参考訳（メタデータ） (2026-04-13T15:18:51Z)
• Agent Learning via Early Experience [93.83579011718858]
  言語エージェントの長期的な目標は、彼ら自身の経験から学び、改善することであり、最終的には複雑な現実世界のタスクにおいて人間より優れています。 現在のエージェントのほとんどは、専門家データによる教師付き微調整に依存しており、スケールと一般化が不十分である。 本研究では,(1)環境力学における政策の基盤として収集された状態を利用するインプリシット・ワールド・モデリング,(2)エージェントが最適な行動から学習し,推論と意思決定を改善するための自己回帰という2つの手法について検討する。
  論文  参考訳（メタデータ） (2025-10-09T17:59:17Z)
• MaxInfoRL: Boosting exploration in reinforcement learning through information gain maximization [91.80034860399677]
  強化学習アルゴリズムは、現在のベスト戦略の活用と、より高い報酬につながる可能性のある新しいオプションの探索のバランスを図ることを目的としている。 我々は本質的な探索と外生的な探索のバランスをとるためのフレームワークMaxInfoRLを紹介する。 提案手法は,マルチアームバンディットの簡易な設定において,サブリニアな後悔を実現するものである。
  論文  参考訳（メタデータ） (2024-12-16T18:59:53Z)
• Informativeness of Reward Functions in Reinforcement Learning [34.40155383189179]
  本稿では,情報的報酬関数を設計することで,エージェントの収束を高速化する問題について検討する。 現存する作品では、いくつかの異なる報酬デザインの定式化が検討されている。 本稿では,エージェントの現在の方針に適応し,特定の構造制約の下で最適化できる報奨情報量基準を提案する。
  論文  参考訳（メタデータ） (2024-02-10T18:36:42Z)
• Successor-Predecessor Intrinsic Exploration [18.440869985362998]
  本研究は,内因性報酬を用いた探索に焦点を当て,エージェントが自己生成型内因性報酬を用いて外因性報酬を過渡的に増強する。 本研究では,先進情報と振り返り情報を組み合わせた新たな固有報酬に基づく探索アルゴリズムSPIEを提案する。 本研究は,SPIEが競合する手法よりも少ない報酬とボトルネック状態の環境において,より効率的かつ倫理的に妥当な探索行動をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-05-24T16:02:51Z)
• Learning more skills through optimistic exploration [5.973112138143177]
  教師なしのスキル学習の目的により、エージェントは外因的な報酬がなければ、行動の豊富なレパートリーを学習することができる。 固有の探索問題は、新しい状態が実際に遭遇したとき、判別器は正確で確実なスキル分類を生成するのに十分な訓練データを見られなかった。 我々は、差別者のアンサンブルを訓練し、その不一致に対して政策に報いる情報獲得補助目的を導出する。 我々の目的は、十分な訓練例を見ていない差別者から生じる不確実性を直接推定し、本質的な報酬を真の目的に合わせたものにすることである。
  論文  参考訳（メタデータ） (2021-07-29T17:58:04Z)
• Information Directed Reward Learning for Reinforcement Learning [64.33774245655401]
  我々は、標準rlアルゴリズムが可能な限り少数の専門家クエリで高い期待値を達成することができる報酬関数のモデルを学ぶ。 特定のタイプのクエリ用に設計された以前のアクティブな報酬学習方法とは対照的に、IDRLは自然に異なるクエリタイプに対応します。 我々は,複数の環境における広範囲な評価と,異なるタイプのクエリでこの結果を支持する。
  論文  参考訳（メタデータ） (2021-02-24T18:46:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。