論文の概要: Integrating Novelty and Surprise for Experience Prioritization and Exploration in Image-Based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.17373v1
• Date: Tue, 18 Aug 2026 05:07:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.222315
• Title: Integrating Novelty and Surprise for Experience Prioritization and Exploration in Image-Based Reinforcement Learning
• Title（参考訳）: 画像による強化学習における新規性の統合と体験優先と探索への期待
• Abstract要約: 本稿では,ノベルティとサプライズ優先体験再生(NSPER)を紹介する。 NSPERは新奇性を利用して、未表現の状態を捕捉し、エージェントの環境理解のギャップを明らかにする。 我々はこれをNSPER+Rで拡張し、これらの信号を本質的な報酬として統合し、リプレイの品質と探索を共同で改善する。
• 参考スコア（独自算出の注目度）: 2.066251348526567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sample efficiency is a central challenge in reinforcement learning (RL), particularly in image-based domains where agents must learn from high-dimensional visual inputs. Traditional sampling often relies on random or suboptimal experience selection, leading to redundant updates and slow learning. Improving efficiency requires mechanisms that prioritize informative experiences while also encouraging effective exploration. Prioritized Experience Replay (PER) addresses part of this challenge by reusing high-value transitions, while intrinsic rewards promote the exploration of novel or uncertain states. However, their integration has not been extensively studied. This paper introduces Novelty and Surprise Prioritized Experience Replay (NSPER), which uses novelty to capture underrepresented states and surprise to expose gaps in the agent's understanding of the environment. We further extend this with NSPER+R, integrating these signals as intrinsic rewards to jointly improve replay quality and exploration. Experiments on DeepMind Control Suite tasks show that NSPER and NSPER+R improve training efficiency and convergence speed compared to existing methods in image-based RL.
• Abstract（参考訳）: サンプル効率は、特に高次元視覚入力から学習しなければならない画像ベースの領域において、強化学習(RL)における中心的な課題である。 従来のサンプリングは、しばしばランダムまたは準最適エクスペリエンスの選択に依存し、冗長な更新と遅い学習につながる。 効率性の向上には、効果的な探索を奨励しながら、情報的経験を優先するメカニズムが必要である。 優先経験再生(PER)は、高価値な遷移を再利用することで、この課題の一部に対処する一方、本質的な報酬は、新しい状態や不確実な状態の探索を促進する。 しかし、それらの統合は広く研究されていない。 本稿では,未表現状態のキャプチャにノベルティを用いて,エージェントの環境理解のギャップを顕在化させる,ノベルティとサプライズ優先体験再生(NSPER)について紹介する。 我々はさらにNSPER+Rでこれを拡張し、これらの信号を本質的な報酬として統合し、再生品質と探索を共同的に改善する。 DeepMind Control Suite タスクの実験では、NSPER と NSPER+R は、既存の画像ベース RL の手法と比較して、トレーニング効率と収束速度を改善している。

関連論文リスト

• Match or Replay: Self Imitating Proximal Policy Optimization [14.033176618356746]
  強化学習(RL)エージェントは、しばしば非効率な探索に苦しむ。 従来の探索戦略は、学習の遅さと最適以下のパフォーマンスにつながる可能性がある。 本稿では,探索とサンプル効率を向上させる自己模倣型オン・ポリシーアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-29T04:44:48Z)
• Reward Prediction Error Prioritisation in Experience Replay: The RPE-PER Method [1.600323605807673]
  Reward Predictive Error Prioritised Experience Replay (RPE-PER)を紹介する。 RPE-PERは、RPEに基づいてバッファ内での経験を優先する。 本手法では,標準的な批評家ネットワークが生成するQ値に加えて,報酬を予測する批評家ネットワークであるEMCNを用いる。
  論文  参考訳（メタデータ） (2025-01-30T02:09:35Z)
• Efficient Diversity-based Experience Replay for Deep Reinforcement Learning [14.96744975805832]
  強化学習における学習効率を向上させるために,EDER(Efficient Diversity-based Experience Replay)を提案する。 実験は、MuJoCo、アタリゲーム、ハビタットの現実的な屋内環境におけるロボット操作に関するものである。
  論文  参考訳（メタデータ） (2024-10-27T15:51:27Z)
• Improving Neural Surface Reconstruction with Feature Priors from Multi-View Image [87.00660347447494]
  ニューラルサーフェス・コンストラクション(NSR)の最近の進歩は、ボリュームレンダリングと組み合わせることで、マルチビュー・コンストラクションを著しく改善している。 本稿では,多種多様な視覚的タスクから価値ある特徴を活用すべく,特徴レベルの一貫した損失について検討する。 DTU と EPFL を用いて解析した結果,画像マッチングと多視点ステレオデータセットによる特徴が,他のプリテキストタスクよりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2024-08-04T16:09:46Z)
• RILe: Reinforced Imitation Learning [60.63173816209543]
  RILe(Reinforced Learning)は、模倣学習と逆強化学習の強みを組み合わせて、高密度報酬関数を効率的に学習するフレームワークである。 本フレームワークは, 直接模倣が複雑な動作を再現できないような高次元タスクにおいて, 高い性能のポリシーを生成する。
  論文  参考訳（メタデータ） (2024-06-12T17:56:31Z)
• Directly Attention Loss Adjusted Prioritized Experience Replay [0.07366405857677226]
  優先度付き再生体験(PER)は、アクセス頻度を人工的に変化させることで、比較的重要なサンプルについてより深く学習することを可能にする。 DALAPが提案され、パラレル自己保持ネットワークを通じて、シフト分布の変化範囲を直接定量化することができる。
  論文  参考訳（メタデータ） (2023-11-24T10:14:05Z)
• Successor-Predecessor Intrinsic Exploration [18.440869985362998]
  本研究は,内因性報酬を用いた探索に焦点を当て,エージェントが自己生成型内因性報酬を用いて外因性報酬を過渡的に増強する。 本研究では,先進情報と振り返り情報を組み合わせた新たな固有報酬に基づく探索アルゴリズムSPIEを提案する。 本研究は,SPIEが競合する手法よりも少ない報酬とボトルネック状態の環境において,より効率的かつ倫理的に妥当な探索行動をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-05-24T16:02:51Z)
• Towards Improving Exploration in Self-Imitation Learning using Intrinsic Motivation [7.489793155793319]
  強化学習(Reinforcement Learning)は、最適化タスクを効率的に解くための強力な代替手段として登場した。 これらのアルゴリズムの使用は、学習したエージェントが行う決定がどれほど良い(または悪い)かを知らせる環境の提供するフィードバック信号に大きく依存する。 この研究では、本質的な動機付けは、エージェントが好奇心に基づいて環境を探索することを奨励するのに対して、模倣学習は学習プロセスを加速するために最も有望な経験を繰り返すことができる。
  論文  参考訳（メタデータ） (2022-11-30T09:18:59Z)
• Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
  逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。 本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
  論文  参考訳（メタデータ） (2022-08-09T17:29:49Z)
• Reward Uncertainty for Exploration in Preference-based Reinforcement Learning [88.34958680436552]
  好みに基づく強化学習アルゴリズムを対象とした探索手法を提案する。 我々の基本的な考え方は、学習した報酬に基づいて、斬新さを測定することによって、本質的な報酬を設計することである。 実験により、学習報酬の不確実性からの探索ボーナスは、好みに基づくRLアルゴリズムのフィードバック効率とサンプル効率の両方を改善することが示された。
  論文  参考訳（メタデータ） (2022-05-24T23:22:10Z)
• CCLF: A Contrastive-Curiosity-Driven Learning Framework for Sample-Efficient Reinforcement Learning [56.20123080771364]
  我々は、強化学習のためのモデルに依存しないコントラスト駆動学習フレームワーク(CCLF)を開発した。 CCLFは、サンプルの重要性を完全に活用し、自己管理的な学習効率を向上させる。 このアプローチをDeepMind Control Suite、Atari、MiniGridベンチマークで評価する。
  論文  参考訳（メタデータ） (2022-05-02T14:42:05Z)
• Learning to Sample with Local and Global Contexts in Experience Replay Buffer [135.94190624087355]
  遷移の相対的重要性を計算できる学習に基づく新しいサンプリング手法を提案する。 本研究の枠組みは, 様々な非政治強化学習手法の性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-07-14T21:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。