論文の概要: Uncertainty-Driven Replay Memory for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.29860v1
• Date: Sun, 30 Aug 2026 15:41:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.093038
• Title: Uncertainty-Driven Replay Memory for Reinforcement Learning
• Title（参考訳）: 強化学習のための不確実性駆動型リプレイメモリ
• Abstract要約: 不確実性推定は強化学習(RL)エージェントに有望な機能を提供する。 本稿では、不確実性駆動型リプレイメモリ(UDRM)と呼ばれるRLで一般的に使用されるエクスペリエンスリプレイバッファの新たな定式化を提案する。
• 参考スコア（独自算出の注目度）: 43.273482638415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Uncertainty estimation provides promising capabilities for reinforcement learning (RL) agents. Notably, estimating uncertainty can reduce the training time and enable agents to obtain greater rewards over time by exploiting information related to whether an action would facilitate exploration of portions of an environment that are well-known versus those that are relatively unknown. In this work, we propose a novel formulation of the experience replay buffer commonly used in RL that we call uncertainty-driven replay memory (UDRM), which entails an update scheme for internally stored memories based on uncertainty estimates obtained by an RL model during training. In contrast to existing forms of RL, which typically use temporal difference error or the distribution of transitions to update the replay memory buffer and train RL controllers, our scheme biases the memory buffer to store more uncertain transitions that will improve an RL agent's generalization throughout training. Experimental results demonstrate that our proposed uncertainty-aware replay buffer enables an RL agent to obtain higher rewards during training compared to other existing uncertainty-aware RL frameworks.
• Abstract（参考訳）: 不確実性推定は強化学習(RL)エージェントに有望な機能を提供する。 特に、不確実性を推定することは、訓練時間を短縮し、エージェントが、アクションがよく知られた環境と比較的未知の環境とを探索しやすくするかどうかに関する情報を利用することにより、時間とともにより大きな報酬を得ることができる。 本稿では,RLモデルがトレーニング中に取得した不確実性推定に基づいて,内部記憶メモリの更新スキームを必要とする不確実性駆動リプレイメモリ(UDRM)と呼ばれる,RLで一般的に使用されるエクスペリエンスリプレイバッファの新たな定式化を提案する。 リプレイメモリバッファを更新し、RLコントローラを訓練するために、時間差誤差や遷移の分布を利用する既存のRLとは対照的に、我々のスキームは、メモリバッファを偏り、RLエージェントのトレーニング全体を通しての一般化を改善するために、より不確実な遷移を保存する。 実験により,提案した不確実性認識リプレイバッファにより,既存の不確実性認識RLフレームワークと比較して,トレーニング中にRLエージェントがより高い報酬を得ることができることが示された。

関連論文リスト

• Train Smarter, Not Longer: Memorization-Guided Data Reuse for Efficient LLM Training [11.074386515074446]
  記憶誘導データ再利用」は、いつ、どのようにデータを再利用すべきかを適応的に決定する訓練パラダイムである。 予備実験では、一貫した記憶駆動体制が示される。
  論文  参考訳（メタデータ） (2026-07-06T11:57:32Z)
• Replay What Matters: Off-Policy Replay for Efficient LLM Reinforcement Unlearning [19.683904518981624]
  ReRULEは、強化学習のための非政治的なリプレイ強化である。 以上の結果から,ReRULEは純粋なオンラインRULEよりも厳密なハードケース収束性を示す。
  論文  参考訳（メタデータ） (2026-06-13T14:52:40Z)
• Beyond Reasoning: Reinforcement Learning Unlocks Parametric Knowledge in LLMs [59.62441340813425]
  我々は、強化学習がパラメトリック知識の直接的リコールを改善するかどうかを検討する。 3つのモデルファミリと複数の事実QAベンチマークで、RLの平均相対利得は27%である。 機械的には、RLは主に新しい事実を得るのではなく、既存の知識の確率質量を再分配する。
  論文  参考訳（メタデータ） (2026-05-08T02:40:12Z)
• Efficient RL Training for LLMs with Experience Replay [33.7477995016327]
  良く設計されたリプレイバッファは、劣化することなく、推論計算を大幅に削減できることを示す。 良く設計されたリプレイバッファは、劣化することなく、推論計算を大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2026-04-09T18:56:12Z)
• Just-In-Time Reinforcement Learning: Continual Learning in LLM Agents Without Gradient Updates [53.3717573880076]
  JitRL(Just-In-Time Reinforcement Learning、ジャスト・イン・タイム強化学習)は、テスト時間ポリシーの最適化を可能にするトレーニング不要のフレームワークである。 JitRLは、経験の動的で非パラメトリックな記憶を維持し、関連する軌跡を取得して、オンザフライでのアクションの利点を推定する。 WebArenaとJerrichoの実験では、JitRLがトレーニング不要メソッドの間に新しい最先端技術を確立していることが示されている。
  論文  参考訳（メタデータ） (2026-01-26T14:16:51Z)
• FIRE: A Failure-Adaptive Reinforcement Learning Framework for Edge Computing Migrations [54.34189781923818]
  FIREは、エッジコンピューティングのディジタルツイン環境でRLポリシーをトレーニングすることで、まれなイベントに適応するフレームワークである。 ImREは重要なサンプリングに基づくQ-ラーニングアルゴリズムであり、希少事象をその値関数への影響に比例してサンプリングする。 FIREは故障時にバニラRLやグリーディベースラインと比較してコストを削減できることを示す。
  論文  参考訳（メタデータ） (2022-09-28T19:49:39Z)
• Low-Precision Reinforcement Learning [63.930246183244705]
  教師付き学習における計算時間、メモリフットプリント、エネルギー消費を減らすために、低精度トレーニングが一般的なアプローチになっている。 本稿では,最先端のsacエージェントを用いた継続的制御について検討し,教師あり学習による低精度適応が失敗することを実証する。
  論文  参考訳（メタデータ） (2021-02-26T16:16:28Z)
• Stratified Experience Replay: Correcting Multiplicity Bias in Off-Policy Reinforcement Learning [17.3794999533024]
  深部RLは異常なデータの存在に苦慮しているように見える。 近年の研究では、DQN(Deep Q-Network)の性能はリプレイメモリが大きすぎると劣化することが示された。 我々は,リプレイメモリ上で一様にサンプリングする動機を再検討し,関数近似を用いた場合の欠陥を見出した。
  論文  参考訳（メタデータ） (2021-02-22T19:29:18Z)
• Transient Non-Stationarity and Generalisation in Deep Reinforcement Learning [67.34810824996887]
  非定常性は、静止環境においても強化学習(Reinforcement Learning, RL)において生じることがある。 深部RLエージェントの一般化を改善するため,ITER(Iterated Relearning)を提案する。
  論文  参考訳（メタデータ） (2020-06-10T13:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。