論文の概要: Space-sampled Value Decay: Forgetting Mechanisms for Non-stationary Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2606.11797v1
• Date: Wed, 10 Jun 2026 08:30:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.36356
• Title: Space-sampled Value Decay: Forgetting Mechanisms for Non-stationary Deep Reinforcement Learning
• Title（参考訳）: 空間サンプル値の低下:非定常的深層強化学習のための予測メカニズム
• Authors: Felix Störck, Fabian Hinder, Barbara Hammer,
• Abstract要約: 非定常強化学習(NSRL)は、変化する環境に対処するために最先端のRL手法を適用する。 この研究は、値ベースのディープRLアーキテクチャを明示的に忘れるメカニズムとして、emphSpace-sampled Value Decayを開発した。
• 参考スコア（独自算出の注目度）: 6.978294051213784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Studies on rodents such as mice have shown the capabilities to adapt their behavior when dealing with changing parameters (``drift'') of the environment even if no information about change is provided (uncertainty) -- a behavior that can be modeled by forgetting mechanisms. Non-stationary Reinforcement Learning (NSRL) deals with adapting state-of-the-art RL methods to deal with changing environments: these however usually require (partially) perfect information about the drift such as ``task IDs'' or ``context''. To mitigate the effects of drift, this work develops \emph{Space-sampled Value Decay} as an explicit forgetting mechanism for value-based deep RL architectures as a simple yet effective approach. In particular we demonstrate and discuss positive effects but also limitations in achieved returns for modifications of Deep Q-networks (DQN) and Soft Actor-Critic (SAC) when evaluated on non-stationary environments.
• Abstract（参考訳）: マウスなどの歯列動物の研究は、変化に関する情報が提供されていなくても環境のパラメータ(`drift'')を変更する際に、その行動に適応する能力を示した。 非定常強化学習(NSRL)は、変化する環境に対処するために最先端のRL手法を適用する。 ドリフトの効果を軽減するため、この研究は、値ベースの深層RLアーキテクチャをシンプルで効果的なアプローチとして、明示的に忘れるメカニズムとして、 \emph{Space-sampled Value Decay} を開発した。 特に,非定常環境下での評価において,Deep Q-networks (DQN) とSoft Actor-Critic (SAC) の修正に対する効果の実証と検討を行った。

関連論文リスト

• Online Adaptive Reinforcement Learning with Echo State Networks for Non-Stationary Dynamics [0.5745796568988237]
  本稿では,Reservoir Computingに基づく強化学習のための軽量オンライン適応フレームワークを提案する。 具体的には,Echo State Networks (ESNs) を適応モジュールとして統合し,最近の観測履歴を潜在文脈表現にエンコードする。 厳しい環境変化を伴うCartPoleおよびHalfCheetahタスクに対する提案手法の評価を行った。
  論文  参考訳（メタデータ） (2026-02-06T02:51:01Z)
• Adapting to Fragmented and Evolving Data: A Fisher Information Perspective [0.0]
  FADEは動的環境下での堅牢な学習のための軽量フレームワークである。 フィッシャー情報幾何学に固定されたシフトアウェアの正規化機構を採用している。 FADEは固定メモリでオンラインで動作し、ターゲットラベルにアクセスできない。
  論文  参考訳（メタデータ） (2025-07-25T06:50:09Z)
• EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:19:58Z)
• Dynamic Reinforcement Learning for Actors [0.0]
  動的強化学習(Dynamic RL)は、アクター(アクション生成ニューラルネットワーク)出力の代わりに、システムダイナミクスを直接制御する。 Actorは当初、その環境とループを通してカオス力学を生成するように設計されている。 動的RLは「感度」と呼ばれる局所指数を用いてグローバルシステムダイナミクスを制御する
  論文  参考訳（メタデータ） (2025-02-14T14:50:05Z)
• datadriftR: An R Package for Concept Drift Detection in Predictive Models [0.0]
  本稿では,コンセプトドリフトを検出するためのRパッケージであるドリフト器を紹介する。 ドリフト検出とドリフトの背後にある原因の理解を深めることのできるプロファイルドリフト検出(PDD)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-12-15T20:59:49Z)
• Exploring Test-Time Adaptation for Object Detection in Continually Changing Environments [20.307151769610087]
  連続的テスト時間適応(CTTA)は、目標ドメインを継続的に変更するソーストレーニングモデルに徐々に適応する、有望な手法として登場した。 我々は3つのコアコンポーネントを特徴とするAMRODについて,CTTAシナリオにおける検出モデルに対するこれらの課題に対処する。 我々は,AMRODが既存の方法よりも優れている4つのCTTAオブジェクト検出タスクにおいて,AMRODの有効性を実証する。
  論文  参考訳（メタデータ） (2024-06-24T08:30:03Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• Few-shot Quality-Diversity Optimization [50.337225556491774]
  品質多様性(QD)の最適化は、強化学習における知覚的最小値とスパース報酬を扱う上で効果的なツールであることが示されている。 本稿では,タスク分布の例から,パラメータ空間の最適化によって得られる経路の情報を利用して,未知の環境でQD手法を初期化する場合,数発の適応が可能であることを示す。 ロボット操作とナビゲーションベンチマークを用いて、疎密な報酬設定と密集した報酬設定の両方で実施された実験は、これらの環境でのQD最適化に必要な世代数を著しく削減することを示している。
  論文  参考訳（メタデータ） (2021-09-14T17:12:20Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。