論文の概要: Revisiting Adam for Streaming Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.06764v1
• Date: Thu, 07 May 2026 17:54:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.521824
• Title: Revisiting Adam for Streaming Reinforcement Learning
• Title（参考訳）: ストリーム強化学習のためのアダムの再考
• Authors: Florin Gogianu, Adrian Catalin Lutu, Razvan Pascanu,
• Abstract要約: このオンライン環境でDQNやC51が実施したような,確立された更新の有効性について検討する。 我々は、アダプティブQ$()$ (Adaptive Q$()$) と呼ばれる、アダプティブトレースに基づく分散調整アルゴリズムを導出する。
• 参考スコア（独自算出の注目度）: 18.823262199838226
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Learning from a sequence of interactions, as soon as observations are perceived and acted upon, without explicitly storing them, holds the promise of simpler, more efficient and adaptive algorithms. For over a decade, however, deep reinforcement learning walked the contrary path, augmenting agents with replay buffers or parallel sampling routines, in an effort to tame learning instability. Recently, this topic has been revisited by Elsayed et al. (2024), focusing on update computation through eligibility traces and modifications to the optimisation routine, resulting in the StreamQ algorithm. In this work we take a step back, investigating the efficacy of established updates, such as those implemented by DQN and C51 within this online setting. Not only do we find that they perform well, but through analysing how the optimisation algorithm generally, and Adam in particular, interacts with these updates, we contend that two properties are essential for robust performance: i) the derivative of the objective is to be bounded and ii) weight updates are variance-adjusted. Rigorous and exhaustive experimentation demonstrates that C51, which exhibits both characteristics, is competitive with StreamQ across a subset of 55 Atari games. Using these insights, we derive a variance-adjusted algorithm based on eligibility traces, termed Adaptive Q$(λ)$, which approaches double the human baseline on the same subset, surpassing existing methods by all performance metrics.
• Abstract（参考訳）: 一連の相互作用から学ぶことは、観察が認識され、それを明示的に保存せずに実行されるとすぐに、より単純で、より効率的で適応的なアルゴリズムの約束を果たす。 しかし10年以上にわたって、深層強化学習は反対の道を歩み、リプレイバッファや並列サンプリングルーチンを備えたエージェントを増強し、学習不安定を緩和した。 最近、このトピックはElsayed et al (2024)によって再検討され、適性トレースによる更新計算と最適化ルーチンの変更に焦点が当てられ、StreamQアルゴリズムが実現した。 本研究は,DQN や C51 によって実施されているような,このオンライン環境における既存の更新の有効性について検討する。 最適化アルゴリズムが一般的にどのようにして、特にAdamがこれらの更新とどのように相互作用するかを分析することで、堅牢なパフォーマンスには2つの特性が不可欠であると論じます。 一 目的の導出が有界であること 二 重量更新が分散調整されていること。 厳密で徹底的な実験により、C51は両方の特性を示し、55のAtariゲームでStreamQと競合することを示した。 これらの知見を用いて、アダプティブQ$(λ)$と呼ばれる、適応性トレースに基づく分散調整アルゴリズムを導出する。

関連論文リスト

• OEUVRE: OnlinE Unbiased Variance-Reduced loss Estimation [23.762163604982366]
  我々は,現在および過去の時間ステップで学習した関数に対して,各入力サンプルを評価する推定器であるOEUVREを紹介する。 アルゴリズムの安定性は、多くのオンライン学習者が満足する特性であり、最適な更新、一貫性の証明、収束率、そして推定器の集中バウンドである。
  論文  参考訳（メタデータ） (2025-10-26T16:41:17Z)
• Bayesian Test-time Adaptation for Object Recognition and Detection with Vision-language Models [86.53246292425699]
  我々は、オブジェクト認識と検出の両方のためのTTAのためのトレーニングフリーフレームワークであるBCA+を提案する。 我々はベイズ推論問題として適応を定式化し、キャッシュベースの予測で初期VLM出力を融合することで最終的な予測を生成する。 BCA+は、認識と検出のベンチマークの両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-10-03T06:27:33Z)
• EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:19:58Z)
• UGCE: User-Guided Incremental Counterfactual Exploration [2.2789818122188925]
  対実的説明(CFE)は、モデル出力を変更する最小限の機能変化を識別することによって、機械学習の予測を解釈するための一般的なアプローチである。 既存のメソッドはそのような反復的な更新をサポートしず、代わりに変更毎にスクラッチから説明を再計算する。 UGCE(User-Guided Incremental Counterfactual Exploration)は,遺伝的アルゴリズムをベースとした,ユーザ制約の進展に応じて,逆ファクトアルを漸進的に更新するフレームワークである。
  論文  参考訳（メタデータ） (2025-05-27T15:24:43Z)
• Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Simultaneous Double Q-learning with Conservative Advantage Learning for Actor-Critic Methods [133.85604983925282]
  保守的アドバンテージ学習(SDQ-CAL)を用いた同時二重Q-ラーニングを提案する。 提案アルゴリズムはバイアスの少ない値推定を実現し,一連の連続制御ベンチマークタスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-08T09:17:16Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Modified Double DQN: addressing stability [0.2867517731896504]
  Double-DQN (DDQN) アルゴリズムは元々、元のDQNアルゴリズムの過大評価問題に対処するために提案された。 DDQNアルゴリズムの安定性と過大評価の両面での性能を維持するために、3つの改良が提案されている。
  論文  参考訳（メタデータ） (2021-08-09T15:27:22Z)
• Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent [20.47598828422897]
  第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。 本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
  論文  参考訳（メタデータ） (2021-04-12T13:13:34Z)
• Neural Non-Rigid Tracking [26.41847163649205]
  我々は、新しい、エンドツーエンドの学習可能、差別化可能な非剛性トラッカーを導入する。 我々は畳み込みニューラルネットワークを用いて、密度の高い通信とその信頼性を予測する。 現状の手法と比較して,提案アルゴリズムは再構築性能の向上を示す。
  論文  参考訳（メタデータ） (2020-06-23T18:00:39Z)
• Tracking Performance of Online Stochastic Learners [57.14673504239551]
  オンラインアルゴリズムは、大規模なバッチにデータを保存したり処理したりすることなく、リアルタイムで更新を計算できるため、大規模な学習環境で人気がある。 一定のステップサイズを使用すると、これらのアルゴリズムはデータやモデル特性などの問題パラメータのドリフトに適応し、適切な精度で最適解を追跡する能力を持つ。 定常仮定に基づく定常状態性能とランダムウォークモデルによるオンライン学習者の追跡性能の関連性を確立する。
  論文  参考訳（メタデータ） (2020-04-04T14:16:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。