論文の概要: Endpoint Replay: Compressing the Recency Buffer in Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.25123v1
• Date: Mon, 27 Jul 2026 22:33:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.645462
• Title: Endpoint Replay: Compressing the Recency Buffer in Deep Reinforcement Learning
• Title（参考訳）: Endpoint Replay: 深層強化学習におけるRecency Bufferの圧縮
• Abstract要約: 接続された$n$-stepシーケンスの連鎖から導かれる代表遷移を格納する単純な圧縮手法について検討する。 これらの終点をより小さなリレーバッファで計算することで、本手法は標準の大型バッファに匹敵する効果的なメモリ水平線を維持することができる。 提案手法は,Pinball環境とAtari 2600ベンチマークにおける従来の大バッファの性能と一致することを示す。
• 参考スコア（独自算出の注目度）: 16.21061971849004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Experience replay remains one of the most practical and useful algorithmic tools in the deep reinforcement learning (DRL) toolbox. Aside from the limited success of prioritized replay and specialized approaches for large asynchronous systems, most DRL algorithms make use of a large, uniformly sampled recency buffer---even the size, one million, remains unchanged. Could we store less data, reduce redundancy, or more effectively chain experience together to speed up value propagation and still retain the performance of large buffers? In this paper, we investigate a simple compression approach that stores representative transitions derived from the end-points of a chain of connected $n$-step sequences. By curating these end-points in a smaller recency buffer, our method maintains an effective memory horizon comparable to a standard large buffer while requiring an order of magnitude less storage. Through empirical evaluation, we demonstrate that this approach prevents the systematic bias inherent in naive compression strategies and matches the performance of traditional large buffers in the Pinball environment and the Atari 2600 benchmark.
• Abstract（参考訳）: 経験的リプレイは、深層強化学習(DRL)ツールボックスにおいて、最も実用的で有用なアルゴリズムツールの1つである。 大規模な非同期システムに対する優先順位付けされたリプレイと特殊なアプローチの限られた成功とは別に、ほとんどのDRLアルゴリズムは大きな、一様にサンプリングされたリレーバッファを使用する。 データの保存を減らしたり、冗長性を減らしたり、価値の伝播をスピードアップしたり、大きなバッファのパフォーマンスを保ったりするために、より効果的に連鎖した経験を共有できるだろうか? 本稿では,接続された$n$-stepシーケンスのチェーンの終点から導かれる代表遷移を格納する単純な圧縮手法について検討する。 本手法では,これらのエンドポイントをより小さなリレーバッファでキュレートすることにより,ストレージの桁数を大幅に減らしながら,通常の大バッファに匹敵する効果的なメモリ水平線を維持できる。 実験的な評価により,本手法は,主圧縮戦略に固有の系統的バイアスを防止し,Pinball環境とAtari 2600ベンチマークにおける従来の大バッファの性能に適合することを示した。

関連論文リスト

• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• No More K-means: Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval [51.43543998583709]
  SSR(Single-stage Sparse Retrieval)は、高価なクラスタリングを効率的なスパースコーディングに置き換えるパラダイムシフトである。 ColBERTv2と比較してインデックス処理時間を15倍短縮し、検索レイテンシを半減させ、同時に検索性能を向上させる。
  論文  参考訳（メタデータ） (2026-05-28T15:53:34Z)
• Trajectory Balance with Asynchrony: Decoupling Exploration and Learning for Fast, Scalable LLM Post-Training [71.16258800411696]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)のポストトレーニングにおいて重要な要素である。 ポストトレーニングに使われている既存のオンラインアルゴリズムは、経験的リプレイバッファの使用と本質的に相容れない。 本稿では,TBA(Trajectory Balance with Asynchrony)によるバッファの再生を効率よく行うことを提案する。
  論文  参考訳（メタデータ） (2025-03-24T17:51:39Z)
• May the Forgetting Be with You: Alternate Replay for Learning with Noisy Labels [16.262555459431155]
  本稿では、メモリバッファ内のクリーンで複雑でノイズの多いサンプルの明確な区別を維持するために、忘れることの利点を生かしたAlternate Experience Replay(AER)を紹介する。 得られたバッファの精度と純度の両方の観点から,本手法の有効性を実証し,既存の損失ベース浄化戦略に対して,平均4.71%の精度向上を実現した。
  論文  参考訳（メタデータ） (2024-08-26T14:09:40Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• Unrolled Compressed Blind-Deconvolution [77.88847247301682]
  sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。 そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-09-28T15:16:58Z)
• Memory-efficient Reinforcement Learning with Value-based Knowledge Consolidation [14.36005088171571]
  本稿では,深部Q-networkアルゴリズムに基づくメモリ効率向上学習アルゴリズムを提案する。 提案アルゴリズムは,対象のQネットワークから現在のQネットワークへの知識の統合により,高いサンプル効率を低下させる。
  論文  参考訳（メタデータ） (2022-05-22T17:02:51Z)
• Memory Replay with Data Compression for Continual Learning [80.95444077825852]
  古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。 我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
  論文  参考訳（メタデータ） (2022-02-14T10:26:23Z)
• Parallel Actors and Learners: A Framework for Generating Scalable RL Implementations [14.432131909590824]
  強化学習(Reinforcement Learning, RL)は、ロボット工学、ゲーム、医療などの応用分野において大きな成功を収めている。 現在の実装は、不規則なメモリアクセスや同期オーバーヘッドといった問題により、パフォーマンスが劣っている。 マルチコアシステム上でスケーラブルな強化学習を実現するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-03T21:00:53Z)
• The Effectiveness of Memory Replay in Large Scale Continual Learning [42.67483945072039]
  入力シーケンス内のタスクが分類に制限されず、出力が高次元の大規模環境で連続学習を研究する。 既存のメソッドは通常、入出力ペアのみを再生する。 入力と出力のペアに加えて,中間層の活性化を再現する。
  論文  参考訳（メタデータ） (2020-10-06T01:23:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。