論文の概要: Data Deletion Can Help in Adaptive RL

• arxiv url: http://arxiv.org/abs/2605.00298v1
• Date: Thu, 30 Apr 2026 23:58:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:28.793656
• Title: Data Deletion Can Help in Adaptive RL
• Title（参考訳）: データ削除は適応RLに役立つ
• Authors: Param Budhraja, Aditya Gangrade, Alex Olshevsky, Venkatesh Saligrama,
• Abstract要約: 実世界における強化学習ポリシーの展開には、時間的な環境への適応が必要である。 本研究では,環境の族がテスト時に未知の低次元の文脈によってインデックス付けされるような,文脈的マルコフ決定プロセス(cMDP)フレームワークでこの問題を研究する。 各ラウンドの後にトレーニングバッファの断片をランダムに削除することで、推定器を大幅に改善する、単純で直感的なトリックを識別する。 これは、データが徐々に改善されたポリシーを使用して複数のラウンドにまたがって収集されるためであり、古いトラジェクトリは、デプロイメント時に推定器が直面するものとは異なる分布から来る。
• 参考スコア（独自算出の注目度）: 30.873221510403866
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deploying reinforcement learning policies in the real world requires adapting to time-varying environments. We study this problem in the contextual Markov Decision Process (cMDP) framework, where a family of environments is indexed by a low-dimensional context unknown at test time. The standard approach decomposes the problem: train a so-called "universal policy" which assumes knowledge of the true context, then pair it with a context estimator which approximates context using the observed trajectory. We identify a simple, counterintuitive trick that substantially improves the estimator: randomly delete a fraction of the training buffer after each round. This works because data is collected across multiple rounds using progressively better policies, and older trajectories come from a different distribution than what the estimator will face at deployment time; random deletion creates an implicit exponential decay on older data while preserving diversity without requiring any explicit identification of which samples are stale. This reduces robustness gap by 30% for MLPs and by 6% on average for recurrent networks. Strikingly, it allows a narrow MLP with 5x fewer parameters to outperform a wide MLP trained without deletion. To understand when and why deletion helps, we analyze regularized empirical risk minimization with a mismatch between the train distribution and the distribution at deployment; in this idealized setting, we prove that removing a single uniformly random training point decreases expected test loss in expectation under mild conditions. For ridge regression we make this quantitative: deletion helps when the regularization coefficient is moderate and the signal-to-noise ratio (SNR) is sufficiently low, and, crucially, this SNR threshold gives a direct measure of how large the distribution mismatch between training and deployment must be for deletion to be beneficial.
• Abstract（参考訳）: 実世界における強化学習ポリシーの展開には、時間的な環境への適応が必要である。 本研究では,環境の族がテスト時に未知の低次元の文脈によってインデックス付けされるような,文脈的マルコフ決定プロセス(cMDP)フレームワークでこの問題を研究する。 標準的なアプローチは問題を分解する: 真の文脈の知識を仮定するいわゆる「ユニバーサルポリシー」を訓練し、観測された軌跡を用いて文脈を近似する文脈推定器と組み合わせる。 各ラウンドの後にトレーニングバッファの断片をランダムに削除することで、推定器を大幅に改善する、単純で直感的なトリックを識別する。 これは、データが徐々に改善されたポリシーを使用して複数のラウンドにまたがって収集され、古い軌道は、展開時に推定器が直面するものとは異なる分布から来ているためである。 これにより、MLPでは30%、リカレントネットワークでは平均6%の堅牢性ギャップが減少する。 厳密に言えば、5倍少ないパラメータを持つ狭いMLPが、削除せずに訓練された広いMLPより優れている。 削除がいつ,なぜ有効なのかを理解するため,列車の配電と配置のミスマッチによる定期的な経験的リスク最小化を解析し,この理想化環境では,一様ランダムなトレーニングポイントの除去が軽度条件下での期待試験損失を減少させることを示す。 リッジ回帰の場合、削除は正規化係数が適度であり、信号対雑音比(SNR)が十分に低い場合に有効であり、このSNR閾値は、トレーニングとデプロイメントの間の分布ミスマッチがどれだけ大きいかを直接的に測定する。

関連論文リスト

• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
  量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。 本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。 これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
  論文  参考訳（メタデータ） (2024-06-05T13:36:38Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Learning from a Biased Sample [2.7728441305894447]
  本稿では,テスト分布のファミリーで発生する最悪のリスクを最小限に抑える決定ルールの学習方法を提案する。 本研究では,健康調査データからメンタルヘルススコアの予測を行うケーススタディにおいて,提案手法を実証的に検証した。
  論文  参考訳（メタデータ） (2022-09-05T04:19:16Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。