論文の概要: Short-to-Long: Detached Features for Long-Horizon Value Learning

• arxiv url: http://arxiv.org/abs/2610.30461v1
• Date: Wed, 21 Oct 2026 21:17:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.140271
• Title: Short-to-Long: Detached Features for Long-Horizon Value Learning
• Title（参考訳）: 短-長-長-長-長-長-長-長-長-長-長-長-長-長-長-長-長-長-長-長-長-長-長-長-長-長-長-長-長-長-長-
• Abstract要約: 我々は、この監督の時間的地平について検討する:より小さな割引により、これらの目標が遠隔ブートストラップの変更に対してより敏感になる。 そこで我々はS2L(Short-to-Long)を導入し,より小さな分散ソースネットワークで訓練された機能を備えた長時間水平動作学習システムを提案する。 Atari全体、オンラインの継続的制御、オフラインの継続的制御によって、このアプローチは全体的なパフォーマンス向上をもたらす。
• 参考スコア（独自算出の注目度）: 40.522652284714674
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning useful representations from continually changing value targets remains a challenge in deep reinforcement learning. We study the temporal horizon of this supervision: smaller discounts make these targets less sensitive to distant bootstrap changes, but using them for behavior changes the control objective. We introduce Short-to-Long (S2L), which supplies a long-horizon behavior learner with features trained by smaller-discount source networks. Detached connections prevent the behavior value loss from updating the sources, allowing each source to follow its own value objective while the behavior discount remains unchanged. Across Atari, online continuous control, and offline continuous control, the approach yields aggregate performance gains, improving the paired terminal median on 40 of 57 Atari games. Matched Atari ablations support the roles of feature transfer, smaller source discounts, and gradient isolation. Fixed-trajectory measurements further show reduced drift in source value targets with mixed discounts.
• Abstract（参考訳）: 継続的な価値目標の変化から有用な表現を学ぶことは、深い強化学習の課題である。 比較的小さな割引により、遠隔ブートストラップの変化に対する感度が低下するが、制御目的の行動変化に利用することができる。 そこで我々はS2L(Short-to-Long)を導入し,より小さな分散ソースネットワークで訓練された機能を備えた長時間水平動作学習システムを提案する。 分離された接続は、動作値の損失がソースを更新することを防ぐ。 オンラインの連続制御、オフラインの連続制御など、Atariのアプローチは、合計的なパフォーマンス向上をもたらし、57試合中40試合中40試合中40試合でペア端末の中央値を改善する。 マッチしたAtari ablationは、機能転送、ソースディスカウントの削減、勾配分離の役割をサポートする。 固定軌道測定により、ソース値のターゲットのドリフトが減少し、ディスカウントが混合された。

関連論文リスト

• Why Constrained Updates Still Forget: A Functional-Path Analysis of Continual SFT [42.82614522980862]
  教師付き微調整は、言語モデルを特定のタスクに適応させるが、以前取得した振る舞いを妨害する可能性がある。 制御方向への更新とともに、古い空間変化を分解する機能パスアカウントを開発する。 これらの知見は, タスクワイズ行動に対する更新レベルの保護と, 明示的な機能的アンカーによる緩和, 軌道評価, 旧/新共同監査とを関連づけるものである。
  論文  参考訳（メタデータ） (2026-10-21T03:57:12Z)
• Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning [60.75091491636976]
  TreeOPSDは、長距離エージェント強化学習のための、批判のない、木を意識した後部自己蒸留フレームワークである。 複数の競合ベンチマークとモデルスケールでエージェント機能を改善する。
  論文  参考訳（メタデータ） (2026-10-16T09:17:26Z)
• Drift and Dependence: Layer-wise Information-Theoretic Bounds for Replay-Based Continual Learning [41.371439825328544]
  継続的な学習は、古いタスクを消去することなく新しいタスクを吸収し、リプレイ — 過去の例の小さなバッファを現在のトレーニングに混ぜる — 破滅的な忘れ方に対する最も効果的な治療法のひとつです。 我々は、各深さでこれらの効果を分離するレイヤワイド情報理論フレームワークを開発する。 制御およびベンチマーク実験により、予測されたメモリスケーリング、内部ファンネル、およびアライメント信号の忘れへのリンクを確認する。
  論文  参考訳（メタデータ） (2026-08-12T06:01:49Z)
• TSN-Affinity: Similarity-Driven Parameter Reuse for Continual Offline Reinforcement Learning [5.680044533158534]
  連続オフライン強化学習(CORL)は、以前に学習したタスクのパフォーマンスを維持しながら、時間とともに収集されたデータセットから一連のタスクを学習することを目的としている。 本稿では,TinySubNetworks と Decision Transformer に基づく新しい CORL 手法である TSN-Affinity を提案する。 我々は,Atariゲームに基づくベンチマークのアプローチと,Franka Emika Pandaロボットアームによる操作タスクのシミュレーションを評価する。
  論文  参考訳（メタデータ） (2026-04-28T17:41:04Z)
• Less is More: Clustered Cross-Covariance Control for Offline RL [13.198112768636207]
  オフライン強化学習における基本的な課題は、分散シフトである。 ローカルなリプレイパーティションへの更新を制限する分割バッファサンプリングを提案する。 また,各更新における共分散誘発バイアスを解消する,明確な勾配に基づく補正ペナルティも導入する。
  論文  参考訳（メタデータ） (2026-01-28T16:55:04Z)
• Beat the long tail: Distribution-Aware Speculative Decoding for RL Training [75.75462952580796]
  モデル出力を変更することなくRLロールアウトを高速化する分散Aware Speculativeデコーディングフレームワークを提案する。 数学とコード推論タスクの実験は、DASが同一のトレーニング曲線を保ちながらロールアウト時間を最大50%短縮することを示している。
  論文  参考訳（メタデータ） (2025-11-17T19:02:12Z)
• Boosting Offline Reinforcement Learning via Data Rebalancing [104.3767045977716]
  オフライン強化学習(RL)は、学習ポリシーとデータセットの分散シフトによって問題となる。 本稿では,データセットの再サンプリングが分散サポートを一定に保っているという観察に基づいて,オフラインRLアルゴリズムをシンプルかつ効果的に向上させる手法を提案する。 ReD(Return-based Data Re Balance)メソッドをダブします。これは10行未満のコード変更で実装でき、無視できる実行時間を追加します。
  論文  参考訳（メタデータ） (2022-10-17T16:34:01Z)
• Bridging the Gap Between Target Networks and Functional Regularization [61.051716530459586]
  ターゲットネットワークは暗黙の正則化器として機能し、いくつかのケースでは有益であるが、欠点もある。 本稿では,フレキシブルな関数正規化法と関数空間における凸正規化法を提案する。 この結果から,機能正規化はTarget Networksのドロップイン代替として利用でき,結果として性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2021-06-04T17:21:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。