論文の概要: Echo: Scaling Visual Reinforcement Learning with Off-policy Experience

• arxiv url: http://arxiv.org/abs/2610.37865v1
• Date: Tue, 27 Oct 2026 19:11:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.905385
• Title: Echo: Scaling Visual Reinforcement Learning with Off-policy Experience
• Title（参考訳）: Echo: オフラインエクスペリエンスによるビジュアル強化学習のスケールアップ
• Abstract要約: GPU加速シミュレーションによるビジュアル強化学習のスケーリングは、レンダリングとビジュアルポリシー推論コストのために計算コストがかかる。 我々は、視覚的計算を比例的に増加させることなく、経験収集をスケールするエコーメソッド、textbfa 単段オフポリチック RL フレームワークを導入する。 我々は、FastTD3でエコーメソッドをインスタンス化し、3つの視覚制御タスクと2つのデクスタラスな操作タスクで評価する。
• 参考スコア（独自算出の注目度）: 1.4640731642133487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling visual reinforcement learning (RL) with GPU-accelerated simulation is computationally expensive due to rendering and visual-policy inference costs. Consequently, two-stage teacher--student distillation is commonly used to train visual policies, but introduces an imitation gap. In this preliminary study, we introduce \echomethod{}, \textbf{a single-stage off-policy RL framework that scales experience collection without proportionally increasing visual computation}. Through \textbf{inverse distillation}, a state-based auxiliary policy imitates the evolving visual policy and collects inexpensive, unrendered experience. Echo leverages this experience for off-policy value learning, directly improving the visual policy through a shared privileged critic. We instantiate \echomethod{} with FastTD3 and evaluate it on three visual control tasks and two dexterous manipulation tasks in Genesis. Relative to \sdpgmethod{} under the evaluated configurations, Echo reduces time to reference returns by an average of \textbf{60\% across the three locomotion tasks} and \textbf{56\% across both hand tasks}, while improving peak mean returns by \textbf{62\% and 12\%}, respectively. Both hand tasks also achieve higher mean returns at matched simulator-transition budgets. These initial results suggest that scaling off-policy experience is a promising approach to efficient direct visual RL.
• Abstract（参考訳）: GPU加速シミュレーションによるビジュアル強化学習(RL)のスケーリングは、レンダリングとビジュアルポリティクス推論コストのために計算コストがかかる。 その結果、2段階の教師-学生蒸留は視覚政策の訓練に一般的に使用されるが、模倣のギャップが生じる。 本稿では, 視覚的計算量の増加を伴わずに, 経験収集をスケールする, \echomethod{}, \textbf{a single-stage off-policy RL frameworkを紹介する。 textbf{inverse distillation} を通じて、状態ベースの補助政策は進化する視覚政策を模倣し、安価で非レンダリングな体験を収集する。 Echoは、この経験を非政治的価値学習に活用し、共有された特権的批評家を通じて視覚的ポリシーを直接改善する。 我々は、FastTD3で \echomethod{} をインスタンス化し、3つの視覚制御タスクと2つの創発的操作タスクで評価する。 評価された構成下での \sdpgmethod{} と比較して、Echo は、3つの移動タスクの平均 \textbf{60\% と両手タスクの平均 \textbf{56\% で参照リターンの時間を短縮し、ピーク平均リターンをそれぞれ \textbf{62\% と 12\% で改善する。 どちらの手作業も、一致したシミュレータ・トランジション予算でより高い平均リターンを達成する。 これらの初期の結果は、オフライン体験のスケーリングが、効率的な直接視覚的RLへの有望なアプローチであることを示唆している。

関連論文リスト

• Decoupled Early Exits for Task-Dependent Compute Allocation in Flow-Matching VLAs [53.20313939184399]
  フローマッチング型ビジョン・ランゲージ・アクション(VLA)モデルは、ジェネラリストロボット制御の潜在的な解決策として浮上している。 本稿では,バックボーン深度を$V$,アクションエキスパート深度を$A$,ステップを$D$とすることを提案する。 最適な計算予算はタスクに依存しており、様々なタスクは異なる軸と深さから恩恵を受ける。
  論文  参考訳（メタデータ） (2026-09-24T11:10:00Z)
• ConsistentRFT: Reducing Visual Hallucinations in Flow-based Reinforcement Fine-Tuning [85.20505958752928]
  フローベースモデル上での強化ファインチューニング(RFT)は、優先順位調整に不可欠である。 RFTは、過度に最適化された詳細や意味的なミスアライメントのような視覚幻覚をしばしば導入する。 この研究は、なぜ視覚幻覚が生じるのか、どのようにそれらを減らすのかを予備的に探求する。
  論文  参考訳（メタデータ） (2026-02-03T11:49:46Z)
• VOGUE: Guiding Exploration with Visual Uncertainty Improves Multimodal Reasoning [62.09195763860549]
  検証可能な報酬(RLVR)による強化学習は、大きな言語モデル(LLM)の推論を改善するが、探索に苦労する。 出力(テキスト)から入力(視覚)空間へ探索をシフトする新しい手法である$textbfVOGUE(Visual Uncertainty Guided Exploration)を紹介した。 本研究は,視覚入力の本質的不確実性における基盤探索が,マルチモーダル推論を改善するための効果的な戦略であることを示す。
  論文  参考訳（メタデータ） (2025-10-01T20:32:08Z)
• End-to-end RL Improves Dexterous Grasping Policies [64.8476328230578]
  本研究は,画像に基づくエンドツーエンド学習のスケールアップ手法について,腕+手システムによる器用な把握について検討する。 我々は、深度と状態に基づく政策の両方をステレオRGBネットワークに訓練・蒸留し、深度蒸留がシミュレーションと現実の両方においてより良い結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-09-19T21:21:29Z)
• H$^3$DP: Triply-Hierarchical Diffusion Policy for Visuomotor Learning [25.65324419553667]
  我々は,視覚的特徴と行動生成の統合を強化するために,階層構造を明示的に組み込んだ新しいビジュモータ学習フレームワークである$textbfTriply-Hierarchical Diffusion Policy(textbfH$mathbf3$DP)を紹介した。 大規模な実験では、H$3$DPは$mathbf+27.5%の平均相対的な改善を$mathbf44$のシミュレーションタスクで達成し、$mathbf4$の挑戦的な実世界の操作タスクで優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-05-12T17:59:43Z)
• When Should We Prefer State-to-Visual DAgger Over Visual Reinforcement Learning? [19.13734020392486]
  本研究では、2段階のフレームワークであるState-to-Visual DAggerと、視覚的ポリシーを学ぶためにオンライン模倣を採用する前に状態ポリシーを訓練するVisual RLを実証的に比較する。 驚いたことに、ステート・ツー・ビジュアルのDAggerは、Visual RLを普遍的に上回るものではなく、より一貫したパフォーマンスを提供する、挑戦的なタスクにおいて大きなアドバンテージを示している。
  論文  参考訳（メタデータ） (2024-12-18T09:39:12Z)
• $P^{3}O$: Transferring Visual Representations for Reinforcement Learning via Prompting [14.831261643044018]
  本稿では,ターゲットからソース環境への視覚表現の転送を行う3段階DRLアルゴリズムであるPromptベースのP3O$を紹介した。 We implement $P3O$ and evaluation it on the OpenAI CarRacing video game。
  論文  参考訳（メタデータ） (2023-03-22T08:14:23Z)
• Offline Visual Representation Learning for Embodied Navigation [50.442660137987275]
  自己教師付き学習による視覚表現のオフライン事前学習(SSL) 長期学習スケジュール下での画像強調による特定のタスクにおけるビジュモータ表現のオンライン微調整
  論文  参考訳（メタデータ） (2022-04-27T23:22:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。