論文の概要: Observation-Grounded Self-Predictive Reinforcement Learning for Visual Continuous Control

• arxiv url: http://arxiv.org/abs/2608.05989v1
• Date: Thu, 06 Aug 2026 13:02:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 17:43:06.754762
• Title: Observation-Grounded Self-Predictive Reinforcement Learning for Visual Continuous Control
• Title（参考訳）: 視覚連続制御のための観察型自己予測強化学習
• Abstract要約: 本稿では,連続制御のための観察型自己予測表現(OG-SPR)を提案する。 OG-SPRは、多段階の潜伏自己予測と次の観測予測という、2つの中核的な補助的目的を取り入れている。 実験により、OG-SPRは、最先端の自己予測および観察予測RL法よりも集約性能を向上させることが示された。
• 参考スコア（独自算出の注目度）: 10.054153317469096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sample-efficient policy learning from pixels is a long-standing challenge in reinforcement learning (RL). Recent dynamics-based representation learning methods have significantly improved the sample efficiency of model-free visual RL by learning dynamics-aware representations through auxiliary prediction performed either in latent space (self-prediction) or observation space (observation prediction). However, state-of-the-art methods from both categories still struggle on challenging visual control tasks when training data is limited. We posit that relying on either predictive objective alone may be insufficient. In contrast, observation prediction grounds learned representations in observation-level dynamics, but does not directly regularize the temporal predictability of latent representations over extended horizons. In this paper, we propose Observation-Grounded Self-Predictive Representations (OG-SPR), a model-free visual RL algorithm for continuous control that learns representations that are both temporally predictive in latent space and grounded in observation-level dynamics. OG-SPR incorporates two core auxiliary objectives: multi-step latent self-prediction and next-observation prediction. We empirically show that directly imposing latent self-prediction on the shared representation may over-constrain it and does not necessarily improve performance. To address this issue, OG-SPR introduces two lightweight adapters for latent self-prediction, allowing the shared representation to benefit from temporally predictive signals without being forced to directly satisfy the self-prediction objective. Experiments on 28 visual control tasks from the DeepMind Control Suite show that OG-SPR improves aggregate performance over state-of-the-art self-predictive and observation-predictive RL methods, with particularly pronounced gains in challenging domains such as dog and humanoid.
• Abstract（参考訳）: 画素からのサンプル効率のよいポリシー学習は、強化学習(RL)における長年の課題である。 近年のダイナミックスに基づく表現学習手法は、潜在空間(自己予測)または観測空間(観測予測)で実行される補助予測を通じて、動的に認識された表現を学習することで、モデルフリーな視覚的RLのサンプル効率を大幅に向上させた。 しかし、両方のカテゴリの最先端の手法は、トレーニングデータに制限がある場合、視覚制御タスクの挑戦に苦慮している。 いずれの予測目標のみに頼ることは不十分かもしれないと仮定する。 対照的に、観測予測基盤は観測レベルの力学における表現を学習したが、拡張地平線上での潜在表現の時間的予測可能性を直接調整するわけではない。 本稿では、連続制御のためのモデルフリーな視覚的RLアルゴリズムである観察型自己予測表現(OG-SPR)を提案する。 OG-SPRは、多段階の潜伏自己予測と次の観測予測という、2つの中核的な補助的目的を取り入れている。 共有表現に直接潜伏自己予測を課すと過剰に制約され、必ずしも性能が向上するとは限らないことを実証的に示す。 この問題に対処するため、OG-SPRは2つの軽量な自己予測アダプタを導入し、共有表現は自己予測の目的を直接満たさざるを得ない時間的予測信号の恩恵を受けられるようにした。 DeepMind Control Suiteによる28の視覚制御タスクの実験では、OG-SPRは最先端の自己予測的および観察予測的RL法よりも総合的なパフォーマンスを改善しており、犬やヒューマノイドのような挑戦的な領域では特に顕著である。

関連論文リスト

• NASDAQ: Normalized Observation Space Dynamics-Augmented Q-Learning [13.486549278186928]
  観測力学予測(observation-predictive RL)を通して学習した表現によるモデルフリー強化学習(RL)の強化により,サンプル効率と性能が向上する。 低次元の観測を正規化し、その結果の損失と勾配のバランスをとるオンラインRLに適した新しい正規化法を提案する。 各種領域にまたがる観測予測RLのためのフレームワークである正規化観測空間ダイナミクス強化Q-ラーニング(NASDAQ)を紹介する。
  論文  参考訳（メタデータ） (2026-06-19T10:21:04Z)
• ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
  本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。 具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。 本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
  論文  参考訳（メタデータ） (2026-01-23T11:31:07Z)
• Abstain Mask Retain Core: Time Series Prediction by Adaptive Masking Loss with Representation Consistency [4.047219770183742]
  時系列予測はエネルギー管理や金融市場といった重要な領域において重要な役割を担っている。 本研究は, 履歴データを適切に切り詰めることによって予測精度を向上させるという, 直感に反する現象を明らかにする。 本稿では,適応的マスキング・ロス(Adaptive Masking Loss)と表現整合性(Representation Consistency)を提案する。
  論文  参考訳（メタデータ） (2025-10-22T19:23:53Z)
• Self-Predictive Dynamics for Generalization of Vision-based Reinforcement Learning [14.137070712516005]
  視覚に基づく強化学習は、画像に基づく観察の効率的で堅牢な表現を必要とする。 本研究では,タスク関連特徴を効率的に抽出する自己予測ダイナミクス(SPD)を設計する。 MuJoCo視覚制御タスクと自律運転タスク(CARLA)のセットでは、SPDは複雑な観察において過去の研究よりも優れていた。
  論文  参考訳（メタデータ） (2025-06-05T00:36:54Z)
• Reinforcement Learning under Latent Dynamics: Toward Statistical and Algorithmic Modularity [51.40558987254471]
  強化学習の現実的な応用は、エージェントが複雑な高次元の観察を行う環境を含むことが多い。 本稿では,統計的・アルゴリズム的な観点から,textit General$ latent dynamicsの下での強化学習の課題に対処する。
  論文  参考訳（メタデータ） (2024-10-23T14:22:49Z)
• Learning Interpretable Policies in Hindsight-Observable POMDPs through Partially Supervised Reinforcement Learning [57.67629402360924]
  本稿では,PSRL(Partially Supervised Reinforcement Learning)フレームワークを紹介する。 PSRLの中心は、教師なし学習と教師なし学習の融合である。 PSRLは、保存中のモデル解釈可能性を高め、従来の手法で設定された性能ベンチマークよりも大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-02-14T16:23:23Z)
• An Empirical Study on the Power of Future Prediction in Partially Observable Environments [15.773444560355694]
  自己予測補助タスクは、完全に観察された環境でのパフォーマンスを向上させることが示されているが、部分観測性におけるそれらの役割はいまだに解明されていない。 我々は、強化学習から表現学習を明示的に分離するアプローチである$textttDRL2$を導入する。 本研究は,将来予測性能が表現品質の信頼性指標となり,RL性能の向上に寄与するという考えを裏付けるものである。
  論文  参考訳（メタデータ） (2024-02-11T04:53:40Z)
• Learning Robust Representations via Bidirectional Transition for Visual Reinforcement Learning [49.23256535551141]
  本稿では, 環境遷移を前方と後方の両方で双方向に予測し, 信頼性のある表現を抽出するBidirectional Transition (BiT) モデルを提案する。 本モデルでは,DeepMind Controlスイートの2つの設定に対して,競合一般化性能とサンプル効率を示す。
  論文  参考訳（メタデータ） (2023-12-04T14:19:36Z)
• Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
  強化学習のための自己予測学習の学習ダイナミクスについて検討する。 本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-06T20:43:37Z)
• Self-Regulated Learning for Egocentric Video Activity Anticipation [147.9783215348252]
  自己制御学習(SRL)は、中間表現を連続的に制御し、現在のタイムスタンプのフレームにおける新しい情報を強調する表現を作り出すことを目的としている。 SRLは2つのエゴセントリックなビデオデータセットと2つの第三者のビデオデータセットにおいて、既存の最先端技術よりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-11-23T03:29:18Z)
• Unsupervised Gaze Prediction in Egocentric Videos by Energy-based Surprise Modeling [6.294759639481189]
  エゴセントリックな認識は、没入型コンピューティングデバイスの出現によって急速に成長してきた。 人間の視線予測は、自我中心の動画を分析する上で重要な問題である。 我々は,エゴセントリックな視線予測タスクにおいて,教師付き深層学習モデルの一般化能力を定量的に分析する。
  論文  参考訳（メタデータ） (2020-01-30T21:52:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。