論文の概要: An Empirical Study on the Power of Future Prediction in Partially Observable Environments

• arxiv url: http://arxiv.org/abs/2402.07102v2
• Date: Sat, 08 Mar 2025 04:14:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:43:31.877783
• Title: An Empirical Study on the Power of Future Prediction in Partially Observable Environments
• Title（参考訳）: 部分観測可能な環境における将来の予測力に関する実証的研究
• Authors: Jeongyeol Kwon, Liu Yang, Robert Nowak, Josiah Hanna,
• Abstract要約: 自己予測補助タスクは、完全に観察された環境でのパフォーマンスを向上させることが示されているが、部分観測性におけるそれらの役割はいまだに解明されていない。 我々は、強化学習から表現学習を明示的に分離するアプローチである$textttDRL2$を導入する。 本研究は,将来予測性能が表現品質の信頼性指標となり,RL性能の向上に寄与するという考えを裏付けるものである。
• 参考スコア（独自算出の注目度）: 15.773444560355694
• License:
• Abstract: Learning good representations of historical contexts is one of the core challenges of reinforcement learning (RL) in partially observable environments. While self-predictive auxiliary tasks have been shown to improve performance in fully observed settings, their role in partial observability remains underexplored. In this empirical study, we examine the effectiveness of self-predictive representation learning via future prediction, i.e., predicting next-step observations as an auxiliary task for learning history representations, especially in environments with long-term dependencies. We test the hypothesis that future prediction alone can produce representations that enable strong RL performance. To evaluate this, we introduce $\texttt{DRL}^2$, an approach that explicitly decouples representation learning from reinforcement learning, and compare this approach to end-to-end training across multiple benchmarks requiring long-term memory. Our findings provide evidence that this hypothesis holds across different network architectures, reinforcing the idea that future prediction performance serves as a reliable indicator of representation quality and contributes to improved RL performance.
• Abstract（参考訳）: 歴史的文脈の優れた表現を学習することは、部分的に観察可能な環境における強化学習(RL)のコア課題の1つである。 自己予測補助タスクは、完全に観察された環境でのパフォーマンスを向上させることが示されているが、部分観測可能性におけるそれらの役割はいまだに解明されていない。 本研究では,未来予測による自己予測的表現学習の有効性について検討し,特に長期依存環境における歴史表現学習の補助的課題として次の段階の観察を予測した。 我々は、将来の予測だけで強力なRL性能を実現する表現を生成できるという仮説を検証した。 これを評価するために、強化学習から表現学習を明示的に分離するアプローチである$\texttt{DRL}^2$を導入し、このアプローチを長期記憶を必要とする複数のベンチマークのエンドツーエンドトレーニングと比較する。 本研究は,この仮説が様々なネットワークアーキテクチャにまたがって成立する証拠を提供し,将来の予測性能が表現品質の信頼性指標となり,RL性能の向上に寄与するという考えを補強するものである。

関連論文リスト

• Learning Future Representation with Synthetic Observations for Sample-efficient Reinforcement Learning [12.277005054008017]
  視覚強化学習(RL)では、上流表現学習が下流政策学習の効果を決定づける。 補助訓練データを充実させることで,RLの補助表現学習を改善する。 本研究では、将来の情報を含む可能性のある観測を合成するためのトレーニング不要な手法を提案する。 残りの合成観測と実観測は、クラスタリングに基づく時間的関連タスクを達成する補助データとして機能する。
  論文  参考訳（メタデータ） (2024-05-20T02:43:04Z)
• Learning Interpretable Policies in Hindsight-Observable POMDPs through Partially Supervised Reinforcement Learning [57.67629402360924]
  本稿では,PSRL(Partially Supervised Reinforcement Learning)フレームワークを紹介する。 PSRLの中心は、教師なし学習と教師なし学習の融合である。 PSRLは、保存中のモデル解釈可能性を高め、従来の手法で設定された性能ベンチマークよりも大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-02-14T16:23:23Z)
• Fair Representation Learning using Interpolation Enabled Disentanglement [9.043741281011304]
  a) 下流タスクに対する学習された表現の有用性を確保しつつ、公平な不整合表現を同時に学べるか、(b) 提案手法が公正かつ正確であるかどうかに関する理論的知見を提供する。 前者に対応するために,補間可能外乱を用いた公正表現学習法FRIEDを提案する。
  論文  参考訳（メタデータ） (2021-07-31T17:32:12Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• Which Mutual-Information Representation Learning Objectives are Sufficient for Control? [80.2534918595143]
  相互情報は、データの表現を学習するために魅力的な形式を提供する。 本稿では,最適政策の学習と表現のための状態表現の十分性について定式化する。 意外なことに、これらの2つの目的は、MDPの構造に関する軽度で一般的な仮定を前提に、不十分な表現をもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-06-14T10:12:34Z)
• Heterogeneous Contrastive Learning: Encoding Spatial Information for Compact Visual Representations [183.03278932562438]
  本稿では,エンコーディング段階に空間情報を加えることで,対照的な目的と強いデータ拡張操作の間の学習の不整合を緩和する効果的な手法を提案する。 提案手法は,視覚表現の効率を向上し,自己指導型視覚表現学習の今後の研究を刺激する鍵となるメッセージを提供する。
  論文  参考訳（メタデータ） (2020-11-19T16:26:25Z)
• CLAR: Contrastive Learning of Auditory Representations [6.1424670675582576]
  聴覚データに適した様々なデータ拡張を導入し、予測性能への影響を評価する。 時間周波数音声特徴を用いた学習は,学習した表現の質を大幅に向上させることを示す。 これらの手法とラベル付きデータとを併用することにより,予測性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-19T14:15:31Z)
• Video Prediction via Example Guidance [156.08546987158616]
  ビデオ予測タスクでは、将来のコンテンツとダイナミクスのマルチモーダルな性質を捉えることが大きな課題である。 本研究では,有効な将来状態の予測を効果的に行うための,シンプルで効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-03T14:57:24Z)
• Value-driven Hindsight Modelling [68.658900923595]
  値推定は強化学習(RL)パラダイムの重要な構成要素である。 モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。 この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。 これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
  論文  参考訳（メタデータ） (2020-02-19T18:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。