論文の概要: An Investigation into Pre-Training Object-Centric Representations for
Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2302.04419v1
- Date: Thu, 9 Feb 2023 03:11:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-10 16:56:15.080527
- Title: An Investigation into Pre-Training Object-Centric Representations for
Reinforcement Learning
- Title(参考訳): 強化学習のための事前学習対象中心表現の検討
- Authors: Jaesik Yoon, Yi-Fu Wu, Heechul Bae, and Sungjin Ahn
- Abstract要約: 教師なしオブジェクト中心表現(OCR)学習は近年,視覚表現の新しいパラダイムとして注目されている。
本稿では,OCR事前学習による画像による強化学習の有効性を実証実験により検討する。
- 参考スコア(独自算出の注目度): 21.178594506062097
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unsupervised object-centric representation (OCR) learning has recently drawn
attention as a new paradigm of visual representation. This is because of its
potential of being an effective pre-training technique for various downstream
tasks in terms of sample efficiency, systematic generalization, and reasoning.
Although image-based reinforcement learning (RL) is one of the most important
and thus frequently mentioned such downstream tasks, the benefit in RL has
surprisingly not been investigated systematically thus far. Instead, most of
the evaluations have focused on rather indirect metrics such as segmentation
quality and object property prediction accuracy. In this paper, we investigate
the effectiveness of OCR pre-training for image-based reinforcement learning
via empirical experiments. For systematic evaluation, we introduce a simple
object-centric visual RL benchmark and conduct experiments to answer questions
such as ``Does OCR pre-training improve performance on object-centric tasks?''
and ``Can OCR pre-training help with out-of-distribution generalization?''. Our
results provide empirical evidence for valuable insights into the effectiveness
of OCR pre-training for RL and the potential limitations of its use in certain
scenarios. Additionally, this study also examines the critical aspects of
incorporating OCR pre-training in RL, including performance in a visually
complex environment and the appropriate pooling layer to aggregate the object
representations.
- Abstract(参考訳): 教師なしオブジェクト指向表現(OCR)学習は近年,視覚表現の新しいパラダイムとして注目されている。
これは、サンプル効率、体系的な一般化、推論という観点から、様々な下流タスクの効果的な事前学習技術になる可能性があるためである。
画像に基づく強化学習(RL)は、こうした下流作業において最も重要かつ頻繁に言及される課題の1つであるが、RLの利点は驚くほど研究されていない。
代わりに、ほとんどの評価は、セグメンテーションの品質やオブジェクトプロパティの予測精度といった、より間接的な指標に焦点を当てている。
本稿では,OCR事前学習による画像に基づく強化学習の有効性を実証実験により検討する。
体系的な評価のために、単純なオブジェクト指向ビジュアルRLベンチマークを導入し、'Does OCR pre-training improve performance on object-centric tasks?'や'Can OCR pre-training help with out-of-distriion generalization?'といった質問に答える実験を行う。
以上の結果から,RLに対するOCR事前学習の有効性と,特定のシナリオにおけるOCR利用の潜在的な限界に関する貴重な知見が得られた。
さらに,視覚複雑な環境におけるパフォーマンスや,オブジェクト表現を集約する適切なプーリング層など,rlにocrを事前トレーニングする上での重要な側面についても検討した。
関連論文リスト
- Assessing the Impact of Distribution Shift on Reinforcement Learning
Performance [0.0]
強化学習(RL)は独自の課題に直面する。
点推定と訓練中の最適方針への収束を成功させるプロットの比較は、実験装置への過度な適合や依存を阻害する可能性がある。
本稿では,分散シフト下でのRLアルゴリズムのロバスト性を評価するための評価手法を提案する。
論文 参考訳(メタデータ) (2024-02-05T23:50:55Z) - Hierarchical Decomposition of Prompt-Based Continual Learning:
Rethinking Obscured Sub-optimality [55.88910947643436]
大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。
HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。
実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
論文 参考訳(メタデータ) (2023-10-11T06:51:46Z) - Improving Reinforcement Learning Efficiency with Auxiliary Tasks in
Non-Visual Environments: A Comparison [0.0]
本研究は,低次元非視覚的観察のための唯一の疎結合表現学習法である,我々の知識を最大限に活用して,一般的な補助課題と比較する。
その結果, 十分複雑な環境下では, 補助的タスクによる表現学習は, 性能向上にのみ寄与することがわかった。
論文 参考訳(メタデータ) (2023-10-06T13:22:26Z) - Learning Deep Representations via Contrastive Learning for Instance
Retrieval [11.736450745549792]
本稿では、インスタンス識別に基づくコントラスト学習(CL)を用いて、この問題に取り組むための最初の試みを行う。
本研究では、事前学習されたCLモデルと微調整されたCLモデルから識別表現を導出する能力を探求することにより、この問題に対処する。
論文 参考訳(メタデータ) (2022-09-28T04:36:34Z) - Light-weight probing of unsupervised representations for Reinforcement
Learning [10.642105903491421]
分散度が低く,計算コストが最大600倍の教師なし視覚表現の評価プロトコルを提案する。
本研究では,ある状態における報酬の予測と,ある状態における専門家の行動の予測という2つの線形探索タスクを提案する。
厳密な実験により,Atari100kベンチマークの下流制御性能と強く相関していることを示す。
論文 参考訳(メタデータ) (2022-08-25T21:08:01Z) - Learning Task-relevant Representations for Generalization via
Characteristic Functions of Reward Sequence Distributions [63.773813221460614]
同じタスクで異なる環境にまたがる一般化は、視覚的強化学習の成功に不可欠である。
本稿では,タスク関連情報を抽出する手法として,特徴逆列予測(CRESP)を提案する。
実験により、CRESPは目に見えない環境での一般化性能を大幅に向上することが示された。
論文 参考訳(メタデータ) (2022-05-20T14:52:03Z) - CCLF: A Contrastive-Curiosity-Driven Learning Framework for
Sample-Efficient Reinforcement Learning [56.20123080771364]
我々は、強化学習のためのモデルに依存しないコントラスト駆動学習フレームワーク(CCLF)を開発した。
CCLFは、サンプルの重要性を完全に活用し、自己管理的な学習効率を向上させる。
このアプローチをDeepMind Control Suite、Atari、MiniGridベンチマークで評価する。
論文 参考訳(メタデータ) (2022-05-02T14:42:05Z) - Mask-based Latent Reconstruction for Reinforcement Learning [58.43247393611453]
マスクをベースとした遅延再構成(MLR)は,空間的および時間的マスキング画素を用いた観測から潜在空間の完全な状態表現を予測するために提案される。
広汎な実験により,MLRは深部強化学習における試料効率を著しく向上させることが示された。
論文 参考訳(メタデータ) (2022-01-28T13:07:11Z) - Which Mutual-Information Representation Learning Objectives are
Sufficient for Control? [80.2534918595143]
相互情報は、データの表現を学習するために魅力的な形式を提供する。
本稿では,最適政策の学習と表現のための状態表現の十分性について定式化する。
意外なことに、これらの2つの目的は、MDPの構造に関する軽度で一般的な仮定を前提に、不十分な表現をもたらす可能性がある。
論文 参考訳(メタデータ) (2021-06-14T10:12:34Z) - Reinforcement Learning with Prototypical Representations [114.35801511501639]
Proto-RLは、プロトタイプ表現を通じて表現学習と探索を結び付ける自己監督型フレームワークである。
これらのプロトタイプは、エージェントの探索経験の要約と同時に、観察を表す基盤としても機能する。
これにより、困難な連続制御タスクのセットで最新の下流ポリシー学習が可能になります。
論文 参考訳(メタデータ) (2021-02-22T18:56:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。