論文の概要: Robust Representation Learning by Clustering with Bisimulation Metrics
for Visual Reinforcement Learning with Distractions
- arxiv url: http://arxiv.org/abs/2302.12003v1
- Date: Sun, 12 Feb 2023 13:27:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-26 13:12:09.761449
- Title: Robust Representation Learning by Clustering with Bisimulation Metrics
for Visual Reinforcement Learning with Distractions
- Title(参考訳): ビシミュレーションメトリクスを用いたクラスタリングによるロバスト表現学習 : 注意をそらす視覚強化学習
- Authors: Qiyuan Liu, Qi Zhou, Rui Yang, Jie Wang
- Abstract要約: Bisimulation Metrics (CBM) によるクラスタリングは、潜在空間における視覚的観察をグループ化することで、堅牢な表現を学習する。
CBMは,(1)実測距離を学習プロトタイプと測定することで観測をグループ化すること,(2)現在のクラスタ割り当てに従ってプロトタイプの集合を学習すること,の2つのステップを交互に行う。
実験により、CBMは一般的なビジュアルRLアルゴリズムのサンプル効率を大幅に改善することが示された。
- 参考スコア(独自算出の注目度): 9.088460902782547
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work has shown that representation learning plays a critical role in
sample-efficient reinforcement learning (RL) from pixels. Unfortunately, in
real-world scenarios, representation learning is usually fragile to
task-irrelevant distractions such as variations in background or viewpoint.To
tackle this problem, we propose a novel clustering-based approach, namely
Clustering with Bisimulation Metrics (CBM), which learns robust representations
by grouping visual observations in the latent space. Specifically, CBM
alternates between two steps: (1) grouping observations by measuring their
bisimulation distances to the learned prototypes; (2) learning a set of
prototypes according to the current cluster assignments. Computing cluster
assignments with bisimulation metrics enables CBM to capture task-relevant
information, as bisimulation metrics quantify the behavioral similarity between
observations. Moreover, CBM encourages the consistency of representations
within each group, which facilitates filtering out task-irrelevant information
and thus induces robust representations against distractions. An appealing
feature is that CBM can achieve sample-efficient representation learning even
if multiple distractions exist simultaneously.Experiments demonstrate that CBM
significantly improves the sample efficiency of popular visual RL algorithms
and achieves state-of-the-art performance on both multiple and single
distraction settings. The code is available at
https://github.com/MIRALab-USTC/RL-CBM.
- Abstract(参考訳): 近年の研究では、ピクセルからのサンプル効率強化学習(rl)において、表現学習が重要な役割を果たすことが示されている。
残念ながら、現実のシナリオでは、表象学習は通常、背景や視点の変化のようなタスク非関連の注意散らしに対して脆弱であり、この問題に対処するために、潜時空間における視覚的観察をグループ化することで、堅牢な表現を学習する、新しいクラスタリングベースのアプローチ、すなわち、シミュレーションメトリックによるクラスタリング(CBM)を提案する。
特にCBMは,(1)バイシミュレート距離を測定して観測をグループ化すること,(2)現在のクラスタ割り当てに従ってプロトタイプの集合を学習すること,の2つのステップを交互に行う。
バイシミュレーションメトリクスを用いたクラスタ割り当ての計算により、CBMは、バイシミュレーションメトリクスが観察間の振る舞いの類似性を定量化するので、タスク関連情報をキャプチャできる。
さらに、CBMは各グループ内の表現の一貫性を奨励し、タスク関連情報をフィルタリングし、乱れに対して堅牢な表現を誘導する。
実験により、CBMは一般的な視覚的RLアルゴリズムのサンプル効率を著しく改善し、複数対1の散逸設定で最先端の性能を達成できることが示された。
コードはhttps://github.com/MIRALab-USTC/RL-CBMで入手できる。
関連論文リスト
- Masked Momentum Contrastive Learning for Zero-shot Semantic
Understanding [39.424931953675994]
自己教師付き事前学習(SSP)は、ラベル付きデータなしで有意義な特徴表現を抽出できる機械学習の一般的な手法として登場した。
本研究は、コンピュータビジョンタスクにおける純粋な自己教師付き学習(SSL)技術の有効性を評価する。
論文 参考訳(メタデータ) (2023-08-22T13:55:57Z) - Provably Efficient Representation Learning with Tractable Planning in
Low-Rank POMDP [81.00800920928621]
部分的に観測可能なマルコフ決定過程(POMDP)における表現学習の研究
まず,不確実性(OFU)に直面した最大推定(MLE)と楽観性を組み合わせた復調性POMDPのアルゴリズムを提案する。
次に、このアルゴリズムをより広範な$gamma$-observable POMDPのクラスで機能させる方法を示す。
論文 参考訳(メタデータ) (2023-06-21T16:04:03Z) - MA2CL:Masked Attentive Contrastive Learning for Multi-Agent
Reinforcement Learning [128.19212716007794]
我々はtextbfMulti-textbfAgent textbfMasked textbfAttentive textbfContrastive textbfLearning (MA2CL) という効果的なフレームワークを提案する。
MA2CLは、潜伏空間におけるマスクされたエージェント観察を再構築することにより、時間的およびエージェントレベルの予測の両方の学習表現を奨励する。
提案手法は,様々なMARLアルゴリズムの性能とサンプル効率を大幅に向上させ,様々な視覚的,状態的シナリオにおいて,他の手法よりも優れる。
論文 参考訳(メタデータ) (2023-06-03T05:32:19Z) - PointCMP: Contrastive Mask Prediction for Self-supervised Learning on
Point Cloud Videos [58.18707835387484]
本稿では,ポイントクラウドビデオ上での自己教師型学習のための対照的なマスク予測フレームワークを提案する。
PointCMPは、局所的情報と大域的情報の両方を同時に学習するために、2分岐構造を用いる。
我々のフレームワークは、ベンチマークデータセットにおける最先端のパフォーマンスを達成し、既存のフル教師付きデータセットよりも優れています。
論文 参考訳(メタデータ) (2023-05-06T15:47:48Z) - USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text
Retrieval [115.28586222748478]
Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。
既存のアプローチは通常、2つの大きな制限に悩まされる。
論文 参考訳(メタデータ) (2023-01-17T12:42:58Z) - Few-Shot Fine-Grained Action Recognition via Bidirectional Attention and
Contrastive Meta-Learning [51.03781020616402]
現実世界のアプリケーションで特定のアクション理解の需要が高まっているため、きめ細かいアクション認識が注目を集めている。
そこで本研究では,各クラスに付与されるサンプル数だけを用いて,新規なきめ細かい動作を認識することを目的とした,数発のきめ細かな動作認識問題を提案する。
粒度の粗い動作では進展があったが、既存の数発の認識手法では、粒度の細かい動作を扱う2つの問題に遭遇する。
論文 参考訳(メタデータ) (2021-08-15T02:21:01Z) - Unsupervised Visual Representation Learning by Online Constrained
K-Means [44.38989920488318]
クラスタ識別は、教師なし表現学習の効果的な前提課題である。
オンラインtextbfConstrained textbfK-mtextbfeans (textbfCoKe) を用いたクラスタリングに基づく新しいプリテキストタスクを提案する。
当社のオンライン割当て方式は,グローバルな最適化に近づくための理論的保証を持っている。
論文 参考訳(メタデータ) (2021-05-24T20:38:32Z) - Information Maximization Clustering via Multi-View Self-Labelling [9.947717243638289]
本稿では,意味のある表現を同時に学習し,対応するアノテーションを割り当てる単一フェーズクラスタリング手法を提案する。
これは、離散表現をネットを通じて自己監督パラダイムに統合することで達成される。
実験の結果,提案手法は,平均精度89.1%,49.0%で最先端技術を上回ることがわかった。
論文 参考訳(メタデータ) (2021-03-12T16:04:41Z) - Beyond Single Instance Multi-view Unsupervised Representation Learning [21.449132256091662]
ランダムにサンプリングされた2つのインスタンス間の結合類似度を測定することにより、より正確なインスタンス識別能力を付与する。
符号化された特徴が潜伏した空間でより均等に分散される場合,共同学習の類似性によって性能が向上すると考えている。
論文 参考訳(メタデータ) (2020-11-26T15:43:27Z) - Mixing Consistent Deep Clustering [3.5786621294068373]
良い潜在表現は、2つの潜在表現の線形を復号する際に意味的に混合出力を生成する。
本稿では,表現をリアルに見せるための混合一貫性深層クラスタリング手法を提案する。
提案手法は,クラスタリング性能を向上させるために,既存のオートエンコーダに付加可能であることを示す。
論文 参考訳(メタデータ) (2020-11-03T19:47:06Z) - Memory-Augmented Relation Network for Few-Shot Learning [114.47866281436829]
本研究では,新しい距離学習手法であるメモリ拡張リレーショナルネットワーク(MRN)について検討する。
MRNでは、作業状況と視覚的に類似したサンプルを選択し、重み付け情報伝搬を行い、選択したサンプルから有用な情報を注意深く集約し、その表現を強化する。
我々は、MRNが祖先よりも大幅に向上し、他の数発の学習手法と比較して、競争力や性能が向上することを示した。
論文 参考訳(メタデータ) (2020-05-09T10:09:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。