論文の概要: Visual Imitation Learning with Calibrated Contrastive Representation
- arxiv url: http://arxiv.org/abs/2401.11396v1
- Date: Sun, 21 Jan 2024 04:18:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 16:45:37.372624
- Title: Visual Imitation Learning with Calibrated Contrastive Representation
- Title（参考訳）: 校正されたコントラスト表現を用いた視覚模倣学習
- Authors: Yunke Wang, Linwei Tao, Bo Du, Yutian Lin, Chang Xu
- Abstract要約: AIL(Adversarial Imitation Learning)は、エージェントが低次元の状態と行動で専門家の行動を再現することを可能にする。
本稿では、視覚的AILフレームワークにコントラスト型代表学習を組み込むことにより、シンプルで効果的な解を提案する。
- 参考スコア（独自算出の注目度）: 44.63125396964309
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial Imitation Learning (AIL) allows the agent to reproduce expert
behavior with low-dimensional states and actions. However, challenges arise in
handling visual states due to their less distinguishable representation
compared to low-dimensional proprioceptive features. While existing methods
resort to adopt complex network architectures or separate the process of
learning representation and decision-making, they overlook valuable intra-agent
information within demonstrations. To address this problem, this paper proposes
a simple and effective solution by incorporating calibrated contrastive
representative learning into visual AIL framework. Specifically, we present an
image encoder in visual AIL, utilizing a combination of unsupervised and
supervised contrastive learning to extract valuable features from visual
states. Based on the fact that the improved agent often produces demonstrations
of varying quality, we propose to calibrate the contrastive loss by treating
each agent demonstrations as a mixed sample. The incorporation of contrastive
learning can be jointly optimized with the AIL framework, without modifying the
architecture or incurring significant computational costs. Experimental results
on DMControl Suite demonstrate our proposed method is sample efficient and can
outperform other compared methods from different aspects.
- Abstract（参考訳）: AIL(Adversarial Imitation Learning)は、エージェントが低次元の状態と行動で専門家の行動を再現することを可能にする。
しかし、視覚状態を扱う際の課題は、低次元の受容的特徴と比較して区別がつかないためである。
既存の手法では複雑なネットワークアーキテクチャを採用するか、あるいは表現と意思決定のプロセスを分離するが、デモの中で貴重なエージェント内情報を見落としている。
そこで本稿では,visual ailフレームワークに校正されたコントラスト代表学習を組み込むことにより,簡便で効果的な解法を提案する。
具体的には、教師なしのコントラスト学習と教師なしのコントラスト学習を組み合わせて、視覚状態から貴重な特徴を抽出するビジュアルailの画像エンコーダを提案する。
改良剤が品質の異なるデモをしばしば生成するという事実に基づいて,各エージェントのデモを混合サンプルとして扱うことにより,コントラスト損失を校正する。
コントラスト学習の導入は、アーキテクチャの変更や重要な計算コストを伴わずに、ailフレームワークと共同で最適化することができる。
DMControl Suiteの実験結果から,提案手法はサンプル効率が良く,他の比較手法よりも優れていることが示された。
関連論文リスト
- An Information Compensation Framework for Zero-Shot Skeleton-based Action Recognition [49.45660055499103]
ゼロショットの人間の骨格に基づく行動認識は、トレーニング中に見られるカテゴリ外の行動を認識するモデルを構築することを目的としている。
従来の研究では、シーケンスの視覚的空間分布と意味的空間分布の整合性に焦点が当てられていた。
強固で頑健な表現を得るために,新たな損失関数サンプリング手法を提案する。
論文 参考訳（メタデータ） (2024-06-02T06:53:01Z) - DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。
ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。
ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
論文 参考訳（メタデータ） (2024-05-22T15:52:52Z) - SeMAIL: Eliminating Distractors in Visual Imitation via Separated Models [22.472167814814448]
本稿では,SeMAIL(Separated Model-based Adversarial Imitation Learning)というモデルベース模倣学習アルゴリズムを提案する。
本手法は, 様々な視覚的制御タスクにおいて, 複雑な観察と, 専門的な観察から異なる背景を持つより困難なタスクにおいて, ほぼ専門的な性能を実現する。
論文 参考訳（メタデータ） (2023-06-19T04:33:44Z) - Combining Reconstruction and Contrastive Methods for Multimodal Representations in RL [16.792949555151978]
再構成や対照的な損失を用いた自己教師型表現の学習は、画像ベース・マルチモーダル強化学習(RL)の性能とサンプルの複雑さを向上させる
ここでは、異なる自己教師付き損失関数は、基礎となるセンサのモジュラリティの情報密度によって異なる利点と制限を有する。
コントラスト的再構成集約表現学習(CoRAL)を提案する。このフレームワークは,各センサのモダリティに対して,最も適切な自己管理的損失を選択することができる。
論文 参考訳（メタデータ） (2023-02-10T15:57:20Z) - Visual Perturbation-aware Collaborative Learning for Overcoming the
Language Prior Problem [60.0878532426877]
本稿では,視覚的摂動校正の観点から,新しい協調学習手法を提案する。
具体的には、異なる摂動範囲で2種類のキュレートされた画像を構築するための視覚コントローラを考案する。
2つの診断VQA-CPベンチマークデータセットの実験結果は、その効果を明らかに示している。
論文 参考訳（メタデータ） (2022-07-24T23:50:52Z) - An Empirical Investigation of Representation Learning for Imitation [76.48784376425911]
視覚、強化学習、NLPにおける最近の研究は、補助的な表現学習の目的が、高価なタスク固有の大量のデータの必要性を減らすことを示している。
本稿では,表現学習アルゴリズムを構築するためのモジュラーフレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-16T11:23:42Z) - Visual Adversarial Imitation Learning using Variational Models [60.69745540036375]
逆関数仕様は、深い強化学習を通しての学習行動にとって大きな障害であり続けている。
望ましい行動の視覚的なデモンストレーションは、エージェントを教えるためのより簡単で自然な方法を示すことが多い。
変動モデルに基づく対向的模倣学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-07-16T00:15:18Z) - On Mutual Information in Contrastive Learning for Visual Representations [19.136685699971864]
視覚における「対照的」学習アルゴリズムは、伝達タスクにおいて非常によく機能する表現を学ぶために示されている。
このアルゴリズムの族は、画像の2つ以上の「ビュー」間の相互情報の低境界を最大化する。
負のサンプルとビューの選択は、これらのアルゴリズムの成功に不可欠である。
論文 参考訳（メタデータ） (2020-05-27T04:21:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。