論文の概要: Make the Pertinent Salient: Task-Relevant Reconstruction for Visual Control with Distractions
- arxiv url: http://arxiv.org/abs/2410.09972v1
- Date: Sun, 13 Oct 2024 19:24:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 03:53:37.614187
- Title: Make the Pertinent Salient: Task-Relevant Reconstruction for Visual Control with Distractions
- Title（参考訳）: 視覚障害者の視覚障害に対するタスク関連再建
- Authors: Kyungmin Kim, JB Lanier, Pierre Baldi, Charless Fowlkes, Roy Fox,
- Abstract要約: 本研究では, 気を散らす環境下での表現学習を容易にするための, 単純かつ効果的な補助タスクを提案する。
画像観察の課題関連成分は、先行知識と容易に識別できるという前提のもと、画像観察にセグメンテーションマスクを用いてタスク関連成分のみを識別する。
改良されたDeepMind Control Suite(DMC)とMeta-Worldタスクでは、SDは以前の作業よりもはるかに優れたサンプル効率と最終的なパフォーマンスを実現している。
- 参考スコア（独自算出の注目度）: 14.274653873720334
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in Model-Based Reinforcement Learning (MBRL) have made it a powerful tool for visual control tasks. Despite improved data efficiency, it remains challenging to train MBRL agents with generalizable perception. Training in the presence of visual distractions is particularly difficult due to the high variation they introduce to representation learning. Building on DREAMER, a popular MBRL method, we propose a simple yet effective auxiliary task to facilitate representation learning in distracting environments. Under the assumption that task-relevant components of image observations are straightforward to identify with prior knowledge in a given task, we use a segmentation mask on image observations to only reconstruct task-relevant components. In doing so, we greatly reduce the complexity of representation learning by removing the need to encode task-irrelevant objects in the latent representation. Our method, Segmentation Dreamer (SD), can be used either with ground-truth masks easily accessible in simulation or by leveraging potentially imperfect segmentation foundation models. The latter is further improved by selectively applying the reconstruction loss to avoid providing misleading learning signals due to mask prediction errors. In modified DeepMind Control suite (DMC) and Meta-World tasks with added visual distractions, SD achieves significantly better sample efficiency and greater final performance than prior work. We find that SD is especially helpful in sparse reward tasks otherwise unsolvable by prior work, enabling the training of visually robust agents without the need for extensive reward engineering.
- Abstract（参考訳）: モデルベース強化学習(MBRL)の最近の進歩は、視覚制御タスクのための強力なツールとなった。
データ効率が向上したにもかかわらず、汎用的な認識でMBRLエージェントを訓練することは依然として困難である。
視覚的注意散らしの存在下でのトレーニングは、表現学習に導入される高いバリエーションのため、特に困難である。
一般的なMBRL手法であるDREAMERをベースとして,分散環境における表現学習を容易にするための,シンプルかつ効果的な補助タスクを提案する。
画像観察のタスク関連成分が与えられたタスクの事前知識と容易に識別できるという仮定の下で,画像観察のセグメンテーションマスクを用いてタスク関連成分の再構成を行う。
そこで我々は,タスク非関連オブジェクトを潜在表現にエンコードする必要をなくし,表現学習の複雑さを大幅に減らした。
提案手法であるセグメンテーション・ドリーマー (SD) は, シミュレーションや潜在的に不完全なセグメンテーション基礎モデルを活用することにより, グラウンドトルースマスクで容易に利用することができる。
マスク予測誤差による誤解を招く学習信号の提供を避けるため、再構成損失を選択的に適用することにより、後者をさらに改善する。
改良されたDeepMind Control Suite(DMC)とMeta-Worldタスクでは、SDは以前の作業よりもはるかに優れたサンプル効率と最終的なパフォーマンスを実現している。
SDは従来の作業では解決不可能な疎結合な報酬タスクにおいて特に有用であり,広範囲な報酬工学を必要とせず,視覚的に堅牢なエージェントのトレーニングを可能にする。
関連論文リスト
- DEAR: Disentangled Environment and Agent Representations for Reinforcement Learning without Reconstruction [4.813546138483559]
強化学習(RL)アルゴリズムは視覚的な観察からロボット制御タスクを学習することができるが、大量のデータを必要とすることが多い。
本稿では,その形状に関するエージェントの知識が,視覚的RL法のサンプル効率を向上させる方法について検討する。
本稿では,エージェントのセグメンテーションマスクを監督対象とする,分散環境とエージェント表現という新しい手法を提案する。
論文 参考訳（メタデータ） (2024-06-30T09:15:21Z) - Less is More: High-value Data Selection for Visual Instruction Tuning [127.38740043393527]
本稿では,視覚的命令データの冗長性を排除し,トレーニングコストを削減するために,高価値なデータ選択手法TIVEを提案する。
約15%のデータしか使用していない我々のアプローチは、8つのベンチマークで全データ微調整モデルに匹敵する平均性能を実現することができる。
論文 参考訳（メタデータ） (2024-03-14T16:47:25Z) - Attention-Guided Masked Autoencoders For Learning Image Representations [16.257915216763692]
Masked Autoencoders (MAE) はコンピュータビジョンタスクの教師なし事前訓練のための強力な方法として確立されている。
本稿では,注意誘導損失関数を用いて再建過程を通知する。
評価の結果,事前学習したモデルでは,バニラMAEよりも遅延表現が優れていることがわかった。
論文 参考訳（メタデータ） (2024-02-23T08:11:25Z) - Sequential Action-Induced Invariant Representation for Reinforcement
Learning [1.2046159151610263]
視覚的障害を伴う高次元観察からタスク関連状態表現を正確に学習する方法は、視覚的強化学習において難しい問題である。
本稿では,逐次動作の制御信号に従うコンポーネントのみを保持するために,補助学習者によってエンコーダを最適化した逐次行動誘発不変表現(SAR)法を提案する。
論文 参考訳（メタデータ） (2023-09-22T05:31:55Z) - Accelerating exploration and representation learning with offline
pre-training [52.6912479800592]
1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。
ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
論文 参考訳（メタデータ） (2023-03-31T18:03:30Z) - MASTER: Multi-task Pre-trained Bottlenecked Masked Autoencoders are
Better Dense Retrievers [140.0479479231558]
本研究では,様々な事前学習タスクをマルチタスク事前学習モデル(MASTER)に統合することを目的とする。
MASTERは共有エンコーダのマルチデコーダアーキテクチャを利用して、タスク全体にわたる豊富なセマンティック情報を高密度ベクトルに圧縮する表現ボトルネックを構築することができる。
論文 参考訳（メタデータ） (2022-12-15T13:57:07Z) - Task-Induced Representation Learning [14.095897879222672]
視覚的に複雑な環境における意思決定における表現学習手法の有効性を評価する。
表現学習は、視覚的に複雑なシーンであっても、目に見えないタスクのサンプル効率を向上する。
論文 参考訳（メタデータ） (2022-04-25T17:57:10Z) - Learning Task Informed Abstractions [10.920599910769276]
本稿では,報酬関連視覚的特徴を注意散らしから明確に分離する学習タスクインフォームド抽象化(TIA)を提案する。
TIAは、多くの視覚制御タスクにおける最先端の手法よりも大きなパフォーマンス向上をもたらす。
論文 参考訳（メタデータ） (2021-06-29T17:56:11Z) - Reinforcement Learning with Prototypical Representations [114.35801511501639]
Proto-RLは、プロトタイプ表現を通じて表現学習と探索を結び付ける自己監督型フレームワークである。
これらのプロトタイプは、エージェントの探索経験の要約と同時に、観察を表す基盤としても機能する。
これにより、困難な連続制御タスクのセットで最新の下流ポリシー学習が可能になります。
論文 参考訳（メタデータ） (2021-02-22T18:56:34Z) - Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。
RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
論文 参考訳（メタデータ） (2020-11-19T18:47:40Z) - Learning Invariant Representations for Reinforcement Learning without
Reconstruction [98.33235415273562]
本研究では,表現学習が画像などのリッチな観察からの強化学習を,ドメイン知識や画素再構成に頼ることなく促進する方法について検討する。
シミュレーションメトリクスは、連続MDPの状態間の振る舞いの類似性を定量化する。
修正された視覚的 MuJoCo タスクを用いてタスク関連情報を無視する手法の有効性を実証する。
論文 参考訳（メタデータ） (2020-06-18T17:59:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。